Skip to main content

​
KI & Crawler Optimierung

Bot-irrelevante Elemente (Inline Styles, Scripts) werden für erkannte Bots nicht gerendert. Das reduziert die Seitengröße erheblich und verbessert die Lesbarkeit für KI-Systeme und Suchmaschinen-Crawler.
Die KI-lesbare Fassung bleibt benutzbar, wenn sie bei einem echten Besucher landet. Wer sie aber mit einem Full-Page-Cache kombiniert hat, kann einem echten Besucher eine unformatierte Seite ausliefern, wenn zuerst ein erkannter Bot dieselbe URL aufgerufen und die bereinigte Fassung im Cache abgelegt hat. Achte bei aktivem Full-Page-Cache darauf, Bot- und Besucher-Ausgabe getrennt zu cachen.

​
Erkennungsmethoden

Hier legst du fest, anhand welcher Kriterien das System einen Besucher als Bot oder Crawler identifizieren soll.
KI & Crawler Erkennungsmethoden
​
boolean
Aktiviere diese Option, um Anfragen zu erkennen, die über den HTTP-Accept-Header text/markdown signalisieren, dass es sich um einen KI- oder Crawler-Client handelt. Viele moderne KI-Systeme nutzen diesen Header, um Inhalte im Markdown-Format anzufragen.
​
boolean
Aktiviere diese Option, um bekannte KI-Bots (z. B. GPTBot, ClaudeBot, PerplexityBot) anhand ihrer User-Agent-Zeichenkette zu erkennen und die optimierte Seitenausgabe zu aktivieren.
​
boolean
Aktiviere diese Option, um klassische Suchmaschinen-Crawler (z. B. Googlebot, Bingbot) ebenfalls als Bots zu erkennen und für diese die bereinigte Ausgabe ohne unnötige Elemente zu liefern.