Skip to main content

​
KI & Crawler Optimierung

Bot-irrelevante Elemente (Inline Styles, Scripts) werden für erkannte Bots nicht gerendert. Das reduziert die Seitengröße erheblich und verbessert die Lesbarkeit für KI-Systeme und Suchmaschinen-Crawler.

​
Erkennungsmethoden

Hier legst du fest, anhand welcher Kriterien das System einen Besucher als Bot oder Crawler identifizieren soll.
Erkennungsmethoden

​
Accept Header: text/markdown

Aktiviere diese Option, um Anfragen zu erkennen, die über den HTTP-Accept-Header text/markdown signalisieren, dass es sich um einen KI- oder Crawler-Client handelt. Viele moderne KI-Systeme nutzen diesen Header, um Inhalte im Markdown-Format anzufragen.

​
Bekannte KI-Bots

Aktiviere diese Option, um bekannte KI-Bots (z. B. GPTBot, ClaudeBot, PerplexityBot) anhand ihrer User-Agent-Zeichenkette zu erkennen und die optimierte Seitenausgabe zu aktivieren.

​
Suchmaschinen-Crawler

Aktiviere diese Option, um klassische Suchmaschinen-Crawler (z. B. Googlebot, Bingbot) ebenfalls als Bots zu erkennen und für diese die bereinigte Ausgabe ohne unnötige Elemente zu liefern.