Neun von zehn Crawler-Sperren stehen nicht in der robots.txt
Eine Stichprobe zeigt: Viele Websites sperren den OpenAI-Crawler direkt am Server, statt die Sperre in der robots.txt einzutragen. Das wirft eine praktische Frage zum offenen Web auf.
1 Beitrag zum Thema „Stichprobe“ – neueste zuerst.
Weitere Themen
Eine Stichprobe zeigt: Viele Websites sperren den OpenAI-Crawler direkt am Server, statt die Sperre in der robots.txt einzutragen. Das wirft eine praktische Frage zum offenen Web auf.