Künstliche Intelligenzen wie ChatGPT und Bard von Google bildet sich stets weiter - anhand Daten von öffentlichen Webseiten im Internet. Wenn du selbst eine Website betreibst und nicht möchtest, dass sich die KI anhand deiner Texte weiterentwickelt, kommt die robots.txt ins Spiel.
Um eine robots.txt Datei anzulegen, musst du dich per FTP auf deinen Webspace verbinden. Das ist der Ort, an dem sich alle deine Daten der Website befinden. Hier legst du im Stammverzeichnis eine neue Datei an, die eben robots.txt heißt. Das Stammverzeichnis ist in der Regel der Ort, wo sich auch deine index-Datei befindet. In diese Datei fügst du folgende Zeilen ein:
User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: /
In der jeweils ersten Zeile definierst du den Useragent des Besuchers deiner Website. Beim Besuch einer Website wird sehr oft der so genannte Benutzeragent ausgelesen. Diesen sendet der Browser des Besuchers mit, um bestimmte Informationen, wie beispielsweise verwendeter Browser oder Betriebssystem, mitzusenden. ChatGPT nennt seine Bots GPTBot, und Google nennt seine Bots für Bard Google-Extended.
Die Zeile darunter besagt, dass das komplette Verzeichnis deiner Website für diese User-Agents verboten ist.
Diese Datei speicherst du ab. Sobald sie online ist, kannst du das direkt in deinem Browser prüfen, indem du deinedomain.tld/robots.txt aufrufst. Hier solltest du jetzt den Inhalt der Datei sehen können.
Das war es auch schon. ChatGPT und Bard verwenden deine Webseite jetzt nicht mehr, um sich weiterzuentwickeln.
Bei Fragen oder Anregungen freue ich mich natürlich über eure Kommentare.
Über mich
Ich bin Janis (aka. EurenikZ), 26 Jahre alt und komme aus der Nähe von Frankfurt am Main. Ich habe eine abgeschlossene IHK-Ausbildung zum Fachinformatiker für Systemintegration und arbeite als Junior IT-Administrator in einem IT-Systemhaus. Neben meinem IT-Blog beschäftige ich mich viel mit diversen IT-Themen und meinen Webseiten sowie Telegram Bots und biete IT-Dienstleistungen an.
