Künstliche Intelligenzen wie ChatGPT und Bard von Google bildet sich stets weiter - anhand Daten von öffentlichen Webseiten im Internet. Wenn du selbst eine Website betreibst und nicht möchtest, dass sich die KI anhand deiner Texte weiterentwickelt, kommt die robots.txt ins Spiel.

Um eine robots.txt Datei anzulegen, musst du dich per FTP auf deinen Webspace verbinden. Das ist der Ort, an dem sich alle deine Daten der Website befinden. Hier legst du im Stammverzeichnis eine neue Datei an, die eben robots.txt heißt. Das Stammverzeichnis ist in der Regel der Ort, wo sich auch deine index-Datei befindet. In diese Datei fügst du folgende Zeilen ein:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

In der jeweils ersten Zeile definierst du den Useragent des Besuchers deiner Website. Beim Besuch einer Website wird sehr oft der so genannte Benutzeragent ausgelesen. Diesen sendet der Browser des Besuchers mit, um bestimmte Informationen, wie beispielsweise verwendeter Browser oder Betriebssystem, mitzusenden. ChatGPT nennt seine Bots GPTBot, und Google nennt seine Bots für Bard Google-Extended.

Die Zeile darunter besagt, dass das komplette Verzeichnis deiner Website für diese User-Agents verboten ist.

Diese Datei speicherst du ab. Sobald sie online ist, kannst du das direkt in deinem Browser prüfen, indem du deinedomain.tld/robots.txt aufrufst. Hier solltest du jetzt den Inhalt der Datei sehen können.

Das war es auch schon. ChatGPT und Bard verwenden deine Webseite jetzt nicht mehr, um sich weiterzuentwickeln.

Bei Fragen oder Anregungen freue ich mich natürlich über eure Kommentare.

Kategorie: Allgemein

Tags: , , , ,

0 Kommentare

43 Aufrufe

Über mich

Ich bin Janis (aka. EurenikZ), 25 Jahre alt und komme aus der Nähe von Frankfurt am Main. Ich habe eine abgeschlossene IHK-Ausbildung zum Fachinformatiker für Systemintegration und arbeite als Junior IT-Administrator in einem IT-Systemhaus. Neben meinem IT-Blog beschäftige ich mich viel mit diversen IT-Themen und meinen Webseiten sowie Telegram Bots und biete IT-Dienstleistungen an.

442 Aufrufe

Wie hilfreich war dieser Beitrag?

Klicke auf die Sterne um zu bewerten.

Durchschnittliche Bewertung 0 / 5. Anzahl Bewertungen: 0

Bisher keine Bewertungen. Sei der Erste, der diesen Beitrag bewertet!

Es tut mir Leid, dass der Beitrag für dich nicht hilfreich war!

Wie kann ich diesen Beitrag verbessern?

Hinterlasse einen Kommentar