GPTBot
Definice
GPTBot je oficiální webový crawler společnosti OpenAI, který prochází internet a sbírá obsah pro trénování budoucích verzí modelů ChatGPT. Respektuje standard robots.txt a lze ho povolit nebo zakázat jednoduchou direktivou.
Výklad
GPTBot byl spuštěn v srpnu 2023 jako reakce na kritiku, že OpenAI používalo webová data bez jasných pravidel. Dnes GPTBot prochází miliony webů denně. Pokud ho ve vašem robots.txt zakážete, OpenAI se od vašeho webu neučí a ChatGPT o vás ví méně (resp. jen z předchozích trénovacích cyklů). User-agent GPTBota je „GPTBot” a IP adresy jsou publikovány v rozsahu OpenAI. Pro živé vyhledávání ChatGPT používá jiný nástroj – OAI-SearchBot a partnerský index Bingu.
Příklad z praxe
Blokace GPTBota dává smysl u placeného obsahu nebo citlivých dat, pro většinu firem ho ale doporučujeme povolit – získáte tím viditelnost v odpovědích ChatGPT.