Bisogna autorizzare i robot delle AI sul proprio sito?
Pubblicato il
Sì per i robot che servono alla ricerca, se desidera essere citato dalle AI; è una scelta libera per quelli che raccolgono dati di addestramento. OpenAI, Anthropic e Google separano questi due utilizzi: per OpenAI, un sito che blocca OAI-SearchBot non viene mostrato nelle risposte di ricerca di ChatGPT, mentre bloccare GPTBot riguarda solo l'addestramento. Le nostre misurazioni vanno nella stessa direzione: nessuno dei siti citati da ChatGPT vietava OAI-SearchBot, ma il 3% di essi vietava GPTBot.
Per quale tipo di domanda? Tutto dipende dal robot. Un robot di ricerca decide se il suo sito può apparire nelle risposte. Un robot di addestramento decide se i suoi contenuti possono servire ad addestrare i futuri modelli. Le due impostazioni sono indipendenti.
Due famiglie di robot, due decisioni diverse
OpenAI documenta tre robot. OAI-SearchBot serve a far apparire i siti nei risultati di ricerca di ChatGPT; un sito che lo esclude non viene mostrato nelle sue risposte di ricerca, anche se può ancora apparire come link di navigazione. GPTBot raccoglie contenuti che possono servire ad addestrare i suoi modelli. ChatGPT-User interviene per alcune azioni degli utenti. OpenAI precisa che ogni impostazione è indipendente: un sito può autorizzare OAI-SearchBot per apparire nella ricerca pur vietando GPTBot.
Anthropic fa la stessa distinzione. ClaudeBot raccoglie contenuti per l'addestramento; bloccarlo esclude i futuri contenuti del sito dai dati di addestramento. Claude-SearchBot migliora la qualità dei risultati di ricerca, e Claude-User accede ai siti quando un utente pone una domanda; bloccarli può ridurre la visibilità del sito nelle risposte. Per Google, Google-Extended decide se i contenuti possono servire ad addestrare i futuri modelli Gemini, e Google precisa che non ha alcun effetto sull'inclusione di un sito nella ricerca Google né sul suo posizionamento.
Cosa abbiamo misurato nei file robots.txt
Abbiamo letto il file robots.txt di ogni sito restituito dalla ricerca di ChatGPT, Claude e Gemini su una decina di settori di attività interrogati in francese, il giorno della raccolta, il 10 settembre 2026. Prima osservazione: la stragrande maggioranza dei siti non menziona i robot delle AI. OAI-SearchBot è menzionato solo dal 5 al 6% dei siti, e GPTBot dall'11 al 16%, a seconda che siano stati citati o meno.
Seconda osservazione: meno dell'1% dei siti restituiti dalla ricerca di ChatGPT vietava OAI-SearchBot, e nessuno dei siti che ha citato, il che concorda con la documentation di OpenAI. Invece, vietare l'addestramento non ha impedito la citazione: il 3% di essi vietava GPTBot, contro l'8% dei siti che ha restituito senza citarli. Per Claude, il 5% dei siti citati vietava ClaudeBot, contro il 4% dei siti non citati; per Gemini, il 2% dei siti citati vietava Google-Extended.
Cosa significano queste cifre
Bloccare un robot di addestramento non chiude la porta alle risposte. I siti che rifiutano che i loro contenuti addestrino GPT, Claude o Gemini vengono comunque trovati e citati da queste AI quando cercano sul web, perché in quel momento sono altri robot, o il motore di ricerca stesso, a leggere le pagine.
Al contrario, bloccare un robot di ricerca rimuove il sito dalle risposte dell'AI interessata. Per ChatGPT, la constatazione è netta: tra i siti che ha citato, non ne abbiamo trovato nessuno che vietasse OAI-SearchBot. Autorizzare questo robot non basta per essere citati; secondo OpenAI, vietarlo basta per non essere mostrati nelle sue risposte di ricerca.
Cosa cambia per un'azienda
Verifichi il seu file robots.txt. Se desidera essere citato, lasci passare i robot di ricerca: OAI-SearchBot e ChatGPT-User per ChatGPT, Claude-SearchBot e Claude-User per Claude, e Googlebot per Google e le sue risposte AI. Verifichi anche che un firewall o un servizio di protezione contro i robot non li blocchi prima ancora della lettura del file.
Per i robot di addestramento, GPTBot, ClaudeBot e Google-Extended, la decisione rientra nella sua politica sull'uso dei suoi contenuti, non nella sua visibilità nelle risposte: le nostre misurazioni non mostrano che bloccarli impedisca di essere citati. È una scelta da fare con cognizione di causa, non un'impostazione tecnica da lasciare al caso.
Cosa non sappiamo
Abbiamo letto i file robots.txt il giorno della raccolta, senza verificare se i robot rispettino realmente questi file né se un firewall li bloccasse. Claude-SearchBot e Claude-User non facevano parte dei robot letti. Un file assente è stato conteggiato come se non menzionasse alcun robot.
Fonti
- OpenAI — robot di indicizzazione di OpenAI, .
- Anthropic — robot di Anthropic e blocco da parte dei siti, .
- Google Search Central — robot di scansione comuni di Google, .
- Misure FaireDuBruit, dal 4 al 16 settembre 2026 — vedi « Come abbiamo misurato ».
Domande correlate
- Il file llms.txt aiuta a essere citati dalle AI?
- Il mio sito web è sufficiente per essere visibile nelle AI?
- Perché ChatGPT non cita la mia azienda?
- Essere ben posizionati su Google aiuta a essere citati da ChatGPT?
Tutte le domande sulla visibilità nelle AI · La nostra offerta