Questa pagina riguarda i robot di Anthropic (crawler e fetcher). Per i browser ospitati da Anthropic che Claude utilizza per completare attività per gli utenti, incluso in Claude Duet (Claude-Agent), vedi Come si identificano i browser ospitati da Anthropic quando navigano il web per conto di un utente?
Blocca o limita i bot di Anthropic
Secondo gli standard del settore, Anthropic utilizza una varietà di robot per raccogliere dati dal web pubblico per lo sviluppo dei modelli, per cercare il web e per recuperare contenuti web su richiesta degli utenti. Anthropic utilizza diversi robot per garantire trasparenza e scelta ai proprietari dei siti web. Di seguito sono riportate informazioni sui tre robot che Anthropic utilizza e come impostare le preferenze del tuo sito per consentire l'accesso a quelli che desideri e limitare quelli che non desideri.
Bot | Utilizzo | Cosa succede quando lo disabiliti |
|
| Quando un sito limita l'accesso a |
|
|
|
|
| Disabilitare |
Come parte della nostra missione di costruire sistemi frontier sicuri e affidabili e di promuovere lo sviluppo responsabile dell'intelligenza artificiale, stiamo condividendo i principi secondo cui raccogliamo i dati nonché le istruzioni su come rinunciare al nostro crawling in futuro:
La nostra raccolta di dati dovrebbe essere trasparente. Anthropic utilizza i Bot descritti sopra per accedere ai contenuti web.
Il nostro crawling non dovrebbe essere intrusivo o dirompente. Miriamo a un'interruzione minima essendo consapevoli di quanto velocemente eseguiamo il crawling degli stessi domini e rispettando Crawl-delay dove appropriato.
I Bot di Anthropic rispettano i segnali "non eseguire il crawling" onorando le direttive standard del settore in robots.txt.
I Bot di Anthropic rispettano le tecnologie anti-circumvention (ad es., non tenteremo di aggirare i CAPTCHA per i siti di cui eseguiamo il crawling.)
Per limitare l'attività di crawling, supportiamo l'estensione non standard Crawl-delay a robots.txt. Un esempio di questo potrebbe essere:
User-agent: ClaudeBot
Crawl-delay: 1
Per bloccare un Bot dal tuo intero sito web, aggiungi questo al file robots.txt nella tua directory di primo livello. Si prega di farlo per ogni sottodominio da cui desideri rinunciare. Un esempio di questo è:
User-agent: ClaudeBot
Disallow: /
Rinunciare al crawling da parte dei Bot di Anthropic richiede la modifica del file robots.txt nel modo descritto sopra. Metodi alternativi come il blocco degli indirizzi IP da cui operano i Bot di Anthropic potrebbero non funzionare correttamente o garantire persistentemente una rinuncia, poiché ciò ostacola la nostra capacità di leggere il tuo file robots.txt. Se un crawler ha un indirizzo IP di origine in questo elenco, indica che il crawler proviene da Anthropic.
Come Anthropic onora le preferenze del sito web per l'addestramento dell'intelligenza artificiale
A partire dal 30 ottobre 2026, Anthropic ha iniziato a riconoscere un segnale leggibile da macchina che consente ai proprietari dei siti web di esprimere una preferenza su se i loro contenuti possono essere utilizzati per addestrare modelli di intelligenza artificiale.
Questo annuncio è un impegno continuo nel rispetto di robot.txt dove ClaudeBot è esplicitamente nominato. Ora stiamo confermando che onoreremo un nuovo segnale di preferenza che consente ai proprietari dei siti web di dire "nessun addestramento di intelligenza artificiale".
Stiamo implementando questo in tutti i nostri servizi nel tempo e a livello globale, e forniremo aggiornamenti sui nostri progressi.
Il segnale segue una bozza basata sul lavoro svolto dall'IETF, il gruppo che stabilisce molti degli standard tecnici di Internet, nel suo gruppo di lavoro aipref. Poiché gli standard in questo spazio sono ancora in evoluzione, il modo in cui leggiamo e applichiamo queste impostazioni potrebbe cambiare anche.
Come le regole di ClaudeBot hanno priorità
ClaudeBot è il nostro crawler di addestramento e trattiamo le regole che lo nominano direttamente come più specifiche del segnale generale. In pratica, per un determinato percorso:
Se il tuo file robots.txt nomina ClaudeBot, seguiamo quella regola, anche se la tua impostazione generale dice qualcosa di diverso.
Se il tuo file robots.txt non menziona ClaudeBot, seguiamo l'impostazione generale descritta sopra.
Puoi saperne di più sulle nostre pratiche di gestione dei dati nella nostra raccolta Privacy e legale. Se hai domande o ritieni che i nostri crawler non funzionino come descritto, contatta [email protected] da un'email che includa il dominio di cui stai chiedendo.
Puoi ricevere notifiche di modifiche sostanziali a questo articolo facendo clic qui e completando il modulo: