¿Anthropic rastrea datos de la web y cómo pueden los propietarios de sitios bloquear el rastreador?

Esta página cubre los robots de Anthropic (rastreadores y buscadores). Para navegadores alojados por Anthropic que Claude utiliza para completar tareas para usuarios, incluido en Claude Duet (Claude-Agent), consulte ¿Cómo se identifican los navegadores alojados por Anthropic cuando navegan por la web en nombre de un usuario?

Bloquear o limitar los bots de Anthropic

Según el estándar de la industria, Anthropic utiliza una variedad de robots para recopilar datos de la web pública para el desarrollo de modelos, para buscar en la web y para recuperar contenido web según lo indiquen los usuarios. Anthropic utiliza diferentes robots para permitir la transparencia y la elección del propietario del sitio web. A continuación se proporciona información sobre los tres robots que utiliza Anthropic y cómo configurar las preferencias de su sitio para permitir los que desea que accedan a su contenido y limitar los que no.

Bot	Uso	Qué sucede cuando lo desactivas
`ClaudeBot`	`ClaudeBot` ayuda a mejorar la utilidad y seguridad de nuestros modelos de IA generativa recopilando contenido web que podría contribuir potencialmente a su entrenamiento.	Cuando un sitio restringe el acceso de `ClaudeBot`, señala que los materiales futuros del sitio deben excluirse de nuestros conjuntos de datos de entrenamiento del modelo de IA.
`Claude-User`	`Claude-User` admite a los usuarios de Claude AI. Cuando las personas hacen preguntas a Claude, puede acceder a sitios web utilizando un agente `Claude-User`.	`Claude-User` permite a los propietarios de sitios controlar qué sitios se pueden acceder a través de estas solicitudes iniciadas por el usuario. Desactivar `Claude-User` en su sitio evita que nuestro sistema recupere su contenido en respuesta a una consulta de usuario, lo que puede reducir la visibilidad de su sitio en búsquedas web dirigidas por el usuario.
`Claude-SearchBot`	`Claude-SearchBot` navega por la web para mejorar la calidad de los resultados de búsqueda para los usuarios. Analiza contenido en línea específicamente para mejorar la relevancia y precisión de las respuestas de búsqueda.	Desactivar `Claude-SearchBot` en su sitio evita que nuestro sistema indexe su contenido para optimización de búsqueda, lo que puede reducir la visibilidad y precisión de su sitio en los resultados de búsqueda del usuario.

Como parte de nuestra misión de construir sistemas fronterizos seguros y confiables y avanzar en el campo del desarrollo responsable de IA, compartimos los principios por los cuales recopilamos datos, así como instrucciones sobre cómo optar por no participar en nuestro rastreo en el futuro:

Nuestra recopilación de datos debe ser transparente. Anthropic utiliza los Bots descritos anteriormente para acceder al contenido web.
Nuestro rastreo no debe ser intrusivo o disruptivo. Nos esforzamos por una disrupción mínima siendo reflexivos sobre la rapidez con la que rastreamos los mismos dominios y respetando Crawl-delay cuando sea apropiado.
Los Bots de Anthropic respetan las señales "no rastrear" honrando directivas estándar de la industria en robots.txt.
Los Bots de Anthropic respetan tecnologías anti-elusión (por ejemplo, no intentaremos eludir CAPTCHAs en los sitios que rastreamos).

Para limitar la actividad de rastreo, admitimos la extensión no estándar Crawl-delay en robots.txt. Un ejemplo de esto podría ser:

User-agent: ClaudeBot
Crawl-delay: 1

Para bloquear un Bot de todo su sitio web, agregue esto al archivo robots.txt en su directorio de nivel superior. Por favor haga esto para cada subdominio del que desee optar por no participar. Un ejemplo de esto es:

User-agent: ClaudeBot
Disallow: /

Optar por no ser rastreado por los Bots de Anthropic requiere modificar el archivo robots.txt de la manera anterior. Los métodos alternativos como bloquear la(s) dirección(es) IP desde la(s) cual(es) operan los Bots de Anthropic pueden no funcionar correctamente o garantizar persistentemente una exclusión, ya que hacerlo impide nuestra capacidad de leer su archivo robots.txt. Si un rastreador tiene una dirección IP de origen en esta lista, indica que el rastreador proviene de Anthropic.

Cómo Anthropic respeta las preferencias del sitio web para el entrenamiento de IA

A partir del 30 de octubre de 2026, Anthropic ha comenzado a reconocer una señal legible por máquina que permite a los propietarios de sitios web expresar una preferencia sobre si su contenido puede usarse para entrenar modelos de IA.

Este anuncio es un compromiso continuo de respetar robots.txt donde ClaudeBot se nombra explícitamente. Ahora estamos confirmando que honraremos una nueva señal de preferencia que permite a los propietarios de sitios web decir "sin entrenamiento de IA".

Estamos implementando esto en todos nuestros servicios con el tiempo y globalmente, y proporcionaremos actualizaciones sobre nuestro progreso.

La señal sigue un borrador basado en el trabajo realizado por el IETF, el grupo que establece muchos de los estándares técnicos de Internet, en su grupo de trabajo aipref. Debido a que los estándares en este espacio aún están evolucionando, la forma en que leemos y aplicamos estas configuraciones también puede cambiar.

Cómo las reglas de ClaudeBot tienen prioridad

ClaudeBot es nuestro rastreador de entrenamiento, y tratamos las reglas que lo nombran directamente como más específicas que la señal general. En la práctica, para una ruta determinada:

Si su archivo robots.txt nombra ClaudeBot, seguimos esa regla, incluso si su configuración general dice algo diferente.
Si su archivo robots.txt no menciona ClaudeBot, seguimos la configuración general descrita anteriormente.

Puede obtener más información sobre nuestras prácticas de manejo de datos en nuestra colección Privacidad y legal. Si tiene preguntas o cree que nuestros rastreadores no funcionan como se describe, comuníquese con [email protected] desde un correo electrónico que incluya el dominio sobre el que está preguntando.

Puede recibir notificaciones de cambios sustanciales en este artículo haciendo clic aquí y completando el formulario:

Suscribirse a actualizaciones