Cuatro empresas de IA prometieron respetar un solo token en tu robots.txt. Tu corpus editorial sigue siendo insumo gratis hasta 2027 si no lo pones hoy.
El 30 de octubre de 2026, OpenAI, Google, Microsoft y Anthropic anunciaron que van a honrar un token compartido —__usage_ai-training— que en una sola directiva expresa tu rechazo al entrenamiento de modelos generativos. Se acabó, en teoría, la lista interminable de bloquear GPTBot, Google-Extended, ClaudeBot y Bingbot uno por uno.
Mi postura: esto es mejor que nada, y nada es lo que tenías. Pero el rollout es escalonado, el compromiso es voluntario, el documento es un borrador individual que expira en mayo de 2027 y no hay un solo mecanismo de pago. Si crees que esto es una victoria, revisa tu calendario: la promesa no muerde para la mayoría de los proveedores hasta 2027.
Qué pasó con el robots.txt IA
El token __usage_ai-training está definido en el Internet-Draft draft-kelley-aipref-training-preference-signal-00, fechado el 30 de octubre de 2026 y con expiración el 3 de mayo de 2027. Lo presentó Kevin Kelley, de Anthropic, ante el IETF. Ojo con eso: es un individual Internet-Draft. El IETF no lo ha adoptado ni endorsado, así que no tiene estatus formal en el proceso de estandarización.
El calendario es lo que te tiene que preocupar. Anthropic ya empezó a implementarlo. OpenAI dice «en los próximos meses», que en lenguaje corporativo significa cuando les convenga. Microsoft lo activa el 1 de febrero de 2027. Google, a lo largo de 2027, sin fecha exacta.
Hay más matices que casi nadie está leyendo. El token cubre solo entrenamiento, no crawling ni grounding. Microsoft añade una preferencia separada de AI Grounding con Allow/Disallow/DisallowExtended a nivel de página. Google, por su lado, tratará un sitio que ponga el token en Disallow y no mencione Google-Extended como si hubiera bloqueado Google-Extended; quien permita explícitamente Google-Extended sigue elegible para grounding y clics en Gemini Apps. Y Microsoft reemplaza con el nuevo token sus viejas etiquetas NoArchive y NoCache desde el 1 de febrero de 2027.
Qué significa para tu operación
Primero, el elefante: robots.txt es un protocolo voluntario desde 1994, codificado como RFC 9309, y los crawlers lo ignoran cuando les conviene. Cloudflare acusó públicamente a Perplexity de sortear límites de crawl. Un token que cuatro empresas prometen respetar no cambia esa naturaleza jurídica. Es cortesía con sintaxis, no derecho exigible.
Segundo, el timing. El token no elimina contenido ya recolectado ni borra datasets existentes. Tampoco crea ningún mecanismo de pago. Traducción: tu archivo de 2019 ya está adentro, y lo que publiques sin el token hoy también. La ventana de «insumo gratis» se cierra solo hacia adelante, y solo cuando cada proveedor decida activarlo.
Tercero, la trampa del grounding. Bloquear entrenamiento no te saca de AI Overviews ni de Gemini Apps si permites grounding. Muchos editores van a poner el token, celebrar, y descubrir que su tráfico sigue cayendo porque el modelo les sigue citando sin mandar el clic. Son tres decisiones distintas —entrenamiento, crawling y grounding— y las estás tomando con una sola línea si no lees la letra pequeña.
Cuarto, la crítica de fondo: cuatro empresas se comprometen con un borrador individual que expira en mayo de 2027, mientras el grupo AIPREF del IETF todavía no alcanza consenso. Van más rápido que el proceso estándar, lo que significa que la sintaxis o los plazos pueden cambiar. Y en paralelo, Wikimedia reportó un aumento del 50% de ancho de banda por crawlers de IA sin lectores correspondientes. Mientras tú discutes tokens, los bots se comen tu servidor.
Qué hacer al respecto
1. Añade el bloque hoy, pero no borres nada. Mete User-Agent: __usage_ai-training con Disallow: / en tu robots.txt esta misma semana. Pero conserva tus bloqueos por crawler existentes: hasta febrero de 2027 (Microsoft) o durante 2027 (Google) la promesa no muerde para la mayoría de los proveedores. El token es un adicional, no un reemplazo.
2. Separa las tres decisiones en tu cabeza y en tu archivo. Entrenamiento va con el token compartido. Crawling va con reglas por bot. Grounding va con Google-Extended y la preferencia de Microsoft. Decide explícitamente si quieres seguir apareciendo en respuestas con cita. Si tu modelo de negocio es tráfico y clics, probablemente sí; si es licenciamiento, probablemente no.
3. Usa Allow y Disallow con criterio comercial. El token respeta la gramática estándar de robots.txt con precedencia por coincidencia más larga. Pon Allow: en carpetas que te conviene que citen —press-kit, páginas de producto, landings de afiliación— y Disallow: en tu corpus editorial. No es todo o nada.
4. Documenta la fecha de publicación del token. Guarda un log con fecha y captura del archivo. No protege lo ya rastreado ni obliga a borrar datasets, pero te sirve como evidencia si mañana hay disputa contractual o legal. The New York Times demandó a OpenAI y Microsoft en diciembre de 2023 por usar millones de sus artículos sin autorización; esa película sigue corriendo.
5. Prepara el plan B técnico y contractual. El draft expira el 3 de mayo de 2027 y el compromiso es voluntario y revocable. Ten listo bloqueo en CDN/WAF, RSL o pay-per-crawl sobre HTTP 402 —Cloudflare ya bloquea bots de IA por defecto para clientes nuevos desde julio de 2025— y acuerdos de licencia firmados. El robots.txt IA es el cinturón; esto es el airbag.
Si tu negocio depende de contenido original, la pregunta no es si pones el token. Es qué haces cuando el proveedor decida que ya no lo respeta. Cuéntame en comentarios qué combinación de bloqueo estás usando: token solo, token más crawler, o CDN con pay-per-crawl. Quiero ver qué está funcionando de verdad en operación, no en el comunicado de prensa.
Preguntas frecuentes
¿El token __usage_ai-training es obligatorio para las empresas de IA?
No. Es un compromiso voluntario sobre un Internet-Draft individual que el IETF no ha adoptado. No tiene estatus formal de estándar y expira el 3 de mayo de 2027.
¿Puedo eliminar los bloqueos por crawler si ya puse el token?
No todavía. Anthropic ya lo implementó, pero OpenAI habla de «próximos meses», Microsoft activa el 1 de febrero de 2027 y Google a lo largo de 2027. Mantén GPTBot, Google-Extended, ClaudeBot y Bingbot bloqueados en paralelo.
¿Bloquear el entrenamiento me saca de AI Overviews y Gemini Apps?
No necesariamente. El token cubre solo entrenamiento. Si permites explícitamente Google-Extended, sigues elegible para grounding y clics en Gemini Apps. Son decisiones separadas.
¿El token borra el contenido que ya recolectaron?
No. No elimina material ya rastreado, no borra datasets existentes y no establece ningún mecanismo de pago. Solo aplica hacia adelante y solo cuando cada proveedor lo active.
Fuentes
- AI Weekly — OpenAI, Google, Microsoft, Anthropic Back Shared Robots.txt Token
- PPC Land — Google, Microsoft, OpenAI and Anthropic back one AI training opt-out
- Unite.AI — OpenAI to Honor Shared Robots.txt Signal for AI Training Preferences
- Search Engine Journal — Google, Microsoft & OpenAI Plan To Honor Shared AI Training Opt-Out
- Techzine — AI companies to support shared anti-scraping standard