Gigantes de la web proponen un estándar para regular el scraping de IA

OpenAI, Google, Microsoft y Anthropic anunciaran un acuerdo para proponer un estándar único que permita a los editores controlar el scraping de sus contenidos por sistemas de IA, usando como base el formato del robots.txt. Según la ANSA, la iniciativa busca dar a los sitios una instrucción reconocida que será respetada por las empresas de tecnología que adhieran al protocolo.

El acuerdo anunciado

• Las cuatro empresas se comprometen a trabajar en un estándar común que indique si y cómo contenidos publicados en páginas web pueden ser recopilados para entrenar modelos de IA.
• La propuesta prevé que editores y propietarios de sitios publiquen una única instrucción técnica que los proveedores de IA reconocerán y seguirán, reduciendo la necesidad de negociaciones individuales.
• Según la ANSA, el objetivo es crear un mecanismo práctico que beneficie tanto a grandes portales como a pequeños productores de contenido.

Cómo funcionará el estándar (scraping, IA, robots.txt)

• La solución aprovecha el formato ya conocido del robots.txt, archivo que informa a los robots de búsqueda qué páginas pueden ser indexadas, adaptándolo para expresar preferencias relativas al uso del contenido para entrenamiento de IA.
• La propuesta fue redactada por Kevin Kelley, responsable técnico de estándares de Anthropic, y está en análisis por la Internet Engineering Task Force (IETF), órgano responsable de padrones de Internet, según reporta la ANSA.
• La implementación no será inmediata: las empresas deben iniciar integraciones y pruebas en momentos diferentes, y la adopción plena dependerá tanto de la aprobación por la IETF como del despliegue técnico en los proveedores de IA.
• En términos prácticos, los editores podrán señalar vía una línea única en el robots.txt si autorizan o no la recopilación de sus textos, imágenes y otros activos para uso en modelos de lenguaje y multimodales — la instrucción pasaría a ser interpretada por crawlers de IA que sigan el estándar.

Contexto legal y editorial

• El anuncio ocurre en medio de un aumento de disputas legales movidas por editores contra la utilización automática de sus contenidos por grandes modelos. La propuesta técnica surge como respuesta parcial a una demanda de servicios de prensa por mayor control y, potencialmente, por remuneración.
• La ANSA recuerda que, en el plano regulatorio, la Unión Europea recientemente confirmó la legitimidad del modelo italiano sobre el llamado “equo compenso” para editores, una decisión que fortalece posiciones que buscan formas de remuneración por la reutilización de contenidos periodísticos.
• Especialistas apuntan que, incluso con un estándar técnico, cuestiones de derechos de autor y compensación podrían seguir exigiendo negociaciones contractuales y decisiones judiciales, ya que la tecnología no sustituye leyes nacionales y directivas europeas.

Relevancia para editores en portugués y descendientes de inmigrantes

• La estandarización propuesta puede facilitar la protección de contenidos producidos en portugués, incluyendo portales mantenidos por brasileños y por descendientes de inmigrantes que publican material local y cultural.
• Para editores pequeños y sitios personales, la posibilidad de colocar una única instrucción en el robots.txt representa una reducción significativa de complejidad técnica y costo: en lugar de múltiples señales y políticas, bastaría un estándar único que, si es reconocido por los grandes proveedores de IA, pasaría a ser respetado automáticamente.
• La iniciativa también puede simplificar estrategias editoriales ligadas a derechos de autor y negociaciones de derechos conexos: con una señalización estándar, queda más claro cuándo un contenido está disponible para uso en entrenamiento o cuando exige licencia o compensación previa.

Límites y próximos pasos

• La propuesta aún depende de la análisis y eventual adopción por la IETF; no hay garantía de que todos los proveedores la sigan de forma uniforme ni de que cuestiones jurídicas se resuelvan solo con un estándar técnico.
• La solución técnica no elimina la necesidad de seguimiento legal: decisiones sobre remuneración, excepciones de uso y enforcement continuarán sujetas a la legislación y a disputas judiciales.
• Para editores interesados, se recomienda seguir la evolución del borrador en la IETF y evaluar, con apoyo legal, cómo combinar señalizaciones técnicas con acuerdos contractuales y acciones colectivas, cuando sean cabibles.

Conclusión: el compromiso público de OpenAI, Google, Microsoft y Anthropic para un estándar común basado en robots.txt representa un paso importante hacia un enfoque más coordinado para el control del uso de contenidos por sistemas de IA. Aunque no resuelva por sí solo todas las cuestiones legales y de remuneración, la propuesta promete simplificar la gestión técnica de derechos para muchos editores, incluso en lengua portuguesa.

Fuente: ANSA