Gigantes da web propõem padrão para regular 'scraping' da IA

OpenAI, Google, Microsoft e Anthropic anunciaram um acordo para propor um padrão único que permita aos editores controlar o scraping de seus conteúdos por sistemas de IA, usando como base o formato do robots.txt. Segundo a ANSA, a iniciativa visa dar aos sites uma instrução reconhecida que será respeitada pelas empresas de tecnologia que aderirem ao protocolo.

O acordo anunciado

• As quatro empresas se comprometeram a trabalhar em um padrão comum que indique se e como conteúdos publicados em páginas web podem ser coletados para treinar modelos de IA.
• A proposta prevê que editores e proprietários de sites publiquem uma única instrução técnica que os provedores de IA reconhecerão e seguirão, reduzindo a necessidade de negociações individuais.
• Segundo a ANSA, o objetivo é criar um mecanismo prático que beneficie tanto grandes portais quanto pequenos produtores de conteúdo.

Como funcionará o padrão (scraping, IA, robots.txt)

• A solução aproveita o formato já conhecido do robots.txt, arquivo que informa a robôs de busca quais páginas podem ser indexadas, adaptando-o para expressar preferências relativas ao uso do conteúdo para treinamento de IA.
• A proposta foi redigida por Kevin Kelley, responsável técnico de padrões da Anthropic, e está em análise pela Internet Engineering Task Force (IETF), órgão responsável por padronizações da internet, conforme reportado pela ANSA.
• A implementação não será imediata: as empresas devem iniciar integrações e testes em momentos diferentes, e a adoção plena dependerá tanto da aprovação pela IETF quanto do rollout técnico nos provedores de IA.
• Em termos práticos, editores poderão sinalizar via uma linha única no robots.txt se autorizam ou não a coleta de seus textos, imagens e outros ativos para uso em modelos de linguagem e multimodais — a instrução passaria a ser interpretada por crawlers de IA que sigam o padrão.

Contexto legal e editorial

• O anúncio ocorre em meio a um aumento de disputas judiciais movidas por editores contra a utilização automática de seus conteúdos por grandes modelos. A proposta técnica surge como resposta parcial a uma demanda de serviços de imprensa por maior controle e, potencialmente, por remuneração.
• A ANSA lembra que, no plano regulatório, a União Europeia recentemente confirmou a legitimidade do modelo italiano sobre o chamado “equo compenso” para editores, uma decisão que fortalece posições que buscam formas de remuneração pela reutilização de conteúdos jornalísticos.
• Especialistas apontam que, mesmo com um padrão técnico, questões de direito autoral e compensação poderão continuar a exigir negociações contratuais e decisões judiciais, já que a tecnologia não substitui leis nacionais e diretivas europeias.

Relevância para editores em português e descendentes de imigrantes

• A padronização proposta pode facilitar a proteção de conteúdos produzidos em português, incluindo portais mantidos por brasileiros e por descendentes de imigrantes que publicam material local e cultural.
• Para pequenos editores e sites pessoais, a possibilidade de colocar uma única instrução no robots.txt representa uma redução significativa de complexidade técnica e custo: em vez de múltiplos sinais e políticas, bastaria um padrão único que, se reconhecido pelos grandes provedores de IA, passaria a ser respeitado automaticamente.
• A iniciativa também pode simplificar estratégias editoriais ligadas a direitos autorais e negociações de direitos conexos: com uma sinalização padrão, fica mais claro quando um conteúdo está disponível para uso em treinamento ou quando exige licença ou compensação prévia.

Limites e próximos passos

• A proposta ainda depende da análise e eventual adoção pela IETF; não existe garantia de que todos os provedores a seguirão de forma uniforme nem de que questões jurídicas sejam resolvidas apenas com um padrão técnico.
• A solução técnica não elimina a necessidade de acompanhamento legal: decisões sobre remuneração, exceções de uso e enforcement continuarão sujeitas a legislação e a disputas judiciais.
• Para editores interessados, é recomendável acompanhar a evolução do rascunho na IETF e avaliar, com apoio jurídico, como combinar sinalizações técnicas com acordos contratuais e ações coletivas, quando cabíveis.

Conclusão: o compromisso público de OpenAI, Google, Microsoft e Anthropic para um padrão comum baseado em robots.txt representa um passo importante rumo a uma abordagem mais coordenada para o controle do uso de conteúdos por sistemas de IA. Ainda que não resolva por si só todas as questões legais e de remuneração, a proposta promete simplificar a gestão técnica de direitos para muitos editores, inclusive em língua portuguesa.

Fonte: ANSA