Especialistas piden evaluadores independientes para Anthropic y OpenAI

Más de 100 especialistas en inteligencia artificial firmaron una carta abierta del AI Evaluator Forum pidiendo la creación de evaluadores externos e independientes para supervisar sistemas avanzados de IA, con reglas claras de transparencia, independencia y protección para los evaluadores, según la ANSA.

Resumen de la carta abierta: evaluadores independientes para IA

El documento, suscrito por más de 100 investigadores y especialistas, sostiene que empresas como Anthropic y OpenAI permitan evaluaciones externas llevadas a cabo por evaluadores independientes. El objetivo es identificar y gestionar riesgos en modelos de gran escala mediante pruebas científicas e independientes, con acceso controlado a las plataformas cuando sea necesario, según la ANSA. Los signatarios enfatizan la necesidad de procedimientos que aseguren objetividad y resultados verificables.

Quiénes son los signatarios y qué piden

La lista de subscritores reúne nombres destacados del campo: entre ellos, Geoffrey Hinton y científicos vinculados a instituciones como Johns Hopkins y Stanford, además de organizaciones de la sociedad civil como la ONG Metr, según la cobertura de la ANSA. El grupo exige que cualquier régimen de evaluación:

• garantice objetividad científica en las metodologías;
• asegure transparencia de los resultados y de los criterios de evaluación;
• mantenga total independencia de los evaluadores respecto a las empresas evaluadas;
• ofrezca protecciones sólidas a los evaluadores —incluida confidencialidad, seguridad jurídica y mecanismos para preservar su integridad física y profesional.

El AI Evaluator Forum también pide reglas claras sobre el acceso a modelos cerrados: cuando sea necesario, evaluadores externos podrían recibir acceso a sistemas, pero solo dentro de protocolos estrictos que preserven la imparcialidad y la seguridad de las pruebas. Según la ANSA, la carta busca crear estándares que puedan ser aceptados por la industria y la comunidad científica.

Contexto y reacción del sector

El movimiento tomó impulso tras propuestas recientes en el sector tecnológico: el CEO de Anthropic, Dario Amodei, sugirió que evaluadores escogidos tuvieran acceso a sistemas para fines de auditoría. En respuesta, el consorcio representado por Conrad Stosz defendió que la supervisión independiente es una herramienta eficaz para gestionar riesgos a gran escala y evitar fallos sistémicos. La ANSA reporta que el AI Evaluator Forum se presenta como un foro técnico que busca coordinar prácticas y criterios entre evaluadores y desarrolladores.

Empresas como Anthropic y OpenAI ya dialogan con investigadores externos en diferentes formatos, pero la carta exige un marco más formalizado y estandarizado — con gobernanza que evite conflictos de interés y permita verificación pública de métodos y hallazgos. El debate también aborda cómo equilibrar el intercambio de información sensible con la necesidad de proteger secretos industriales y evitar usos maliciosos.

"La supervisión independiente puede ser una herramienta eficaz para gestionar riesgos a gran escala", afirma el consorcio representado por Conrad Stosz, según la ANSA.

Relevancia para mexicanos y descendientes

Aunque la carta tiene origen en el ecosistema internacional de IA, sus propuestas tienen impacto global y pueden afectar productos y servicios que llegan a México. Mayor supervisión y evaluaciones independientes de sistemas de IA tienden a:

• aumentar la seguridad de aplicaciones comerciales y gubernamentales utilizadas en México;
• influir en políticas de transparencia que pueden ser adoptadas por empresas que operan en el país;
• afectar a desarrolladores, investigadores y usuarios mexicanos interesados en IA responsable.

Para lectores de Raíces Italianas interesados en tecnología, el tema dialoga con áreas diversas — desde el mercado de trabajo en tecnología hasta el uso de herramientas de IA por órganos públicos y empresas privadas en Italia y en América Latina. La pauta también se conecta a noticias sobre regulación y responsabilidades de plataformas, acompañadas regularmente en nuestra cobertura de Notícias da Itália y asuntos sobre vida y trabajo en otros países en Vida en Italia. Investigadores mexicanos y mexicanos que trabajan en el exterior pueden seguir desdoblamientos que afecten colaboraciones académicas y acceso a modelos para investigación, un tema que dialoga con orientaciones sobre Cidadanía Italiana cuando hay movilidad académica o profesional.

Qué esperar a continuación

El AI Evaluator Forum busca que la propuesta gane la adhesión de empresas y formuladores de políticas, transformando recomendaciones en prácticas operativas y posiblemente en estándares internacionales. El siguiente paso práctico implica negociar protocolos de acceso, mecanismos de financiamiento de los evaluadores y garantías legales para protegerlos durante su labor con sistemas sensibles.

Conclusión: la carta abierta liderada por el AI Evaluator Forum señala una demanda creciente de evaluación externa y estandarizada de riesgos de IA. Si se adopta, las propuestas podrían cambiar cómo empresas como Anthropic y OpenAI permiten auditorías y cómo la sociedad acompaña la seguridad de sistemas cada vez más presentes en la vida global.

Fuente: ANSA