OpenAI y Anthropic habrían discutido la evaluación mutua de grandes modelos

Según informes de medios que citan fuentes informadas, Anthropic y OpenAI consideraron firmar un acuerdo legalmente vinculante para someter a pruebas de estrés los grandes modelos de la otra. A principios de este año, ambas empresas y sus equipos legales discutieron este plan, que permitiría a los competidores realizar pruebas exhaustivas sobre los últimos modelos disponibles de la otra para identificar posibles riesgos o vulnerabilidades de seguridad. Dichas pruebas solo se aplicarían a modelos disponibles comercialmente, y ambas partes acordaron no retener los datos de la otra. El informe no aclaró si las dos partes finalmente llegaron a tal acuerdo. Recientemente, la idea de implementar alguna forma de revisión por pares entre los principales laboratorios de IA ha ganado atención. El CEO de SpaceX, Elon Musk, sugirió la semana pasada que varias empresas líderes de grandes modelos en Estados Unidos y algunas compañías chinas de IA deberían permitir que los competidores realicen pruebas cruzadas. Musk declaró: Todas las empresas de IA tienen un conjunto de herramientas de prueba, y que cada empresa ejecute sus pruebas utilizando las herramientas de otra compañía podría ser lo mejor que pueden hacer para garantizar su propia seguridad. A principios de este mes, el investigador de Anthropic Jacob Coxon anunció su renuncia y advirtió a las principales empresas de inteligencia artificial sobre acelerar el desarrollo sin las salvaguardas adecuadas. Posteriormente, el CEO de Anthropic, Dario Amodei, pidió a la industria que ralentice el desarrollo de la IA e introduzca mecanismos de evaluación de terceros. Anthropic anunció el viernes pasado una asociación con Accenture, en la que Accenture actuará como agencia de evaluación externa para evaluar el cumplimiento de seguridad de sus modelos de IA de vanguardia.