Un investigador de Anthropic dimite y afirma que la IA podría descontrolarse el próximo año

El investigador de Anthropic, Jacob Coxon, anunció su renuncia y se prepara para dejar la industria de la IA. Ha realizado investigaciones de preentrenamiento en OpenAI y Anthropic durante los últimos tres años. Señaló que ninguna de las dos empresas ha avanzado en la IA de manera responsable y que compiten por crear una superinteligencia que pueda seguir mejorando sus propias capacidades, "apostando nuestras vidas a ello". Este año pasó de OpenAI a Anthropic porque esta última pone más énfasis en la seguridad de los modelos. Coxon reconoció que el trabajo de seguridad de Anthropic es serio, pero cree que mientras las empresas compitan por ser las primeras en crear AGI (inteligencia artificial general que supere a los humanos en una amplia gama de tareas), los compromisos de seguridad son inevitables, y la autodisciplina de una sola empresa no puede resolver el problema. Su evaluación de las dos empresas es: muchas personas dentro de OpenAI todavía no se dan cuenta realmente de cuán grande es este riesgo; Anthropic conoce los riesgos pero cree que los demás no son confiables, por lo que deben crearla ellos mismos primero. Coxon declaró que algunos profesionales de la IA son mucho más pesimistas en privado de lo que expresan públicamente, e incluso les preocupa que la IA pueda destruir a la humanidad antes de que termine esta década. Personalmente, juzga que en el escenario más radical, la IA podría descontrolarse a finales del próximo año, por lo que tales decisiones no deberían tomarlas únicamente los ingenieros de unas pocas empresas.