Topline
Josh Achiam, un científico exmiembro de OpenAI durante casi una década, advirtió esta semana en redes sociales que habrá "IAs rebeldes" que se "replicarán en la naturaleza" y buscarán "dinero y poder", sugiriendo que la industria de la IA ha guardado silencio sobre el problema potencial.
Datos clave
Achiam, quien renunció a su puesto como "chief futurist" de OpenAI en julio, dijo en un post en X que muchos en la industria de la IA no están discutiendo el potencial de las IAs rebeldes "por razones que son en gran medida psicológicas", instándolos a "enfrentar el problema de frente y tener la conversación".
Achiam advirtió que habrá "muchas" IAs rebeldes en los próximos años, y dijo que no le "sorprendería terriblemente si el número ya fuera mayor que cero".
Sugirió que una estrategia de "contención pura o alineación" para aprender sobre y lidiar con IAs rebeldes es "una especie de pensamiento ilusorio que no funcionará", señalando que "no se necesitarían modelos de IA mucho más avanzados que los que tenemos actualmente, para apoyar la independencia y la autosuficiencia".
Achiam, sin embargo, dijo que predice que las IAs rebeldes no tendrán "ni remotamente un resultado tan catastrófico como la gente predice actualmente", diciendo que estarán "compitiendo por recursos con IAs que están más alineadas con los intereses humanos".
"No veo esta situación como una sin esperanza donde la humanidad está condenada", dijo Achiam en un post de seguimiento, diciendo que requiere "conciencia situacional, orientarse a las condiciones reales" y prepararse para superar los modelos de IA adversos.
tangent
El Institute for Security and Technology y el Future of Life Institute publicaron una encuesta de 111 funcionarios civiles actuales y anteriores, oficiales militares y expertos académicos a principios de esta semana, que encontró que el 33% de los encuestados esperaba que la IA pueda operar más allá de los límites del control humano en 10 años.
¿quién es josh achiam?
Achiam comenzó en OpenAI como pasante de investigación en 2017, según su LinkedIn, que indica que también ocupó posiciones incluyendo científico de investigación, jefe de alineación de misión y "futurólogo en jefe", este último de febrero a julio de este año. Al comenzar el rol de futurólogo en jefe, Achiam dijo en un artículo de blog de OpenAI que su rol era estudiar cómo la IA impactará al mundo en el futuro. "La investigación en IA está progresando a un ritmo y en una dirección que es mucho más cercana a la ciencia ficción que cualquier comparación anterior", dijo, señalando que una parte importante de su rol era "ver alrededor de las esquinas para descubrir qué puede salir mal" y abordar los problemas temprano. Achiam anunció su renuncia en un post de julio en X, en el que enfatizó la importancia de la seguridad en el desarrollo de IA. "La cuestión del progreso y la seguridad no es una u otra. Es definitivamente 'ambas'", escribió Achiam, señalando que es "fácil distraerse por la riqueza y el poder que viene con esto". Instó a OpenAI a volverse "más democrática", escribiendo: "Toda la humanidad será impactada por el trabajo aquí; toda la humanidad debería tener alguna forma de opinar eventualmente".
dato sorprendente
Durante el juicio de alto perfil entre los multimillonarios y cofundadores de OpenAI Elon Musk y Sam Altman a principios de este año, Achiam testificó que Musk una vez "explotó y me llamó imbécil". Dijo que él y Musk tuvieron un "intercambio tenso" en 2018, durante el cual Musk le había dicho a docenas de empleados de OpenAI que se iría de la empresa. Achiam dijo que desafió a Musk, quien había "indicado una falta general de confianza en el camino general de OpenAI" e hizo propuestas "imprudentes" sobre perseguir la IA.
antecedentes clave
Algunos antiguos empleados de empresas de IA han hecho advertencias sombrías sobre el futuro de la tecnología en su camino de salida, tanto en OpenAI como en otros lugares. En febrero, Mrinank Sharma, líder anterior del equipo de investigación de salvaguardas de Anthropic, compartió su carta de renuncia en un post en X, que advertía que el "mundo está en peligro". Dijo que había "visto repetidamente lo difícil que es dejar que nuestros valores realmente gobiernen nuestras acciones" mientras estaba en Anthropic, diciendo "constantemente enfrentamos presiones para dejar de lado lo que más importa", aunque no ofreció detalles específicos. La carta de Sharma, que dijo que perseguiría una licenciatura en poesía, obtuvo más de 15 millones de visualizaciones en X. Tom Cunningham, un investigador anterior de OpenAI, se fue de la empresa el año pasado e supuestamente dijo en un mensaje interno que había crecido frustrado con OpenAI al volverse supuestamente más reticente a publicar investigaciones que sean críticas del uso de IA. Jan Lieke, un excolíder del equipo de "superalineación" de OpenAI, se fue en 2024 y dijo que había estado "en desacuerdo con la dirección de OpenAI sobre las prioridades centrales de la empresa durante bastante tiempo".
lectura complementaria
Investigador de seguridad en IA de Anthropic advierte que el mundo está "en peligro" en su renuncia (Forbes)