Un grupo de expertos de OpenAI está denunciando lo que dicen es una cultura de imprudencia y secretismo en la empresa de inteligencia artificial de San Francisco, que se apresura a construir los sistemas de IA más potentes jamás creados.
El grupo, que incluye a nueve empleados actuales y anteriores de OpenAI, se ha unido en los últimos días en torno a preocupaciones compartidas de que la empresa no ha hecho lo suficiente para evitar que sus sistemas de IA se vuelvan peligrosos.
Los miembros dicen que OpenAI, que comenzó como un laboratorio de investigación sin fines de lucro y saltó a la vista del público con el lanzamiento de ChatGPT en 2022 , está dando prioridad a las ganancias y el crecimiento mientras intenta construir inteligencia artificial general, o AGI, el término industrial para una computadora. programa capaz de hacer cualquier cosa que un humano pueda hacer.
También afirman que OpenAI ha utilizado tácticas duras para evitar que los trabajadores expresen sus preocupaciones sobre la tecnología, incluidos acuerdos restrictivos de no menosprecio que se pidió a los empleados salientes que firmaran.
«OpenAI está realmente entusiasmado con la construcción de AGI, y están compitiendo imprudentemente para ser los primeros en lograrlo», dijo Daniel Kokotajlo, ex investigador de la división de gobernanza de OpenAI y uno de los organizadores del grupo.
El grupo publicó una carta abierta el martes pidiendo a las principales empresas de inteligencia artificial, incluida OpenAI, que establezcan una mayor transparencia y más protección para los denunciantes.
Otros miembros incluyen a William Saunders, un ingeniero de investigación que dejó OpenAI en febrero, y otros tres ex empleados de OpenAI: Carroll Wainwright, Jacob Hilton y Daniel Ziegler. Varios empleados actuales de OpenAI respaldaron la carta de forma anónima porque temían represalias por parte de la empresa, dijo Kokotajlo. También firmaron un empleado actual y un ex empleado de Google DeepMind, el laboratorio central de inteligencia artificial de Google.
Una portavoz de OpenAI, Lindsey Held, dijo en un comunicado: “Estamos orgullosos de nuestro historial proporcionando los sistemas de IA más capaces y seguros y creemos en nuestro enfoque científico para abordar el riesgo. Estamos de acuerdo en que un debate riguroso es crucial dada la importancia de esta tecnología, y continuaremos interactuando con los gobiernos, la sociedad civil y otras comunidades de todo el mundo”.
(…)
El mes pasado, dos investigadores senior de IA, Ilya Sutskever y Jan Leike, abandonaron OpenAI bajo una nube. El Dr. Sutskever, que había estado en la junta directiva de OpenAI y votó a favor de despedir al Sr. Altman, había dado la alarma sobre los riesgos potenciales de los potentes sistemas de IA. Algunos empleados preocupados por la seguridad vieron su partida como un revés.
También lo fue la partida del Dr. Leike, quien junto con el Dr. Sutskever había liderado el equipo de “superalineación” de OpenAI, que se centró en gestionar los riesgos de potentes modelos de IA. En una serie de publicaciones públicas anunciando su partida, el Dr. Leike dijo que creía que “la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”.
Ni el Dr. Sutskever ni el Dr. Leike firmaron la carta abierta escrita por antiguos empleados. Pero sus salidas impulsaron a otros ex empleados de OpenAI a hablar.
“Cuando me inscribí en OpenAI, no me inscribí en esta actitud de ‘Pongamos cosas en el mundo y veamos qué sucede y arreglémoslas después’”, dijo Saunders.
Algunos de los ex empleados tienen vínculos con el altruismo efectivo, un movimiento de inspiración utilitarista que en los últimos años se ha preocupado por prevenir las amenazas existenciales de la IA. Los críticos han acusado al movimiento de promover escenarios apocalípticos sobre la tecnología, como la noción de que un out- Un sistema de inteligencia artificial descontrolado podría tomar el control y acabar con la humanidad.
–
FUENTE
cybermedios.org 