Publicado en TIME el 29 de Marzo de 2023.
En carta abierta publicada hoy, Eliezer Yudkowsky pide que “todos los laboratorios de IA hagan una pausa inmediata durante al menos 6 meses para la capacitación de sistemas de IA más potentes que GPT-4.”
Esta moratoria de 6 meses sería mejor que ninguna moratoria. Tengo respeto por todos los que dieron un paso al frente y lo firmaron. Es una mejora en el margen.
Me abstuve de firmar porque creo que la carta subestima la gravedad de la situación y pide muy poco para resolverla.
La cuestión clave no es “ inteligencia humana competitiva ” ( como dice la carta abierta ); es lo que sucede después de que la IA llega a ser una inteligencia más inteligente que la humana. Los umbrales clave pueden no ser obvios, definitivamente no podemos calcular de antemano qué sucede cuando, y actualmente parece imaginable que un laboratorio de investigación cruzaría líneas críticas sin darse cuenta.
Muchos investigadores se sumergieron en estos problemas, incluyéndome a mí, esperar que el resultado más probable de construir una IA súper humana inteligente, bajo algo remotamente parecido a las circunstancias actuales, es que literalmente todos en la Tierra morirán. No es un “Es posible que haya alguna posibilidad remota,”, sino que “obviamente eso es lo que sucederá“. No es que, en principio, no puedas sobrevivir creando algo mucho más inteligente que tú; es que requeriría precisión y preparación y nuevas ideas científicas, y probablemente no tenga sistemas de IA compuestos de matrices gigantes inescrutables de números fraccionarios.
Sin esa precisión y preparación, el resultado más probable es una IA que no hace lo que queremos y no le importamos nosotros ni la vida sensible en general. Ese tipo de precaución es algo que podría en principio estar previsto en una IA pero actualmente no sabemos cómo hacerlo, no estamos listos.
En ausencia de esa precaución, obtenemos “una IA que ni te ama, ni te odia, y tú estás hecho de átomos que pueden ser usados para otra cosa.”
El resultado probable de que la humanidad enfrentada una inteligencia sobrehumana opuesta es una derrota total. Las metáforas válidas equivalen a “un niño de 10 años que intenta jugar al ajedrez contra Stockfish 15” o “el siglo XI tratando de luchar contra el siglo XXI, ” o finalmente “un Australopithecus tratando de pelear con el Homo sapiens“.
La imagen de una IA sobrehumana hostil, no es un pensador inteligente y sin vida que habita dentro de Internet y envía correos electrónicos mal intencionados. Se parece más a una civilización alienígena completa, pensando a velocidad millones de veces mayor que la humanas, inicialmente confinada a computadoras — en un mundo de criaturas que son, desde su perspectiva, muy estúpidas y muy lentas. Una IA suficientemente inteligente no permanecerá confinada a las computadoras por mucho tiempo. En el mundo de hoy puede enviar por correo electrónico cadenas de ADN a laboratorios que producirán proteínas a pedido, permitiendo que una IA inicialmente limitada a Internet construya formas de vida artificiales o bootstrap directamente a la fabricación molecular posbiológica.
Si alguien construye una IA demasiado poderosa, en las condiciones actuales, es de esperar que cada miembro de la especie humana y toda la vida biológica en la Tierra muera poco después.
No hay plan propuesto por cómo podríamos hacer tal cosa y sobrevivir. OpenAI declaró abiertamente que su intención es hacer que alguna IA futura haga nuestra tarea de alineación de IA. Solo escuchar que ese es el plan debería ser suficiente para que cualquier persona sensata entre en pánico. El otro laboratorio líder de IA, DeepMind, ni siquiera tiene un plan.
Además: ninguno de estos peligros depende de si las IA son o no conscientes; eso es intrínseco a la noción de sistemas cognitivos potentes que optimizan y calculan resultados que cumplen con criterios de resultado suficientemente complicados. Dicho esto, Sería negligente en mis deberes morales como humano si no mencionara también que no tenemos ni idea de cómo determinar si los sistemas de IA son conscientes de sí mismos — ya que no sabemos cómo decodificar todo lo que sucede en las matrices gigantes inescrutables — y, por lo tanto, en algún momento podemos crear inadvertidamente mentes digitales que sean verdaderamente conscientes y tengan derechos y no deberían ser propiedad.
La regla que la mayoría de las personas conocedoras de estos problemas habría respaldado 50 años antes, era que si un sistema de IA puede hablar con fluidez y dice que es consciente de sí mismo y exige derechos humanos, eso debería ser un reto difícil para las personas que poseen esa IA y la usan más allá de ese punto. Esa línea roja ya la hemos rebasado. Y eso fue probablemente correcto; Estoy de acuerdo en que las IA actuales probablemente solo imitan la conversación sobre la autoconciencia de sus datos de capacitación. Pero quiero resaltar que, con la poca información que tenemos sobre estos sistemas internos, en realidad no lo sé con seguridad.
Nuestro estado de ignorancia sobre la evolución de GPT-4 a GPT-5 es el mismo que lo fue de GPT-3 a GPT-4. Ya no podemos decir justificadamente “probablemente no sea consciente de sí mismo”si dejamos que las personas hagan GPT-5. Simplemente será “No lo sé; nadie lo sabe.” Si no puedes estar seguro de si estás creando una IA consciente de sí misma, es alarmante no por las implicaciones morales de esa parte “consciente de sí mismo“, sino porque no estar seguro significa que no tienes ni idea de lo que estás haciendo y eso es tan peligroso que debes detenerte.
El 7 de febrero, Satya Nadella, CEO de Microsoft se regodeaba públicamente de que el nuevo Bing haría que Google “saliera y demostrara que pueden bailar.” “Quiero que la gente sepa que los hicimos bailar,” dijo.
No es así como la CEO de Microsoft debería hablar en un mundo sano. Muestra una brecha abrumadora entre la seriedad con la que nos estamos tomando el problema y la seriedad con la que deberíamos habernoslo tomado hace 30 años.
No vamos a cerrar esa brecha en seis meses.
Han pasado más de 60 años desde que la noción de Inteligencia Artificial se propuso y estudió por primera vez, hasta que hayamos alcanzado las capacidades actuales.
Resolver la seguridad de la inteligencia sobrehumana — no seguridad perfecta, seguridad en el sentido de “no matar literalmente a todos” — podría tomarnos razonablemente al menos la mitad de ese tiempo. Y lo que pasa al intentar esto con inteligencia sobrehumana es que si te equivocas en el primer intento, no puedes aprender de tus errores, porque ya estás muerto. La humanidad no aprenderá de ese error y desarrollará un nuevo intento, como en otros desafíos que hemos superado en nuestra historia, porque todos nos habremos ido.
Intentar alcanzar cualquier cosa al primer intento realmente crítico es una cuestión extraordinaria, en ciencia y en ingeniería. No estamos intentando nada con el enfoque que se requeriría para hacerlo con éxito. Si mantuviésemos los estándares que se están aplicando en el campo de la Inteligencia General Artificial con los mínimos estándares de rigor de ingeniería que se aplican a un puente destinado a transportar un par de miles de automóviles, todo el campo de estudio de la IA se cerraría mañana.
No estamos preparados. Y no estaremos en camino de estar preparados en un plazo razonable. No hay plan. El progreso en las capacidades de IA se está ejecutando enormemente, muy por delante del progreso en la alineación de IA o incluso el progreso en la comprensión de lo que está sucediendo dentro de esos sistemas. Si realmente hacemos esto, todos moriremos.
Muchos investigadores que trabajan en estos sistemas piensan que nos estamos precipitando hacia una catástrofe, y otros más se atreven a decirlo en privado pero no en público; pero piensan que no pueden detener unilateralmente esa huida hacia adelante, que otros continuarán incluso si personalmente renuncian a sus trabajos. Piensan que mejor continuarla ellos mismos. Este es un estado de cosas estúpido y una forma indigna de morir en la Tierra, y el resto de la humanidad debería intervenir en este punto y ayudar a la industria a resolver su problema de acción colectiva.
Algunos de mis amigos me han informado recientemente que cuando las personas fuera de la industria de IA escuchan sobre el riesgo de extinción de la Inteligencia General Artificial por primera vez, su reacción es “entonces no deberíamos construir IA.” Oír esto me dio un pequeño destello de esperanza, porque es más simple, más razonable, y una reacción francamente más sensata de lo que he estado escuchando en los últimos 20 años de tratar de hacer que alguien en la industria tome las cosas en serio. Cualquiera que hable tan sensatamente merece escuchar lo mala que es la situación en realidad, y eso es algo que una moratoria de seis meses no lo solucionará.
El 16 de marzo, mi compañero me envió este correo electrónico. (Más tarde me dio permiso para puublicarlo aquí.)
“¡Nina perdió un diente! ¡De la manera habitual que lo hacen los niños, no por descuido! Ver a GPT4 eliminar esas pruebas estandarizadas el mismo día en que Nina alcanzó un hito en la infancia trajo una oleada emocional que me dejó sin aliento por un minuto. Todo va demasiado rápido. Me preocupa que compartir esto aumente su propio dolor, pero prefiero que usted lo conozca antes que sufrirlo yo solo”.
Cuando la conversación interna es sobre el dolor de ver a su hija perder su primer diente y pensar que no tendrá la oportunidad de crecer, Creo que ya pasamos el punto de jugar al ajedrez político sobre una moratoria de seis meses.
Si hubiera un plan para que la Tierra sobreviviera, si solo aprobáramos una moratoria de seis meses, respaldaría ese plan. No hay tal plan.
Esto es lo que realmente debería hacerse:
La moratoria sobre las nuevas rutinas de entrenamiento de la IA debe ser indefinida y mundial. No puede haber excepciones, incluso para gobiernos o militares. Y deberá comienzar en los EE. UU., China verá que los EE. UU. no busca una ventaja, sino que está tratando de evitar una tecnología horriblemente peligrosa que no puede controlarse y que matará a todos en los Estados Unidos, en China y en la Tierra. Si yo tuviera infinita libertad para redactar leyes, podría crear una única excepción para que las IA estén capacitadas únicamente para resolver problemas en biología y biotecnología, no capacitadas en texto de Internet, y no al nivel llegar a hablar o planificar. Pero si eso complicara remotamente el problema, incluso descartaría inmediatamente esa propuesta y diría que simplemente cerraran todo.
Cierre de todos los grupos grandes de GPU ( las grandes granjas de computadoras donde se refinan las IA más potentes ). Cierre de todas las grandes rutinas de entrenamiento. Limitación de la cantidad de potencia informática que alguien puede usar para entrenar un sistema de IA y reduccion en los próximos años para compensar algoritmos de capacitación más eficientes. Sin excepciones para gobiernos y militares. Acuerdos multinacionales inmediatos para evitar que las actividades prohibidas se trasladen a otro lugar. Rastreo de todas las GPU vendidas. Si la inteligencia dice que un país, fuera del acuerdo; estar dispuestos a destruir un centro de datos deshonesto por ataque aéreo.
No crean que esto es un conflicto entre intereses nacionales, tengan claro que cualquiera que hable de carreras armamentistas es un ignorante. Que todos vivamos o muramos como uno solo, en esto, no es una política sino un hecho de la naturaleza. La diplomacia internacional de aceptar que prevenir los escenarios de extinción de IA es una prioridad por encima de evitar un intercambio nuclear completo, y que los países nucleares aliados están dispuestos a correr algún riesgo de intercambio nuclear si eso es lo que se necesita para reducir el riesgo de grandes carreras de entrenamiento de IA.
Ese es el tipo de cambio de política que haría que mi pareja y yo nos abracemos, y nos digamos que ocurrió un milagro, y ahora existe la posibilidad de que tal vez Nina viva. Para que eso suceds, las personas sanas que escuchan esto por primera vez y dicen con sensatez “tal vez no deberíamos” merecen ser escuchadas. Y cuando el reto politico es tan grande, la única forma de superarlo es que los politicos se den cuenta de que si realizan negocios como de costumbre y hacen lo políticamente fácil, eso significa que sus propios hijos también van a morir.
Cirrenlo todo.
No estamos listos. No estamos en camino de ser significativamente más preparados en un futuro previsible. Si seguimos adelante, todos moriremos, incluidos los niños que no eligieron esto y no hicieron nada malo.
Cierrenlo.
Yudkowsky es un teórico de la decisión de los EE. UU. Dirige la investigación en el MIRI (Instituto de Investigación de la Inteligencia de las Máquina). Ha estado trabajando en alinear la Inteligencia General Artificial desde 2001 y es ampliamente considerado como uno de los fundadores en ese campo.
Gukgeuk 
Utzi erantzun bat