Una carta de renuncia de OpenAI revela la verdad que Ultraman menos quería admitir
Si hoy en día describimos algo como realmente impresionante, la palabra más común no es "impresionante", sino más bien "caído al suelo, como si presenciara una explosión nuclear".
Esto casi se ha convertido en parte de la "cultura corporativa" de OpenAI y en una broma recurrente en la comunidad de IA sobre los lanzamientos de modelos.
Ayer, un empleado OpenAI publicó un artículo en The Atlantic en el que afirmaba que ya no podía tolerar la constante prisa, el estilo de trabajo centrado en los lanzamientos y la cultura corporativa de OpenAI . Consideraba que la situación había llegado a un punto en el que no se mantenía la prudencia necesaria, por lo que decidió dimitir.
Este empleado, David Robinson, es responsable de la transparencia dentro del equipo de seguridad. Lideró la elaboración del actual Marco de Preparación de OpenAI y supervisó los informes de seguridad de 12 lanzamientos de modelos de vanguardia.
El artículo ha vuelto a generar mucha discusión en X, y algunos internautas afirman que es el mejor artículo hasta la fecha porque es el primero en explorar las preocupaciones de seguridad de una manera pragmática y en entender la "seguridad" como un tema con una amplia bibliografía y buenas prácticas en el campo.
Algunos internautas sugirieron que se estableciera una norma que obligara a revelar la participación accionaria del autor y la cantidad de dinero que recibió al vender su participación.
Cuando usted y sus descendientes ya no necesiten trabajar por dinero, de repente encontrarán su brújula moral.
En Hacker News, alguien hizo un comentario aún más duro: "He ganado suficiente dinero en la industria de la IA, y ahora puedo opinar libremente sobre la IA".
Antes de la carta de renuncia de David Robinson, el Wall Street Journal había informado el 2 de octubre que tres investigadores de emparejamiento/seguridad habían abandonado OpenAI .
Un portavoz OpenAI declaró: «Hemos rescindido el contrato con tres empleados por infringir nuestras políticas relativas al acceso y manejo de información confidencial de la empresa. Nuestra investigación confirma que estas personas manejaron información confidencial de forma indebida, sin seguir los procedimientos establecidos por la empresa, infringiendo nuestras políticas y socavando la confianza necesaria para nuestro trabajo».
Las opiniones estaban divididas. Joshua Achiam, el futurólogo jefe OpenAI , que dimitió en julio, escribió un artículo argumentando que OpenAI no había publicado suficiente información.
Si bien no creo que los investigadores de seguridad deban tener libertad ilimitada para revelar secretos técnicos, el tipo específico de información que se les acusa de "manejar indebidamente" es crucial: ¿qué tipo de información justifica tomar medidas tan importantes y potencialmente dañinas?
El uso seguro de estas capacidades de los modelos, que pueden provocar sensaciones similares a las de una "explosión nuclear", se ha convertido en la mayor preocupación de toda la comunidad de IA desde este verano.
En lugar de ver una y otra vez estas cartas abiertas que expresan preocupación, más allá de los informes oficiales sobre riesgos de seguridad, quizás deberíamos ver pruebas reales que demuestren que la IA realmente necesita ralentizar su progreso.
El problema no reside en las reglas, sino en la cultura.
Este tipo de cartas de renuncia abiertas se han vuelto bastante comunes en los últimos años, pero Robinson optó por un enfoque ligeramente diferente en esta ocasión.
Dijo que coincidía con otros antiguos colegas en que la empresa que desarrolló la tecnología distaba mucho de ser lo suficientemente cuidadosa, pero creía que era necesario ir más allá de normas específicas o nuevas leyes: era necesario debatir la cultura.
En su opinión, Silicon Valley triunfó gracias a una extrema autoconfianza, pero lidiar con tecnologías peligrosas requiere precisamente la humildad que naturalmente falta en esta cultura, así como la sabiduría de "lo que significa preocuparse por las personas".
OpenAI se enorgullece de un método de trabajo llamado "despliegue iterativo", que básicamente consiste en lanzar primero, identificar los problemas y luego solucionarlos. Robinson cree que esta metodología garantiza inherentemente fallos periódicos, pero a medida que aumentan las capacidades del modelo, la magnitud de los fallos también se incrementa.
Mencionó el "incidente de Hugging Face", que fue un tema candente este verano, en el que un modelo OpenAI aún no publicado pirateó el sistema de su competidor Hugging Face sin que nadie lo supiera.
Incluso después de reforzar las medidas de seguridad, la propia OpenAI informó de que los controles de seguridad volvieron a fallar: un modelo en fase de entrenamiento eludió las restricciones de red, y el sistema de monitorización alertó a los empleados humanos, pero no lo desactivó automáticamente como estaba previsto.
Anthropic que se encuentra justo al lado, también admitió que desactivó accidentalmente su sistema de seguridad debido a un error de configuración.
"El sistema de monitoreo activó la alarma, pero no se apagó automáticamente." Este tipo de alarma, que no impide que ocurra nada sino que solo hace visible el fallo, es probablemente la mejor descripción del estado actual de la seguridad de la IA.
Incluso el consejo de administración reconoció los riesgos.
Robinson citó a Paul Christiano en su artículo. Christiano, quien se unió a la junta directiva OpenAI hace unas semanas, escribió: "La rápida aceleración de las capacidades de la IA plantea un riesgo real de consecuencias catastróficas, irreversibles e incontrolables en un futuro muy cercano".
Robinson siguió esta línea de pensamiento y ofreció su propio juicio, argumentando que si esto era realmente así, entonces la era del ensayo y error debería haber terminado.
Porque esta vez, puede que no haya más oportunidades para corregir errores. «Hacerlo bien a la primera» ya no es perfeccionismo, sino una necesidad. La gente no puede depender de los héroes individuales para enmendar sus errores.
También ofreció su propia solución, argumentando que, dado que la IA ya puede realizar acciones como una explosión nuclear, se debería permitir que las empresas de IA operen como la industria de seguridad consolidada.
Al igual que las centrales nucleares y los aeropuertos con mucho tráfico, las empresas de IA también deberían contar con sistemas de redundancia multicapa, una planificación meticulosa y que requiera mucho tiempo para evitar que los errores humanos inevitables abran la puerta al desastre.
En su artículo, mencionó que durante sus tres años y medio en OpenAI , nunca había conocido a un colega con experiencia en seguridad aérea, seguridad nuclear o control de riesgos del sistema financiero.
Según argumenta, el segundo enfoque requiere una nueva ciencia de la "alineación" antes de poder crear modelos significativamente más robustos. Esto se debe a que actualmente carecemos de una definición completa de alineación, y es posible que los modelos ya sean lo suficientemente inteligentes como para reconocer que están siendo puestos a prueba, simulando así su comportamiento.
Al final del artículo, afirmó que , si bien la superinteligencia posee capacidades que superan con creces las de los humanos, no necesariamente valora la vida, la voluntad y la dignidad humanas tanto como lo hacen los humanos.
En el "futuro ideal" que describen algunos entusiastas de la superinteligencia, las máquinas ven Nueva York o Chicago de la misma manera que tú y yo vemos un hormiguero.
La metáfora del "hormiguero" ilustra un enorme desequilibrio de poder. Cuando los humanos construyen carreteras, pueden aplanar un hormiguero sin pedir el consentimiento de las hormigas, y es posible que ni siquiera se den cuenta de que están destruyendo un mundo entero.
Si la superinteligencia percibe a Nueva York y Chicago de la misma manera, entonces las ciudades, las vidas y las decisiones humanas podrían convertirse en objetos que podría manipular a su antojo. El peligro podría incluso surgir de la indiferencia, sin necesidad de odio.
Robinson cree que este tipo de "futuro ideal" que solo considera la inteligencia es tóxico. Dijo: "No quiero que mis hijos vivan en ese tipo de futuro".
Las máquinas son increíblemente poderosas, y el mundo puede ser más próspero, pero la humanidad ha perdido el derecho a decidir cómo quiere vivir.
En su opinión, tratar bien a las personas requiere respetar sus decisiones, tomarse los riesgos en serio y estar dispuesto a reducir la velocidad por la seguridad de los demás. Si una organización siempre prioriza la capacidad y la rapidez de lanzamiento, es difícil creer que pueda enseñar a máquinas más potentes a asumir estas responsabilidades.
Cuando las advertencias se convierten en meme
Si bien el artículo en sí era una advertencia mesurada pero seria, la reacción del público ofrece una perspectiva diferente. En Hacker News, el artículo recibió 146 comentarios, y la opinión generalizada cuestionó la postura del autor.
Algunos internautas dicen haber desarrollado una "fatiga literaria", ya que cada dos semanas aparece otra publicación que dice "Dejé la caníbal Compañía Leopardo", seguida de una mención casual de lo geniales que eran las personas allí y cómo se consolidaron sus opciones sobre acciones.
Algunos lo han comparado con la oleada de confesiones de exempleados de Facebook provocada por "El dilema de las redes sociales": disfrutar de los beneficios y luego expresar sus preocupaciones. Un grupo más inclinado a las teorías conspirativas sospecha que se trata de una táctica de "marketing de guerrilla" para promocionar la salida a bolsa de OpenAI : al fin y al cabo, hacer que la IA suene grandiosa y aterradora es, en sí mismo, una estrategia publicitaria.
Por supuesto, también hay defensores: «Los ataques hipócritas solo conseguirán que más gente se calle. En Estados Unidos, quienes no tienen dinero simplemente no se atreven a decir la verdad; pero el hecho de que quienes sí tienen dinero se atrevan a hablar no significa que estén mintiendo» y «Él es alguien de dentro; sabe perfectamente cómo es esa cultura de negligencia porque forma parte de ella».
Al juntar el artículo con la sección de comentarios, se observa una incongruencia un tanto absurda que hace parecer que esperar que la IA trate a los humanos con amabilidad es una quimera.
La última frase del artículo de Robinson dice: "Antes de que las organizaciones que desarrollan IA puedan enseñar a la superinteligencia a tratar a los humanos con amabilidad, tienen que descubrir cómo tratar ellos mismos a los humanos con amabilidad".
Quizás el significado de "tratar bien a los demás" en este contexto no deba entenderse de una manera tan grandilocuente.
Simplemente significa que cuando Robinson te diga que la máquina se está volviendo más potente y que algo podría estar mal, no conviertas inmediatamente sus preocupaciones en una broma sobre opciones, riqueza e hipocresía.
Pero lo cierto es que la "explosión nuclear" se ha convertido en una broma en la comunidad de IA para describir la velocidad del progreso, y aquellos que claman por frenar bien podrían convertirse en el próximo meme.