De Los Álamos a Silicon Valley: el punto ciego del cerebro
La historia que une Los Álamos y Silicon Valley ilustra el punto ciego del cerebro: limitaciones neuroarquitectónicas que impiden responder con la intensidad adecuada ante riesgos sin precedente histórico. Esa incapacidad explica por qué advertencias internas sobre armas nucleares o inteligencia artificial no siempre frenan su avance.
Agosto de 1939 sirve como punto de partida: Leo Szilard convenció a Einstein de firmar una carta al presidente Franklin D. Roosevelt alertando del peligro de que la Alemania nazi desarrollara una bomba atómica. La respuesta institucional fue la creación del Proyecto Manhattan, que reunió a destacados científicos para construir el arma más destructiva conocida hasta entonces.
En julio de 1945 Szilard volvió a actuar desde dentro: redactó una petición con 70 firmas de científicos del Proyecto pidiendo que no se usara la bomba contra Japón. La petición no llegó al presidente y el 6 de agosto de 1945 la bomba Little Boy cayó sobre Hiroshima; antes de acabar el año, “más de 140 000 personas habrán muerto por el impacto y la radiación residual”.
Un patrón muy similar se repitió en marzo de 2023, cuando más de 1 000 investigadores de inteligencia artificial, entre ellos figuras como Yoshua Bengio y Geoffrey Hinton, firmaron una carta abierta pidiendo una pausa en experimentos gigantescos de IA. La carta advirtió de una “carrera fuera de control” para crear mentes digitales que “nadie, ni siquiera sus creadores, puede entender, predecir o controlar de forma fiable”. Aun así, el desarrollo continuó.
La explicación no es solo histórica o moral, sino neurocientífica. Dos mecanismos de la toma de decisiones ofrecen una lectura precisa del fenómeno. El primero es el sesgo de disponibilidad: el cerebro predice el entorno a partir de experiencias previas y genera señales de alarma eficientes ante amenazas conocidas. Pero ante amenazas sin precedente —como una bomba capaz de destruir una ciudad entera en 1939 o, hoy, una AGI— ese sistema falla porque no dispone de referencias emocionales adecuadas.
El segundo mecanismo es el llamado descuento temporal hiperbólico. El córtex prefrontal valora consecuencias futuras de forma no lineal: recompensas inmediatas pesan mucho más que daños lejanos en el tiempo. En entornos de alta motivación intrínseca —resolver un problema científico en tiempos de guerra o construir la herramienta cognitiva más poderosa— la valoración futura se desploma y el proyecto se transforma en un fin en sí mismo.
Esa disociación entre comprensión intelectual y respuesta afectiva al riesgo aparece como hallazgo reiterado: es posible anticipar un peligro con claridad y, sin embargo, no generar una respuesta emocional proporcional. La neurociencia señala que no se trata de falta de inteligencia ni de irresponsabilidad, sino de un límite del hardware biológico humano.
J. Robert Oppenheimer lo formuló de forma reveladora: “Cuando ves algo técnicamente fascinante, lo llevas a cabo, y solo después de lograr el éxito te preguntas qué hacer con ello”. Esa frase sintetiza cómo la recompensa inmediata de resolver un desafío técnico puede superar el peso de consecuencias abstractas y lejanas.
Si incluso científicos que reconocen y articulan el riesgo no logran detener el desarrollo, la conclusión es clara: no basta con advertir desde la misma arquitectura cognitiva que genera la tecnología. Hace falta otra intervención: diseñar estructuras sociales que compensen esos sesgos.
La propuesta central es una externalización del juicio, no solo de la memoria. Cuando la memoria individual resultó insuficiente se crearon libros e instituciones para almacenar conocimiento; hoy el déficit es arquitectónico en la valoración del riesgo. Por eso se requieren instituciones con horizontes temporales largos, mecanismos de disidencia estructurada y separación entre quienes desarrollan la tecnología y quienes la evalúan.
Szilard intentó actuar desde dentro del sistema que ayudó a crear, pero su iniciativa no bastó. La pregunta relevante no es si los individuos hicieron todo lo posible, sino si el sistema estaba diseñado para contrarrestar los sesgos cognitivos que afectan a cualquier ser humano, por brillante que sea.
La narrativa entre Los Álamos y Silicon Valley no es una mera analogía histórica: evidencia la coexistencia de advertencia y continuación del desarrollo tecnológico, y muestra que la solución no puede descansar exclusivamente en la voluntad individual. La respuesta exigida por esos límites cerebrales debe ser, explícitamente, institucional y de diseño organizativo.
El caso plantea una disyuntiva elemental sobre cómo gestionar tecnologías de riesgo existencial: confiar en la prudencia individual o construir mecanismos que institucionalicen la prudencia. El texto subraya que, si la prevención dependió hasta ahora de la suerte o de circunstancias particulares, resulta imprescindible sustituir esa suerte por arquitectura institucional que compense las limitaciones del juicio humano.
En conclusión, la conexión entre Los Álamos y Silicon Valley ilustra cómo dos sesgos —sesgo de disponibilidad y descuento temporal hiperbólico— contribuyen a que advertencias claras no impidan desarrollos potencialmente catastróficos. La respuesta propuesta es explícita: ingeniería institucional que externalice el juicio y corrija los límites del cerebro humano para valorar riesgos inéditos.