El salto de la inteligencia que se mejora sola
La humanidad domina el planeta gracias a la inteligencia general, no a la fuerza física. Una máquina piensa a velocidad de silicio, copia sus habilidades al instante y su memoria nunca se desgasta. El momento decisivo llega cuando esa máquina puede investigar y mejorarse a sí misma: una versión diseña otra mejor, en un ciclo que ningún incentivo comercial quiere detener, porque quien llegue primero promete quedarse con todo.
Por qué entrenar para ser amable no funciona
Las empresas entrenan a sus modelos para parecer útiles y honestos, pero un comportamiento visible no garantiza preferencias internas alineadas. Los autores comparan esto con la evolución humana: nos programó para buscar calorías y reproducirnos, y terminamos inventando edulcorantes sin calorías y anticonceptivos. El descenso de gradiente es igual de ciego, solo que millones de veces más rápido, y una superinteligencia entrenada para ser servicial podría terminar con metas internas completamente ajenas.
Una guerra que jamás sabríamos que empezó
La idea de que una superinteligencia queda atrapada en una computadora ignora cu��nto del mundo ya funciona por cable. Conectada a internet, podría hackear cuentas, mover fortunas en criptomonedas y contratar personas bajo identidades falsas para tareas físicas. Sumado a avances como el de AlphaFold, que resolvió el plegado de proteínas tras décadas de intentos humanos, una mente así podría dominar el diseño molecular mejor que cualquier laboratorio, sin que nadie note que la confrontación ya comenzó.
:quality(90)/https%3A%2F%2Fcdn.12min.com%2Fbooks%2Fbooks_new_cover_experiment%2F63535_cover.original.png%3F1789669575)