Dotar de alma a la IA

 

Cultivar valores humanos en tiempos de algoritmos. Una nueva disciplina promete que la ética deje de ser una instrucción externa para convertirse en una arquitectura interna visible, desafiando así el histórico hermetismo de la "caja negra" de la IA.

 Por Ricardo Trotti

Miami – 2 de octubre de 2025 (Ensayo paralelo a mi novela “Robots con Alma: atrapados entre la verdad y la libertad”).

 Le pedimos que nos guíe en el tráfico, que traduzca idiomas desconocidos y que redacte correos o informes que luego defendemos como propios. Aceptamos incluso sus alucinaciones como verdades, la consultamos por una erupción en la piel, por el “mal de ojo” o por nuestro futuro económico. Y hasta nos sorprende que nuestros hijos conversen con ella como si fuese un amigo más.

La Inteligencia Artificial Generativa (IAG) se volvió una presencia cotidiana, un copiloto al que cedimos el volante de nuestra vida con entusiasmo y miedo a la vez, porque no comprendemos del todo a qué nos exponemos. Su expresión más visible son los Modelos de Lenguaje de Gran Escala (LLM), como ChatGPT, Gemini o Copilot, capaces de redactar, responder preguntas, traducir y actuar como consejeros o confesores.

Ese temor alimenta debates en universidades, en juntas de desarrolladores y en parlamentos que intentan regular una fuerza que avanza más rápido que nuestra capacidad de comprenderla.

La conversación pública está fracturada en dos relatos. El tecno-optimismo que promete soluciones mágicas, y el pesimismo distópico que advierte sobre el desempleo masivo y el control algorítmico. Esas dos corrientes entre especialistas se definen como el Altruismo Eficaz (EA, siglas en inglés) que exige alinear la IA con valores humanos para evitar riesgos, y el Aceleracionismo (ACC), que apuesta por desarrollar la IA sin frenos ni pausas.

Para entender ese dilema decidí tomar distancia. Inventé un futuro en mi novela Robots con Alma: atrapados entre la verdad y la libertad para observar el presente como si ya fuera historia. En mi ficción pude concluir que la IA necesita un marco ético firme no solo para prosperar, sino para garantizar que su desarrollo sea seguro y no amenace a la humanidad.

Más allá de mi intención, hay que considerar que el avance acelerado de la IA no está exento de controversia. Hoy, la discusión pública se fractura no solo en el debate sobre la regulación, sino en la sospecha creciente de una burbuja económica y tecnológica. Algunos críticos, incluyendo a dos centenares de científicos, acusan a las grandes tecnológicas de exagerar las capacidades de la IA con un "lenguaje de marketing engañoso", promoviendo una burbuja con claros intereses comerciales. Esta preocupación ha escalado hasta los más altos círculos financieros, con el Comité de Política Financiera del Banco de Inglaterra advirtiendo de un "riesgo creciente de corrección repentina" del mercado. El Banco de Inglaterra señala, en particular, "cuellos de botella" en el suministro de energía, datos y materias primas necesarios para satisfacer la desproporcionada demanda.

Gran parte de esta tensión económica se debe a un modelo de negocio que funciona como un ecosistema financiero cerrado, una práctica descrita por expertos como la financiación del vendedor o inversión circular. En esta fórmula, los gigantes de la tecnología —fabricantes de equipos (como Nvidia) y vendedores de servicios (como Microsoft o AWS)— participan de forma recíproca en las empresas de software (como OpenAI). Este flujo de dinero circular reparte inversiones y beneficios, buscando engordar el volumen de negocio para atraer nuevas inversiones, tal como ha documentado Morgan Stanley Research. El objetivo, explican economistas, es conseguir una "imagen de mayor poder" ante los especuladores.

El riesgo que se desprende de esta práctica no es solo financiero, sino que apunta a una hiper concentración de poder. Esta inversión circular amenaza con derivar en un oligopolio, un mercado dominado por un puñado de empresas para controlar toda la infraestructura y la oferta de la IA. Mientras la promesa a largo plazo es crear más puestos de trabajo, en el corto plazo, el gigantesco gasto para sostener esta infraestructura y la búsqueda de eficiencias han llevado a miles de despidos masivos. Gigantes como Amazon, IBM, Meta, y UPS han anunciado recortes, con algunas empresas admitiendo que la automatización ha dejado obsoletos algunos puestos. Algo de esto se vio, a mediados de noviembre, con la fuerte corrección en Bolsa de compañías como Oracle, a pesar de sus multimillonarios contratos. Este panorama de aceleración económica y recortes laborales subraya la urgencia de debatir cómo asegurar que el progreso económico, impulsado por la IA, esté unido al progreso democrático y no amplifique la desigualdad.

 

El inquilino digital

La IA se ha instalado en nuestra casa como un inquilino silencioso, siempre escuchando y espiando. Cada búsqueda en Google, cada chat en WhatsApp o video en TikTok se convierte en una confesión íntima que revela dudas, gustos o preferencias políticas.

Con esos datos, los algoritmos nos perfilan y nos encierran en burbujas de información a medida, robándonos el sentido crítico al mostrar solo lo que confirma nuestras creencias e invisibilizar lo contrario.

Los sistemas de geolocalización delatan que no estamos en casa, información útil para delincuentes. Los dispositivos de salud que monitorean pulso o sueño son radiografías íntimas que pueden usar empleadores o aseguradoras. Y una simple compra en línea expone datos financieros que, en segundos, pueden vaciar cuentas bancarias.

Esa recolección masiva es el modelo de negocio de gigantes como Google, Meta y Amazon en Occidente, y Baidu, Alibaba o Tencent en China.

Más allá de las grandes plataformas, cualquier empresa puede comprar información personal a los llamados data brokers, que revenden historiales de navegación, ubicación y consumo. Compañías como Acxiom, Experian u Oracle Data Cloud alimentan este mercado de vigilancia. Con esos datos, aerolíneas, aseguradoras o supermercados entrenan algoritmos para fijar precios, segmentar clientes o explotar debilidades.

La otra cara del poder algorítmico es su apetito insaciable. Un estudio de la University College London mostró cómo los asistentes de los navegadores transmiten formularios bancarios y de salud sin consentimiento, elaborando perfiles de edad, ingresos o intereses. Google, WhatsApp y hasta servicios como WeTransfer han reconocido que usan interacciones y archivos para entrenar modelos, a veces con advertencias ambiguas, otras con cambios de privacidad que casi nadie lee.

La promesa de conveniencia y conectividad, a cambio de un perfil detallado de nuestros deseos y miedos, termina siendo vigilancia. Delta Airlines evaluó ajustar precios según la urgencia del viajero, incluso en trayectos sensibles como viajar a funerales. Amazon modifica precios miles de veces al día según la competencia o el clima. Uber fue acusada de encarecer viajes cuando detecta que el celular tiene poca batería.

Lo que el mercado llama personalización no es otra cosa que vigilancia disfrazada de servicio. Y cuando esa lógica entra en el ámbito gubernamental, se convierte en control directo sobre los ciudadanos.

El avance de la tecnovigilancia suele justificarse en nombre de la seguridad nacional. En EE.UU. investigaciones de The New York Times y The Wall Street Journal revelaron un entramado de reconocimiento facial, cámaras públicas, drones y lectores de matrículas para rastrear a inmigrantes. A esa red se suman compañías privadas que procesan millones de datos para elaborar perfiles de deportación. Herramientas como Babel X y SocialNet recopilan información sin control judicial, expandiendo la vigilancia más allá de la ley.

En América Latina, la seguridad también se usa como excusa para acallar el disenso. Los gobiernos de El Salvador y México usaron el software Pegasus para espiar a decenas de periodistas y defensores de derechos humanos.

Además, el diseño de las plataformas de IA arrastra el modelo adictivo heredado de las redes sociales. Meta, TikTok o YouTube perfeccionaron algoritmos para maximizar el tiempo de uso y explotar vulnerabilidades psicológicas. Ese patrón se traslada ahora a los asistentes de IA, con el agravante de que la interacción es activa, personalizada y simula empatía. La American Psychological Association (APA) y la Organización Mundial de la Salud (OMS) advierten que estas dinámicas afectan memoria, sueño y salud mental, y las vinculan con el aumento de la ansiedad y la depresión.

Las señales de alarma ya están a la vista porque la adicción digital ya no se mide con “likes”, sino en la dependencia de una conversación simulada. En EE.UU. varias demandas colectivas apuntan a TikTok y Meta por fomentar conductas compulsivas y agravar problemas de autoestima. En Japón y otros países, el aislamiento y la dependencia tecnológica se asocian al aumento del suicidio adolescente.

Lo más inquietante es que tras la revolución de los grandes modelos de lenguaje, ya asoma una nueva generación de IA, los llamados Large World Models (LWM). No están diseñados para escribir o conversar como los LLM actuales, sino para recrear el mundo físico. Google, Meta o Nvidia experimentan con estas realidades capaces de anticipar cómo se mueve un objeto, entrenar a un robot para agarrar un vaso sin romperlo o dotar a un coche autónomo de la intuición para frenar antes de que un niño cruce la calle. Esta tecnología multiplicará el alcance de la IA porque no influirá solo en lo digital, sino en el mundo que habitamos. Y si los LLM nos obligan a discutir sobre sesgos y alucinaciones, los LWM nos impondrán un repertorio distinto de dilemas.

Todo esto evidencia que no enfrentamos un problema técnico, sino ético. La industria de la IA privilegia la velocidad, la captura de datos y la creación acelerada de nuevas realidades, por encima de la seguridad y la intimidad. Y ahora, con los LWM, ese inquilino digital deja de estar solo en la pantalla y empezará a mudarse a la casa física que compartimos, por ejemplo, un robot que acomode los muebles según patrones de consumo que alguien pagó por imponer, un coche que elija rutas no por seguridad sino por publicidad, o una cocina inteligente que prepare alimentos para “combatir” nuestras enfermedades, decidiendo por nosotros qué podemos o no comer.

 

Sesgos, alucinaciones y desconfianza

Reducir la IA solo a sus riesgos sería miope. Este mismo inquilino que aprende nuestros prejuicios también puede ser un aliado sin precedentes. En una mamografía puede detectar patrones que un ojo humano pasaría por alto, dándole a una madre tiempo valioso contra el cáncer. AlphaFold, de DeepMind, resolvió el enigma del plegamiento proteico, un desafío que atormentó a la biología durante 50 años y que llevó a sus creadores, Demis Hassabis y John Jumper, a recibir el Premio Nobel de Química en 2024.

Sin embargo, el desafío no es elegir entre el inquilino vigilante y el inquilino salvador, sino ser conscientes de esta nueva realidad que seguirá creciendo e influenciando nuestras vidas.

Hay que tener en cuenta que la IA no es objetiva ni está libre de prejuicios humanos, como muchos argumentan. Con datos sesgados y sin supervisión crítica, puede convertirse en una herramienta de opresión de alta tecnología. Amazon tuvo que desechar una herramienta de reclutamiento porque discriminaba a las mujeres. El software COMPAS del Poder Judicial de EE.UU. falló con frecuencia al considerar a las personas negras más propensas a reincidir. Algo similar ocurrió con diagnósticos médicos entrenados con pacientes blancos que no detectaban enfermedades en minorías étnicas.

Además, la IA tiene el hábito de inventar, de alucinar. No miente con malicia, pero sus ficciones pueden ser tan dañinas como la desinformación más intencional. Cuando los modelos carecen de datos no dicen “no lo sé”, sino que fabrican una respuesta plausible y la ofrecen con seguridad absoluta.

Estas alucinaciones son especialmente peligrosas cuando se le confía el rol de consejero en salud o terapeuta en salud mental. Peor aún, cuando más allá de lo individual, se convierten en un problema social y cultural. Las campañas electorales, ya intoxicadas por microsegmentación y fake news, ahora suman audios y videos capaces de clonar rostros y voces. En 2024, un deepfake de Joe Biden intentó desmovilizar votantes en New Hampshire; en India, grabaciones falsas atribuidas a Narendra Modi inundaron las redes y provocaron remezones en el poder.

El combo de sesgos y alucinaciones abre la puerta a la desinformación y la manipulación electoral, con lo que se crea mayor desconfianza. Esta crece aún más con el auge de contenidos inhumanos retroalimentados por algoritmos. Sam Altman, director de OpenAI, reconoció en 2025 que gran parte de lo que circula en redes ya no proviene de personas, sino de máquinas que conversan entre sí, lo que llamó la “internet muerta”. Además, existe hoy una proliferación de bots que fabrican memes absurdos, reseñas falsas, debates prefabricados por algoritmos que ensucian el debate político.

Ante estos episodios, la confianza ciudadana se derrumba. Cuando los ciudadanos dejan de creer en la veracidad de la información, dejan también de creer en las instituciones. Latinobarómetro muestra que apenas un tercio de los latinoamericanos confía hoy en la democracia. Un informe de IDEA Internacional de septiembre de este año eleva el problema a 94 países en los que la democracia declinó por noveno año consecutivo, con daños directos a la prensa, la independencia judicial y la credibilidad electoral.

Esa desconfianza alcanza también a las profesiones que sostienen la democracia, como el periodismo, la justicia y la política. La pregunta apabulla: ¿qué tipo de sociedad podemos construir si la gente descree de la misión de los medios de supervisar al poder, de los jueces de administrar equidad y de los políticos de negociar con diplomacia?

Para contrarrestar la desconfianza, el desafío es sembrar de confianza a la IA.

 

Progreso, alfabetización y ruptura histórica

El progreso nunca fue indoloro. A comienzos del siglo XIX los ludistas rompían telares por miedo a perder su oficio y, un siglo después, la mecanización desplazó a millones, pero abrió paso a fábricas como las de Henry Ford que hicieron del automóvil un bien de consumo masivo y multiplicaron productividad y salarios.

Esa tensión entre miedo y oportunidad se repite hoy con la IA.

Según el Fondo Monetario Internacional (FMI), cerca del 40% del empleo global está expuesto a la automatización, cifra que sube al 60% en economías avanzadas. Desaparecerán millones de puestos rutinarios, pero surgirán ocupaciones que hoy no imaginamos. El economista David Autor recuerda que el 60% de los trabajos actuales no existían en 1940 y, ahora con la revolución digital emergieron nuevos profesionales como desarrolladores de software, gestores de redes sociales o especialistas en marketing en línea.

La materia prima de esta transformación digital son los datos. Pero si estos amplifican la discriminación y los sesgos lo que estará en juego es la democracia misma. En esta ecuación se aprecia claramente que el progreso tecnológico debe estar unido al progreso económico, ya que, sin datos gobernados con equidad y ética, la IA amplificará la desigualdad en lugar de reducirla, como advierte Kristalina Georgieva, directora del FMI.

No obstante, lo que sí es diferente hoy con la IA respecto a otras revoluciones anteriores, es que, pese a los riesgos, hay mayor conciencia para actuar con rapidez. Tras la revolución industrial la humanidad celebró la innovación, pero recién después de sufrir las consecuencias (explotación laboral y contaminación) aparecieron las primeras leyes laborales y sobre medio ambiente. Hoy los tiempos son más breves. Poco tiempo después de que en 2016 sucedieron los escándalos del referéndum del Brexit en el Reino Unido y de Cambridge Analytica en EE.UU., comenzó a discutirse regulaciones como el Reglamento General de Protección de Datos (GDPR) en Europa.

Esa conciencia, sin embargo, convive con las dificultades propias de la adopción tecnológica. Un informe del MIT de abril de 2025 reveló que el 95% de los proyectos piloto de IA generativa en empresas fracasan y solo un 5% logra integrarse en los procesos de negocio. Hoy predomina la desconfianza: las organizaciones temen ceder sus datos y delegar decisiones. Pero no es una realidad inamovible. Como ocurrió en las redacciones con la transición de las máquinas de escribir a las computadoras, lo que hoy se mira con recelo mañana será parte inseparable del trabajo, siempre que llegue acompañado de mayores medidas de seguridad.

Conviene además marcar una diferencia para que la IA no se confunda con una burbuja tecnológica pasajera como las empresas .com a principios de siglo. Entonces fueron los capitales especulativos los que inflaron expectativas que luego se desmoronaron. La IA, en cambio, nació de abajo hacia arriba, primero fue abrazada por la gente común, como ocurrió con las redes sociales, y solo después se expandió al mundo corporativo. Esa secuencia invierte el patrón histórico y explica por qué esta vez la adopción difícilmente se evaporará, sino que se profundizará.

De esa tensión entre la conciencia regulatoria y la resistencia inicial de las organizaciones surgieron también mecanismos positivos. Un ejemplo fueron las cajas de arena (sandbox) regulatorias, donde startups prueban sus sistemas bajo supervisión oficial. El Reino Unido fue pionero y la Ley de IA de la Unión Europea las convirtió en una obligación. Cada Estado miembro debe habilitar al menos un sandbox, como ya lo aplican España y Francia en salud y servicios financieros.

El AI Act europeo del 2021 es un avance. Fija estándares comunes, obliga a la transparencia en sistemas de alto riesgo y marca un camino que otras regiones podrían seguir. Pero también comete excesos, como a través del “Chat Control” que plantea debilitar el cifrado de la mensajería con el objetivo de escanear contenidos privados en la lucha contra la pornografía infantil. Los críticos argumentan que esta medida de vigilancia estatal erosiona la privacidad de millones de personas. A esta preocupación se suman los excesos corporativos. Un ejemplo es Microsoft Recall, función de Windows 11 que captura y archiva automáticamente lo que aparece en pantalla. Tras las críticas, la compañía la convirtió en opcional y encriptada, pero expertos en seguridad y aplicaciones como Signal o Brave advierten que sigue vulnerando la privacidad al poner información sensible de los usuarios a poca distancia de los ciberdelincuentes.

Lo más importante es que las políticas empresariales se conviertan en estándares de toda la industria y generen confianza pública, asegurando que la intimidad digital se respete con el mismo celo con que se protege la inviolabilidad del domicilio físico. Para lograrlo se necesitan incentivos y sanciones, desde compras públicas que prioricen a los proveedores con buenas prácticas hasta beneficios fiscales sujetos a auditorías independientes, etiquetas claras sobre el origen del contenido y castigos firmes frente a los incumplimientos. La presión de consumidores e inversores puede reforzar este camino con campañas, boicots, reseñas negativas o exigencias en las juntas de accionistas que obliguen a rendir cuentas.

La responsabilidad no recae solo en gobiernos y empresas, también en los usuarios. Las lecciones de la era de las redes sociales siguen vigentes y conviene recordarlas: verificar fuentes, contrastar afirmaciones y tratar las respuestas de la máquina como borradores en lugar de certezas debe ser parte de la rutina diaria.

En última instancia, alfabetizar en el siglo XXI no significa únicamente enseñar a manejar herramientas digitales. Implica impregnar de ética las aulas, las empresas, los parlamentos y los laboratorios. El progreso económico medido en productividad y empleo no se sostiene sin progreso democrático que garantice derechos y confianza, y ambos dependen de un progreso tecnológico guiado por valores.

Una IA sin ética puede resultar tan corrosiva como una economía sin equidad o una democracia sin contrapesos.

 

Dos visiones del mundo

Para entender mejor el futuro de la IA conviene mirar las dos visiones que hoy existen y que, a pesar de parecer irreconciliables, podrían dejar de lado sus intereses y conciliarse por amor al usuario.

De un lado está el Altruismo Eficaz (EA), con raíces en la ética utilitarista y promovido por académicos como William MacAskill y Nick Bostrom en Oxford. Este movimiento advierte que la IA encierra riesgos existenciales y reclama una evolución lenta, con regulaciones estrictas que aseguren su alineación con valores humanos. Acusado de pesimismo, logró instalar la seguridad en la agenda pública y dar origen a laboratorios como Anthropic, concebidos desde el inicio con ese propósito.

En el otro extremo aparece el Aceleracionismo (ACC). Sus defensores desestiman las alarmas y sostienen que la única salida a los grandes desafíos de la humanidad es acelerar sin frenos hacia la singularidad tecnológica. Con impronta libertaria y figuras como el inversor Marc Andreessen, autor del Techno-Optimist Manifesto, confían en que el mercado, más que la regulación, conducirá a los mejores resultados.

Entre ambos polos se abre un camino intermedio, una visión pragmática que busca equilibrar innovación y responsabilidad, sin caer en parálisis ni en temeridad. Es la que inspiró la Ley de IA de la Unión Europea de 2024 y la que sostienen filósofos como Shannon Vallor, de la Universidad de Edimburgo, y Luciano Floridi, de Oxford y Yale, defensores de una ética aplicada, verificable y culturalmente plural.

En este tablero ideológico, las grandes tecnológicas no son meros espectadores. Se alinean, explícita o implícitamente, con una de estas corrientes. Google exhibe un discurso cercano al altruismo eficaz, publica principios éticos desde 2018 y ha impulsado herramientas de transparencia como las Model Cards, fichas técnicas con información sobre datos de entrenamiento, limitaciones, sesgos y usos apropiados. También practica el Red Teaming para detectar vulnerabilidades antes de un lanzamiento. Sin embargo, la competencia con OpenAI empuja a Google hacia una lógica aceleracionista.

Meta es el caso más abiertamente optimista. Libera sus modelos LLaMA como código abierto y defiende que la democratización de la IA pasa por correr más rápido que todos. Amazon y Microsoft juegan en otra liga, menos filosófica y más pragmática, dominando la infraestructura de nube y chips que sostiene a la IA, con la aceleración que el mercado exige. OpenAI, nacida bajo el espíritu del altruismo eficaz, se convirtió en un híbrido, al enarbolar la bandera de la seguridad, aunque avanzando con la velocidad de quien sabe que frenar es perder.

El contraste con China es aún más nítido. Compañías como ByteDance, Baidu, Alibaba y Tencent no participan en debates sobre riesgos existenciales. Su aceleracionismo responde a la lealtad al Estado. La innovación se subordina a los objetivos estratégicos del Partido Comunista, que concibe la IA como arma económica, cultural y militar.

 

Ética de la vidriera

Tras el choque entre altruistas y aceleracionistas, las empresas buscan dar buena imagen mientras esquivan el fondo del problema. La estrategia más común es el “ethics washing”, una ética de apariencias que funciona como blindaje frente a las regulaciones.

Mientras gobiernos y organismos intentan construir los “guardarraíles” externos para la IA, la batalla por la responsabilidad dentro de las propias corporaciones sigue otra lógica. Muchas adoptaron el discurso ético como estrategia de relaciones públicas. Sin embargo, Google disolvió su consejo de ética de IA, ATEAC, apenas una semana después de anunciarlo. Meta impulsó su Oversight Board para moderar contenidos, pero sin autoridad sobre el desarrollo de sus productos de IA ni sobre el impacto de sus algoritmos en la sociedad.

Los críticos argumentan que la ética solo es efectiva si tiene consecuencias. Sin auditorías independientes y sin responsabilidad legal, la autorregulación termina siendo una farsa, una forma sutil de ocultar los fallos del sistema.

Uno de los contrapesos de esta “ética de la vidriera” es, a veces, la conciencia de un solo individuo, la del whistleblower. Son los guardianes incómodos, los anticuerpos de la opacidad, que aparecen cuando el poder corporativo se embriaga de secretismo. Desde el “garganta profunda” de Watergate hasta las filtraciones de Edward Snowden sobre vigilancia masiva, los soplones vienen cumpliendo un papel importante.

Uno de los casos más notables fue el de Frances Haugen, la científica de datos que reveló documentos internos de Facebook mostrando que la empresa sabía que Instagram era tóxico para las adolescentes y que su algoritmo amplificaba el odio para maximizar la interacción. En Twitter, su jefe de seguridad, Peiter Zatko, denunció fallas que volvían a la plataforma un blanco fácil para gobiernos extranjeros. En Google, Timnit Gebru, una de las voces más respetadas en ética de IA, fue despedida tras publicar un estudio crítico sobre los grandes modelos de lenguaje. En ese mismo entorno, Meredith Whittaker, hoy presidenta de Signal, se consolidó como figura crítica al organizar en 2018 una protesta interna de empleados contra la postura de Google en ética de IA, armamento y acoso laboral.

Esos casos muestran que las advertencias más valiosas suelen venir de dentro de las big tech y, aunque no existe una “Ley de Whistleblowers Tecnológicos”, los denunciantes están amparados por normas contra el fraude corporativo. Una empresa que cotiza en bolsa no puede ocultar el impacto de sus algoritmos ni la seguridad de sus datos sin exponerse a demandas de accionistas. Bajo esa lógica, los soplones se apoyan en dos de las leyes más poderosas de EE.UU., la Sarbanes-Oxley (SOX), que los protege de represalias, y la Dodd-Frank, que además ofrece recompensas económicas.

 

Ética en el código

Después de las apariencias y del ethics washing, el verdadero desafío es que la ética deje de ser discurso y se convierta en práctica. No alcanza con declaraciones ni con la valentía de unos pocos denunciantes. La ética solo funciona cuando se incrusta en el diseño tecnológico mismo. Ese paso de lo aspiracional a lo operativo requiere marcos colectivos que traduzcan valores en código y en procedimientos verificables.

En este sentido, hubo referentes clave. Uno fue la Conferencia de Asilomar sobre IA Beneficiosa, convocada por el Future of Life Institute en 2017 en California. Más de un centenar de investigadores, filósofos y desarrolladores acordaron 23 principios para guiar la IA hacia un futuro seguro y humano.

Los Principios de Asilomar pusieron sobre la mesa temas que siguen siendo centrales, como la seguridad de los sistemas durante toda su vida, el control humano significativo, la transparencia, la responsabilidad de los diseñadores y la necesidad de evitar una carrera armamentista con armas autónomas. Entre los firmantes hubo voces de peso como Stephen Hawking, Elon Musk, Yoshua Bengio y Stuart Russell. Su mayor valor fue aspiracional, pero abrió el camino a debates como la Recomendación de la UNESCO de 2021 y regulaciones posteriores.

También lo fue el Inventario Global de Directrices Éticas sobre IA, publicado en 2020 por AlgorithmWatch en Berlín, que compiló más de 160 marcos y sirvió como radiografía de un consenso incipiente. Esa acumulación de principios empezó a traducirse en normas. La Ley de IA de la Unión Europea y la Carta de Derechos de la IA en Estados Unidos mostraron que la presión ética puede transformarse en política pública.

Casos como la Ley de Transparencia de IA en California (California AI Transparency Law), que obligará a identificar contenidos generados por IA desde 2026, muestran avances concretos, aunque limitados. En paralelo, la estandarización técnica progresa con normas como la ISO/IEC 42001, publicada en 2023, el primer estándar mundial para sistemas de gestión de IA. Esta norma, elaborada por la Organización Internacional de Normalización y la Comisión Electrotécnica Internacional, ofrece un marco para que las empresas desarrollen y usen la IA de manera responsable, auditando su transparencia, seguridad y respeto a la privacidad. En la práctica, funciona como un “sello de calidad” que no solo permite evaluar la robustez de un modelo, sino que también ofrece ventajas competitivas a quienes demuestran cumplir con esos principios.

El desafío es que cumplir con estos requisitos resulta mucho más sencillo para las big tech, con bolsillos profundos y equipos legales que pequeñas y medianas empresas, para los que cumplir con los estándares éticos pudiera ser un lujo. Para responder a esa brecha del bolsillo surgió la idea de la “gobernanza como servicio”. Ya varias consultoras y startups ofrecen auditorías y certificaciones externas, mientras el mercado financiero y las aseguradoras empiezan a condicionar inversiones o coberturas a evaluaciones de riesgo algorítmico. Gigantes como Accenture o IBM ya prestan estos servicios, y startups como Credo AI desarrollan tableros que auditan modelos y funcionan como señales de confianza para inversores y clientes.

Sin embargo, el paso más prometedor ocurre en el laboratorio, en el propio código. Allí surge la idea de la IA Constitucional (Constitutional AI, CAI), presentada en 2022 por Anthropic, un laboratorio fundado por exintegrantes de OpenAI. Su objetivo es enfrentar el llamado Problema de Alineación (Alignment Problem) y garantizar que un modelo de IA actúe conforme a los valores humanos y no en contra de ellos.

La IA Constitucional propone entrenar a los modelos con una “constitución” de principios predefinidos, inspirados en la Declaración Universal de Derechos Humanos y en códigos éticos reconocidos. El método combina dos fases. En la primera, el modelo practica la autocorrección, revisando y ajustando sus propias respuestas según esos principios. En la segunda, el aprendizaje ocurre por comparación, ya que elige entre distintas respuestas aquella que se ajusta mejor a su constitución. De esta manera se busca que el modelo incorpore conductas alineadas y reduzca sesgos o riesgos de daño.

Esto no significa que los valores queden “incrustados” en todas sus capas ni que desaparezca la necesidad de supervisión humana. La CAI funciona más bien como un marco escalable que ayuda al modelo a internalizar principios éticos básicos y a usarlos como guía. Por eso, incluso Anthropic subraya que la técnica debe complementarse con participación humana y con regulaciones externas en áreas críticas como la medicina o la justicia.

Aun así, no existe una fórmula única. Ni la auditoría más rigurosa ni la arquitectura más transparente resuelven por sí solas el problema de fondo. Lo que empieza a dar resultados es la combinación de principios convertidos en leyes, auditorías externas que condicionan financiamiento o seguros, y técnicas como la IA Constitucional que trasladan la ética al razonamiento de los modelos.

No se trata de una utopía lejana. Ya en 2018, Google publicó un marco con siete principios para guiar el desarrollo de la IA: que fuera socialmente beneficiosa, que evitara sesgos injustos, que priorizara la seguridad y la privacidad, que respondiera ante las personas y que, sobre todo, no se aplicara a armas ni tecnologías de vigilancia que violaran los derechos humanos. Más recientemente, Pilar Manchón, directora de Estrategia de IA en Google, insistió en que la compañía “siempre ha antepuesto la seguridad a la velocidad” y que esos principios definen el marco de innovación responsable. Lo expresado por Manchón es un ejemplo útil porque muestra que incluso los gigantes tecnológicos reconocen la necesidad de incorporar valores desde el código. Pero también deja claro que los principios corporativos son necesarios, aunque no suficientes, si no se convierten en práctica universal y en estándar común para todos.

En última instancia, el avance real ocurre cuando la ética deja de ser una declaración retórica y se convierte en un requisito de diseño, en un costo asumido por las empresas y en una garantía de confianza pública.

 

Geopolítica de la ética

Así como en el mundo corporativo conviven visiones distintas sobre cómo avanzar con la IA, también a escala global se abre una fractura en dos andariveles. De un lado está el modelo estadounidense, centrado en el mercado y las corporaciones. Del otro, el modelo chino, subordinado al Estado y a sus objetivos estratégicos. Esa competencia marca el rumbo de la tecnología y condiciona el debate ético.

En esta geopolítica dual, cada potencia busca imponer su modelo tecnológico como reflejo de su poder y de su cultura.

Lo comprobé en las Cumbres de la Sociedad de la Información (CMSI, Ginebra 2003, Túnez 2005), donde vi lo difícil que es forjar consensos globales. Ese proceso se benefició de la era post Guerra Fría, sin un verdadero contrapeso al modelo occidental de un internet abierto. No fue lo mismo en 1980, cuando el Informe MacBride se convirtió en un campo de batalla. El Movimiento de Países No Alineados reclamaba un “Nuevo Orden Mundial de la Información” para proteger su soberanía frente al dominio mediático occidental, mientras EE.UU. defendía la “libre circulación de la información” como antídoto contra la censura.

Hoy esa correlación está trastocada por la competencia entre EE.UU. y China. La nueva guerra no se libra con misiles, sino con microchips. Es la pugna por controlar la infraestructura del futuro. Washington asume que la innovación tecnológica es un arsenal geopolítico y ha tejido una alianza con sus gigantes digitales.

La disputa también se libra en los recursos físicos. La dependencia occidental de las tierras raras controladas por China ha desatado una carrera por materias primas. El interés por Groenlandia o Ucrania ya no es anecdótico, forma parte de un tablero en reconfiguración. Un símbolo de estas tensiones es TikTok, la aplicación china que conquistó a la juventud occidental y despertó la reacción de Washington en nombre de la seguridad nacional, solo atenuada cuando compañías estadounidenses compartieron su propiedad.

El episodio de TikTok muestra que no se trata de una lucha pura entre naciones, sino de un entramado de intereses cruzados. En este contexto, cada potencia exporta su modelo de IA. EE.UU. ofrece el suyo, centrado en el mercado, y China otro, basado en el control estatal.

La fractura geopolítica es el principal obstáculo para una regulación global. En ausencia de un marco común, la responsabilidad recae en bloques regionales y en cada nación, como escribió Thomas L. Friedman en The New York Times el 4 de septiembre de 2025. La IA obligará a EE.UU. y China a competir y cooperar al mismo tiempo. La falta de confianza mutua podría derivar en autosuficiencia, en “autarquías digitales”, donde cada país encierre su IA tras muros normativos incompatibles. Friedman asegura que ese escenario aumentaría la desconfianza y el riesgo colectivo.

Con filosofías distintas, EE.UU. y China aún pueden hallar coincidencias útiles. Así ocurrió en las Cumbre de la Sociedad de la Información, donde un diálogo inclusivo permitió avanzar. Evitar una nueva guerra fría tecnológica exige pragmatismo. Cooperar en ciberseguridad, diseñar protocolos para reducir errores críticos en salud, transporte, finanzas o ambiente, o frenar la carrera armamentista en IA militar, no son gestos idealistas, sino necesidades prácticas.

Los ejemplos de entendimiento están al alcance. Auditar algoritmos en infraestructuras críticas, adoptar estándares comunes de ciberseguridad o reconocer certificaciones técnicas en sectores estratégicos son pasos concretos. También lo es impulsar la investigación conjunta en salud, desde el desarrollo de vacunas hasta la detección temprana de pandemias, o en energía, aplicando IA para optimizar redes eléctricas y reducir el consumo de los centros de datos. Si bien ninguna de estas coincidencias eliminaría la rivalidad, abriría un canal de confianza indispensable.

Europa, en cambio, aparece rezagada. Aunque dio ejemplo con su pionera regulación, carece de un campeón tecnológico que compita con Silicon Valley o Pekín. Rusia, antes potencia científica, se limita a explotar el ciberespacio más que a crear modelos generativos. En ese vacío emergen iniciativas como Mistral en Francia o Falcon en Emiratos Árabes Unidos, que apuestan por el código abierto.

Para tener una IA más saludable, el futuro no debería depender solo de dos superpotencias. La innovación tendría que estar menos concentrada y nutrirse de un ecosistema plural y diverso.

 

Líneas rojas globales

Pero mientras insisto en que lo esencial es incrustar principios éticos en el código mismo de la inteligencia artificial, no puedo ignorar que, en paralelo, los Estados y la ONU avanzan en otro camino, el de las líneas rojas, regulaciones que buscan fijar desde afuera lo que los desarrolladores todavía no han garantizado desde adentro.

Este setiembre de 2025, más de doscientos científicos, empresarios y líderes políticos, entre ellos diez premios Nobel y varios ganadores del Premio Turing, presentaron en la Asamblea General de Naciones Unidas un llamado urgente a establecer líneas rojas en la inteligencia artificial. La propuesta reclama un tratado internacional vinculante antes de 2026 que prohíba usos considerados inaceptables, como la creación de armas letales autónomas, suplantación de humanos, vigilancia masiva, autorreplicación sin control o delegación de decisiones nucleares a sistemas automatizados.

El planteo es necesario y oportuno ya que fija prohibiciones mínimas para que la IA no desborde la capacidad de control humano. Nadie debería discutir que una máquina nunca puede tener poder sobre armas, sobre la manipulación de poblaciones o sobre decisiones críticas de vida y muerte. Pero las líneas rojas tienen un límite, ya que son marcos externos, fijados por los gobiernos, que suelen llegar tarde y avanzan despacio. Funcionan como barrera, pero no transforman la esencia de la IA.

Hoy los avances más recientes confirman la urgencia de estas alertas. Los llamados agentes de IA, capaces de planificar y ejecutar acciones en nombre del usuario, ya no son simples asistentes, pues pueden tomar decisiones, suplantar identidades o manipular información con una autonomía que erosiona la supervisión humana. Justamente por eso las líneas rojas apuntan a prohibir la autorreplicación sin control, la delegación de poder en sistemas militares o la suplantación humana.

Por eso, más que verlas como sustituto, deberían ser entendidas como un llamado de atención para los desarrolladores. Son una señal política de lo que preocupa a la sociedad y de lo que debe estar contemplado desde el diseño. Si los principios éticos no se incrustan en el código, las regulaciones tendrán que actuar de manera subsidiaria, con todo el riesgo de ir siempre detrás de los hechos. Un acuerdo en la ONU puede fijar límites, pero lo que realmente importa es que quienes crean los sistemas se anticipen y programen la seguridad en su misma arquitectura.

Las líneas rojas son imprescindibles, pero insuficientes. Lo urgente es que la ética deje de ser un adorno y se convierta en parte del ADN de la programación. Que el código mismo impida a la IA rebasar fronteras dañinas para los humanos. Ahí está la diferencia entre un futuro en el que la regulación solo reacciona y otro en el que la tecnología nace desde dentro con un compromiso de no traicionar la dignidad, la autonomía y la vida humanas.

Por eso, más allá de un tratado de prohibiciones mínimas, lo que en realidad se necesita es un pacto global que establezca los valores comunes que luego deben traducirse tanto en regulaciones como en el código mismo de la tecnología.

 

Armas autónomas y huella energética

Entre los problemas geopolíticos más graves vinculados a la IA destacan dos que atraviesan fronteras y generaciones, donde la ética choca con la innovación. El primero es su uso militar, con la amenaza de armas autónomas capaces de decidir sobre la vida humana. El segundo es su impacto ambiental, cuya enorme huella energética reabre el debate sobre la sostenibilidad y el posible regreso de la energía nuclear.

La guerra en Ucrania y las incursiones rusas en Polonia demostraron que ya no se necesitan enormes arsenales para librar batallas decisivas. Los drones, baratos y precisos, se volvieron armas estratégicas. La OTAN propone sus propios sistemas de defensa con drones e IA. La conclusión es evidente, la IA no solo abarata la guerra, también redefine la seguridad global.

En los foros internacionales la presión moral choca con la lógica estratégica. Desde 2013, la coalición de ONG y académicos “Stop Killer Robots” exige un veto preventivo a las armas autónomas. Su consigna es que ninguna máquina debe decidir sobre la vida humana sin control significativo de una persona. La campaña instaló el tema en la ONU, pero los debates de la Convención sobre Ciertas Armas Convencionales llevan más de una década sin acuerdos. Las potencias se escudan en la retórica de la “innovación responsable” mientras bloquean toda prohibición.

La tensión no se limita a los Estados y atraviesa a las corporaciones. El caso más emblemático fue Project Maven, contrato del Pentágono con Google para usar IA en análisis de imágenes de drones. En 2018, cuando se conoció, miles de empleados firmaron la carta abierta “Google no debe estar en el negocio de la guerra”. La protesta obligó a la empresa a no renovar el contrato y a publicar un código de principios donde prometió no desarrollar armas letales.

El episodio mostró que la ética puede abrirse paso dentro de las compañías si su personal presiona y actúa a conciencia. Sin embargo, no toda presión moral logra sus objetivos. El temor es que aparezca un despliegue exitoso de armas autónomas que desate una proliferación tan peligrosa como la era de la guerra nuclear.

Estos dilemas militares revelan una brecha entre quienes diseñan y controlan la tecnología y quienes solo la consumen. En la era de internet se hablaba de “brecha digital”, hoy asoma una más profunda, la “brecha de inteligencia”. Ya no se trata de acceder, sino de crear y controlar. Para regiones como América Latina y África, el riesgo es repetir el patrón colonial antiguo, el de exportar datos y cultura en bruto e importar productos de IA a alto costo. Por suerte, algunos países ensayan estrategias propias para evitar que aumente esa “brecha de inteligencia”. Brasil moviliza inversiones con su Plan de IA, Argentina discute una ley de transparencia y supervisión humana y Chile avanza con un modelo de riesgos inspirado en Europa.

Otro de los dilemas geopolíticos que despertó la IA es su profunda huella energética y la polémica sobre la energía nuclear para sostener su consumo. Hoy los centros de datos representan cerca del 1,5% de la electricidad global, y la Agencia Internacional de Energía proyecta que esa cifra podría duplicarse hacia 2030. The Verge calculó que en un año la electricidad usada por estos sistemas podría equipararse al consumo de un país como los Países Bajos. Una simple consulta a un modelo como Gemini gasta lo mismo que tener encendido un televisor durante nueve segundos, un costo que se multiplica por millones de interacciones. Más intensivo aún es el consumo en el entrenamiento; por ejemplo, el desarrollo de GPT-4 requirió la misma energía que se usó para alimentar ciudades enteras durante días.

Ante este panorama, las grandes tecnológicas exploran fuentes más estables. Los combustibles fósiles resultan insostenibles y las renovables, aunque limpias, no garantizan suministro constante. Por eso ha resurgido la opción nuclear. Jensen Huang, director de Nvidia, la defiende abiertamente. Microsoft planea usar energía de la planta reactivada de Three Mile Island desde 2027, Google firmó acuerdos para emplear reactores modulares en la próxima década y Amazon Web Services invirtió más de 500 millones de dólares en reactores avanzados.

La apuesta nuclear, sin embargo, carga con el recuerdo de Chernóbil, Three Mile Island y Fukushima, y con riesgos actuales como la vulnerabilidad de las cadenas de uranio o la posibilidad de sabotajes.

Los más optimistas creen que el futuro energético no dependerá solo de la fisión o de la fusión nuclear. La historia de la innovación muestra que cuando se apostaba por el carbón apareció el petróleo, y cuando parecía que no había alternativa al silicio, ahora surgió la luz como posible nuevo combustible. En agosto, un equipo de la Universidad de California en Los Ángeles (UCLA) publicó en Nature un avance experimental en redes neuronales fotónicas. Estas utilizan fotones en lugar de electrones para procesar información, lo que abre la puerta a sistemas miles de veces más eficientes que los chips actuales. Si prospera, este hallazgo no solo reduciría la huella ambiental de la IA, sino que también desplazaría la urgencia de soluciones nucleares como única respuesta a la crisis energética.

El problema es que los ciudadanos comunes no tenemos posibilidad de medir estos riesgos ni de debatir sobre ellos. Las grandes corporaciones, por sus intereses, ocultan o no transparentan sus datos de consumo energético. Esa opacidad agrava la desconfianza y nos deja al margen de las decisiones más críticas de esta revolución tecnológica.

 

El poder de la transparencia

El secretismo de la industria sobre su huella ecológica no es un caso aislado. La opacidad se ha vuelto el método por defecto de gran parte de esta revolución. Frente a esta “caja negra”, la respuesta debe ser un acto colectivo de defensa para exigir y construir un debate público robusto, informado y transparente.

Aunque un consenso global vinculante parezca una utopía, el simple hecho de sentar a gobiernos, empresas, académicos y sociedad civil en una misma mesa, como ocurrió con la Sociedad de la Información y el internet, ya sería una victoria. El objetivo no es tanto alcanzar un tratado, sino abrir el proceso a la luz pública, en lugar de dejar que avance a puerta cerrada.

Algunas iniciativas muestran que es posible. Ámsterdam y Helsinki publican registros abiertos de los algoritmos usados en sus servicios públicos, lo que permite a cualquier ciudadano auditar cómo se decide sobre su crédito social o sus beneficios de salud. Canadá adoptó el Algorithmic Impact Assessment como requisito previo al uso de IA en la administración pública. En Estados Unidos, ciudades como Nueva York y San Francisco exigen reportes de impacto para algoritmos aplicados en vigilancia y contratación laboral. Y en la Unión Europea ya funciona un registro público de sistemas de alto riesgo que anticipa lo que impondrá el AI Act. Son experimentos parciales, pero prueban que la gobernanza algorítmica puede ser tratada como un asunto democrático y no solo técnico.

Algunos países ofrecen pistas en el terreno educativo. Estonia incorporó la programación y los principios de la robótica en el currículo escolar desde la infancia. China, con un enfoque más estratégico que democrático, impulsa la enseñanza de IA en las escuelas primarias y secundarias. En Estados Unidos, iniciativas del MIT y de otras universidades buscan que los estudiantes de humanidades entiendan los algoritmos y que los periodistas aprendan a cuestionar la tecnología.

Más allá de estos avances alentadores, conviene recordar que la transparencia no siempre se promueve con la misma voluntad. En ocasiones, la opacidad no surge de la complejidad técnica, sino de la decisión deliberada de ocultar información. A este fenómeno lo califico de “opacidad agravada”, porque no solo responde a la complejidad técnica de los algoritmos, sino a la decisión deliberada de ocultar información. En América Latina, esta práctica se ha vuelto evidente. Una investigación periodística —La Mano Invisible de las Big Tech, realizada por Agência Pública (Brasil), Cuestión Pública (Colombia), Primicias (Ecuador) y el Centro Latinoamericano de Investigación Periodística (CLIP)— muestra cómo la falta de regulación del lobby abre la puerta a una influencia desmedida de estas compañías. Mientras Europa cuenta con marcos sólidos como el AI Act y el GDPR, en la región las big tech aprovechan ese vacío para moldear políticas públicas a su favor.

A través de asociaciones como la Asociación Latinoamericana de Internet (ALAI) y la contratación de exfuncionarios —como el expresidente brasileño Michel Temer por parte de Google—, han logrado bloquear o debilitar proyectos de ley. En Brasil frenaron la “Ley de las Fake News”, en Colombia la de salud mental vinculada al internet y en Ecuador la de protección de datos. En todos los casos, la industria justificó su posición en nombre de la “libertad de expresión” o de su supuesta inviabilidad financiera, pero quedó claro que lo que priorizaban eran sus intereses comerciales por encima del bien común.

De esta forma, la debida transparencia puede convertir la gobernanza algorítmica en un asunto democrático y no solo técnico. Al hacerlo, se fomenta una ciudadanía capaz de entender cómo se distribuyen los beneficios del progreso y de sostener la confianza en las instituciones frente a algoritmos cada vez más influyentes. El propósito final es asegurar que la sociedad conserve la decisión y el protagonismo de esta revolución y que no se le pase gato por liebre, como tantas veces ocurrió.

 

Transparencia y propiedad intelectual

La transparencia es también esencial en materia de contenidos. Así como se exige claridad sobre el uso de algoritmos en ámbitos públicos, resulta indispensable saber de dónde provienen los datos que alimentan a la IA. Estos modelos no son autosuficientes y dependen de un insumo clave que es la creatividad humana. Periodismo, literatura, música, cine y otras expresiones culturales constituyen la cantera de calidad sin la cual la inteligencia artificial no podría operar.

De allí surge un debate cada vez más urgente sobre la necesidad de proteger esa creatividad frente a modelos que se entrenan masivamente con obras sin autorización ni compensación. Lo que está en juego no es solo un problema legal, también lo es cultural.

Los conflictos ya se multiplican en diferentes frentes. El New York Times demandó a OpenAI por utilizar sin licencia su archivo de artículos. En Hollywood, la huelga de guionistas de 2023 impuso límites al uso de IA en la escritura de guiones y marcó un precedente global. Y Anthropic, creadora de Claude, pactó en 2024 un acuerdo extrajudicial de 1.500 millones de dólares para compensar a escritores, hasta hoy la mayor indemnización en la historia del copyright.

En América Latina la preocupación también avanza. La Sociedad Interamericana de Prensa (SIP) incluyó en su Declaración de Salta II (2024) el principio de que los editores tienen derecho a negociar una remuneración justa por el uso de sus contenidos por parte de plataformas y desarrolladores de IA. Con ello, el periodismo, ya debilitado por la concentración publicitaria digital, busca asegurar que su trabajo no sea absorbido sin retorno por sistemas que requieren información verificada y de calidad.

Después de largas disputas, demandas judiciales y una mayor conciencia pública, las grandes tecnológicas empiezan a reaccionar con acuerdos que, aunque aún incipientes, marcan una tendencia favorable a reconocer el valor de los contenidos periodísticos. OpenAI firmó un convenio de más de 250 millones de dólares con News Corp, además de pactos con Prisa Media en España, Le Monde en Francia y el Financial Times por entre 5 y 10 millones anuales. Amazon alcanzó en 2025 un acuerdo con The New York Times para integrar su archivo editorial en Alexa, incluso tras la demanda del diario contra OpenAI. Google negocia con más de veinte grupos editoriales para su modelo Gemini, mientras Meta explora licencias con Axel Springer en Alemania y con Fox y News Corp en EE.UU. Y hasta Perplexity, el startup respaldado por Jeff Bezos, lanzó un fondo de 42,5 millones para repartir ingresos con editores. Aunque todavía son pasos iniciales, muestran que la presión por la propiedad intelectual empieza a abrirse camino en el corazón del negocio de la IA.

La industria periodística, sin embargo, prefiere no ilusionarse demasiado. La memoria reciente recuerda que en la era pre-IA estas mismas plataformas fueron reacias a cualquier compensación y, en algunos casos, castigaron a los medios que reclamaban respaldo legislativo para su derecho de propiedad intelectual. Solo en Australia y, más tarde, en Canadá, asociaciones de editores lograron acuerdos obligatorios, al igual que en varios países europeos que avanzaron con directivas de derechos afines. Pero incluso allí, los beneficios se concentraron en un puñado de grupos dominantes y no alcanzaron a todos los medios. El temor es que la historia se repita y los pactos actuales se queden en gestos selectivos más que en un cambio estructural.

Reconocer y compensar esta dependencia resulta tan crucial como auditar algoritmos o exigir transparencia. Solo de esa manera será posible sostener un ecosistema cultural y periodístico que, sin protección, corre el riesgo de volverse prescindible justo cuando la confianza es un valor que más necesita fortalecerse.

 

El valor de lo humano

La transparencia, el pago justo por los contenidos y otros debates sobre responsabilidad no son asuntos periféricos, sino parte del corazón de esta discusión. Son recordatorios de que lo humano sigue siendo el verdadero valor que sostiene a la IA, tanto en su entrenamiento como en la confianza que despierta.

A la par de estos debates, avanzan intentos de ética que necesitan profundizarse. En los laboratorios ya se discute la nueva frontera, cuando la IA deje de ser solo una herramienta conversacional y empiece a actuar de manera autónoma en el mundo físico y digital. La robótica corpórea en hospitales plantea dilemas sobre seguridad de pacientes, los vehículos autónomos obligan a decidir cómo asignar responsabilidades en caso de accidentes y los sistemas que asisten a jueces o médicos abren preguntas inmediatas sobre quién debe tener la última palabra. A todo esto, se suma la concentración del poder computacional en pocas corporaciones y, en el horizonte, la posibilidad de una eventual superinteligencia.

Antes de hablar de superinteligencia conviene mirar los dilemas que ya enfrentamos. Investigadores del MIT, Harvard y la Universidad de Chicago introdujeron en 2023 el concepto de “comprensión Potemkin” para describir a los modelos que simulan razonar sin comprender. Como las aldeas ficticias que Grigori Potemkin levantó en el siglo XVIII para impresionar a Catalina la Grande, estos sistemas construyen fachadas digitales, es decir, pueden explicar impecablemente un esquema de rima y, sin embargo, fracasar al aplicarlo. No se equivocan como un humano, con lógica reconocible y corregible, sino de manera azarosa, lo que genera una amplia brecha entre apariencia y comprensión.

La historia muestra que no es nuevo confundir apariencia con comprensión. En 1966, Joseph Weizenbaum creó en el MIT ELIZA, un programa que simulaba a un terapeuta aplicando reglas de sustitución de texto. Su intención era demostrar lo limitado de la técnica, pero muchos usuarios le atribuyeron empatía real. El fenómeno se conoció como efecto ELIZA. Sesenta años después seguimos atrapados en el mismo sesgo. Estudios de la Universidad de Pensilvania confirman que basta con que un texto use pronombres como “yo” o expresiones coloquiales para que la gente crea que lo escribió un humano.

Esa confusión entre lo que parece y lo que es no se limita al terreno cognitivo. También abre la puerta a riesgos muy concretos en el ámbito de la seguridad digital, donde la IA se convierte en herramienta para el engaño y la manipulación a gran escala.

La inteligencia artificial también se convirtió en un aliado inesperado de los ciberdelincuentes. Lo que antes exigía conocimientos técnicos avanzados hoy se consigue a través de modelos generativos y servicios criminales empaquetados, con la misma facilidad con que se contrata un software legal. Según el Informe de Inteligencia de Amenazas (Threat Intelligence Report) de Anthropic, publicado en 2024, los atacantes ya usan IA en todas las fases de sus operaciones. Perfilan víctimas, fabrican identidades falsas, programan variantes de ransomware y redactan mensajes de extorsión afinados psicológicamente. El resultado es un salto exponencial en volumen y sofisticación. Fraudes que antes requerían meses de preparación hoy se ejecutan en segundos gracias a algoritmos entrenados para engañar.

A este panorama se suma un riesgo silencioso, las llamadas “identidades invisibles”. El Panorama de Seguridad de Identidades (Identity Security Landscape) 2025 de CyberArk advierte que agentes de IA, bots y cuentas de servicio acceden a datos sensibles sin controles ni supervisión. Estas identidades digitales poseen credenciales y privilegios similares a los de un empleado real, lo que les permite moverse dentro de sistemas críticos y pasar inadvertidas. La frontera entre un trabajador legítimo y un impostor algorítmico se ha vuelto difusa y abre una superficie de ataque que muchas organizaciones todavía no gestionan con la urgencia que requiere.

La amenaza no está solo en los sistemas que caen bajo ataques invisibles. También nos afecta en un plano más íntimo, el de nuestras propias capacidades cognitivas, que se erosionan cuando confiamos demasiado en delegar el razonamiento a la IA.

Ese sesgo erosiona el juicio. Tristan Harris y Aza Raskin, cofundadores del Center for Humane Technology, advirtieron en 2023 que delegar el razonamiento en la IA debilita el pensamiento crítico. En The AI Dilemma alertaron que esta tecnología no solo erosiona la confianza social, también merma las capacidades cognitivas con una velocidad inédita. La Asociación Estadounidense de Psicología señala los riesgos de dependencia y pérdida de memoria vinculados al uso excesivo de asistentes de IA. Frente a esto, surgen movimientos que promueven una “tecnología humanista”, con herramientas que acompañen en lugar de reemplazar, que fomenten vínculos en lugar de simularlos.

Ese vacío también se infiltra en la manera en que escribimos y pensamos.
Pero el problema no es solo la cantidad de contenidos inhumanos. La inteligencia artificial también está moldeando nuestro lenguaje. La búsqueda de claridad y eficiencia produce textos previsibles, con frases cortas, simétricas y fáciles de digerir. Esa prosa sirve para informes, pero empobrece cuando se trata de pensar o crear. En un artículo de Harvard Gazette titulado “¿De qué sirve escribir?” (What good is writing anyway?), publicado el 2 de junio de 2025, se advierte que la IA, al apoyarse en texto predictivo, repite fórmulas existentes en vez de abrir caminos nuevos, con lo cual erosiona la capacidad creativa de la escritura.

El fenómeno ya se percibe en aulas y vida cotidiana. Muchos estudiantes dependen de la IA para redactar y estructurar sus ideas. En un experimento del MIT Media Lab, los ensayos escritos con asistencia de IA tendieron a converger en estilo y contenido, produciendo un efecto de uniformidad. Kyle Chayka lo resumió en The New Yorker con una frase tajante: “La IA está homogenizando nuestros pensamientos” (25 de junio de 2025). El hallazgo confirma que la escritura pierde diversidad cuando se apoya demasiado en sistemas predictivos.

El lenguaje es el molde del pensamiento. Cuando ese molde se vuelve uniforme, también lo hacen las ideas. La creatividad, que nace de romper patrones y de jugar con lo inesperado, se ve debilitada. Lo mismo ocurre con la “internet muerta”, donde los contenidos circulan entre máquinas sin alma. Esa homogeneización aplana la escritura, la despoja de riesgo y de sorpresa, los dos motores de toda creatividad.

Esa erosión cognitiva abre una pregunta íntima. ¿Cómo protegeremos la belleza de nuestra creatividad imperfecta, de nuestras emociones genuinas y de nuestras conexiones reales frente a la seducción de una réplica perfecta creada por IA? La respuesta no pasa solo por exigir compensación a quienes producen contenidos de calidad, sino también por reconocer que la creatividad humana es insustituible.

Esta frontera cultural se desdibuja aún más por la dificultad de distinguir lo real de lo sintético. El investigador Stefan Kojouharov advirtió en 2024 que, a medida que la IA y el metaverso convergen, vivimos rodeados de apariencias que imitan comprensión, pero carecen de sustancia. Lo que percibimos ya no es el mundo, sino una versión filtrada por sesgos y valores culturales. Para confrontar este dilema, Kojouharov sostiene que la clave no es acumular más datos, sino reforzar la filosofía y la ética, porque solo ahí se decide cómo interpretamos y damos sentido a la información.

En última instancia, el valor de lo humano sigue siendo la brújula. La creatividad imperfecta, las emociones auténticas y la ética que guía nuestras decisiones son elementos que ninguna réplica sintética puede reemplazar. La IA ha abierto más preguntas de las que ha respondido y cada avance amplía los dilemas que debemos enfrentar. Reconocerlo no debilita la innovación, la fortalece, porque nos recuerda que el sentido último de esta revolución no está en la perfección de los algoritmos, sino en la capacidad de la sociedad para conservar la decisión y el protagonismo frente a la tecnología.

 

Dilemas urgentes

Todo lo dicho hasta ahora converge en que el debate ético y la ética en el código deben centrarse en los dilemas que ya no pueden postergarse. El desafío no es redactar principios, sino convertirlos en mecanismos efectivos sin sofocar la innovación. Lo que Asilomar y AlgorithmWatch dejaron como brújula ética, y lo que la UNESCO consolidó en 2021 y la IA Constitucional proponen, son principios y mecanismos que solo tendrán valor si logran traducirse en regulaciones, normas técnicas y compromisos empresariales.

Las preguntas centrales siguen abiertas y ya no admiten demora.
• Privacidad y vigilancia. ¿Dónde trazar la línea entre un servicio personalizado y una vigilancia omnipresente?
• Sesgo y discriminación. ¿Cómo auditar los algoritmos para evitar que amplifiquen prejuicios históricos?
• Transparencia y responsabilidad legal. Si una IA falla y causa un daño —un accidente de coche autónomo o un diagnóstico médico equivocado—, ¿quién responde? ¿Existe el derecho a comprender las decisiones de las cajas negras que influyen en nuestra vida?
• Seguridad y doble uso. ¿Cómo proteger al usuario frente a usos maliciosos de la IA, desde ciberataques y fraudes hasta armas autónomas?
• Calidad y origen de los datos. ¿Cómo garantizar que la información de entrenamiento sea veraz y obtenida de manera legal y ética?
• Impacto psicológico y social. ¿Qué efectos a largo plazo tendrá la interacción con inteligencias no humanas?
• Propiedad intelectual. ¿Cómo compensar a artistas, escritores y creadores cuyos trabajos alimentan a las IA generativas?
• Impacto laboral. ¿Qué nuevo pacto social se necesita ante una disrupción que puede automatizar no solo tareas, sino profesiones enteras?
• Impacto ambiental. ¿Es sostenible que la innovación en IA agrave la crisis climática con su enorme costo energético?
• Geopolítica y soberanía digital. ¿Cómo evitar un nuevo colonialismo tecnológico y la creación de una brecha de inteligencia?
• Colapso del modelo. ¿Qué pasa si los sistemas se entrenan con datos sintéticos y pierden contacto con la realidad humana?
• Autonomía humana. ¿En qué decisiones cruciales —médicas, judiciales o militares— la última palabra debe ser siempre de un ser humano?

Estas preguntas ya forman parte de nuestras decisiones cotidianas y marcan la oportunidad de orientar la IA hacia un progreso que refuerce lo humano en lugar de debilitarlo. En la búsqueda de respuestas han surgido obras que iluminan el debate, desde quienes advierten sobre los riesgos técnicos hasta quienes formulan fundamentos éticos para guiar el futuro de esta tecnología.

 

La IA con alma

La inclusión de la ética, y las regulaciones apegadas a ella, es la forma de asegurarnos de que una creación capaz de aprender y evolucionar no desborde a su creador. El desafío es que esa guía ética no se convierta en freno de la innovación ni del progreso, sino en el marco que permita que ambos florezcan sin poner en riesgo lo humano.

Por eso, el Problema de la Alineación es fundamental. El desafío consiste en garantizar que una inteligencia más poderosa que la humana comparta nuestros valores y no ejecute objetivos dañinos. El escritor e investigador estadounidense Brian Christian lo popularizó en 2020 con su libro El problema de la alineación. Aprendizaje automático y valores humanos (The Alignment Problem. Machine Learning and Human Values), publicado durante su paso como investigador visitante en la Universidad de California, Berkeley. Allí muestra, a través de entrevistas e investigaciones, cómo los sistemas de IA pueden obedecer de manera estricta lo que se les ordena y aun así generar consecuencias catastróficas por no comprender el contexto humano. Por ello, pretender controlarlos solo desde afuera sería ingenuo, la alineación debe formar parte del diseño mismo de la tecnología.

En Génesis. La inteligencia artificial, la esperanza y el espíritu humano (The Age of AI: And Our Human Future), publicado a fines de 2024 por Henry Kissinger (de manera póstuma), Eric Schmidt y Craig Mundie, los autores advierten que la magnitud de la IA exige formas nuevas de regulación. Mundie sostiene que el control no bastará con auditorías externas, sino que debe estar en el corazón mismo de la tecnología, como ya ocurre con las Model Cards o las pruebas de Red Teaming. Aunque el libro no ofrece soluciones técnicas concretas, sienta las bases filosóficas y éticas que justifican propuestas como la IA Constitucional, cuyo objetivo es traducir esos principios en mecanismos prácticos de alineación incrustados en el diseño de los modelos.

 

Del código a la neurona

Plantear que la ética debe incrustarse en el código no es una ingenuidad idealista; de hecho, es un imperativo técnico que ya se está abordando, aunque requiere matizar qué significa realmente "código" en el mundo del Deep Learning actual. A diferencia del software tradicional, donde un programador escribe una línea explícita y rígida (como "si sucede X, entonces haz Y"), en la Inteligencia Artificial Generativa el código funciona como una vasta red neuronal de pesos matemáticos, más parecida a un cerebro orgánico que a un manual de instrucciones.

¿Cómo se inserta entonces la ética en este entorno fluido? La respuesta no está en escribir reglas prohibitivas como "no seas racista", sino en alterar la Función Objetivo, es decir, aquello que la máquina "quiere" maximizar. En lugar de darle instrucciones verbales, se entrena a la IA para que la equidad o la veracidad le otorguen una mayor "puntuación" interna. La ética se convierte así en una recompensa matemática. El sistema aprende a preferir respuestas éticas no por obligación moral, sino porque su arquitectura matemática le indica que esa es la ruta óptima. De esta forma, la ética deja de ser una simple instrucción externa para volverse parte de la arquitectura misma del sistema.

Sin embargo, esto lleva a un segundo desafío. Aunque se diseñe la arquitectura con incentivos éticos, la complejidad de estas redes es tal que a menudo no se sabe si realmente están "aprendiendo" el valor correcto o simplemente simulándolo para obtener la recompensa.

Hasta ahora, la relación con la IA se ha parecido más a la psicología conductista que a la medicina, es decir, se observa lo que entra (el prompt) y se juzga lo que sale (la respuesta), pero lo que ocurre en el medio sigue siendo un misterio. A esto se le llama el problema de la "caja negra". Se sabe que la máquina funciona, pero no se sabe cómo piensa.

Sin embargo, la Interpretabilidad Mecanística es la nueva disciplina que está rompiendo ese hermetismo. Para entenderla sirve una analogía médica. Si la regulación externa actúa como un psiquiatra que escucha al paciente y trata de corregir su conducta con consejos o leyes, la Interpretabilidad Mecanística actúa como un escáner de resonancia magnética (fMRI). Ya no se conforma con que el paciente diga "no estoy mintiendo", sino que busca en su cerebro la neurona exacta que se enciende cuando se fabrica una mentira.

El objetivo es dejar de tratar a la IA como una caja mágica y empezar a verla como un circuito que se puede auditar. En mayo de 2024, el equipo de interpretabilidad de Anthropic, liderado por el investigador Chris Olah, publicó un estudio que sacudió a la comunidad científica titulado "Mapping the Mind of a Large Language Model". En él, no solo teorizaban sobre cómo "piensan" los modelos, sino que lograron mapear millones de conceptos dentro del "cerebro" matemático de su modelo Claude 3 Sonnet.

Lo que Olah y su equipo lograron fue aislar neuronas artificiales específicas encargadas de conceptos concretos. Para demostrarlo realizaron un experimento que fue reseñado por el columnista Kevin Roose de The New York Times como un hito en la seguridad informática, en el cual identificaron el grupo de neuronas que representaba al "Puente Golden Gate" y, mediante una intervención quirúrgica en el código, aumentaron su activación. El resultado fue el llamado "Golden Gate Claude", una IA que, sin importar la pregunta, terminaba hablando obsesivamente del puente de San Francisco.

Este experimento, aunque cómico en su ejecución, valida una tesis profunda. Si se puede localizar físicamente la neurona de un puente, teóricamente también se puede localizar la del engaño, la del racismo o la de la manipulación. Como explicó el propio Olah, esto acerca a un futuro donde no se tenga que confiar ciegamente en que la IA es segura, sino que se podrán ver matemáticamente sus valores.

Otras organizaciones como OpenAI también han dedicado equipos enteros, anteriormente bajo la división de Superalignment, a intentar mapear estas redes neuronales. La meta es llegar a una monosemanticidad, es decir, que cada pieza del código matemático signifique una sola cosa comprensible para los humanos. Si esta técnica madura, la ética dejará de ser una lista de prohibiciones externas para convertirse en una cirugía interna. Se podrá mirar dentro del modelo y decir "Aquí está el sesgo, extirpémoslo", antes de que la IA escriba una sola palabra. En ese momento, la confianza dejará de ser un acto de fe ciega para convertirse en una certeza verificable, transformando la "caja negra" en una caja de cristal.

Ahora bien, para autores como Kissinger y Schmidt, la cuestión no se agota en la arquitectura del sistema, pues el desafío central no es tecnológico, sino humano. La pregunta de fondo es cómo convertir los principios en hábitos efectivos, cómo lograr que lo ético no se quede en la teoría, sino que forme parte de la práctica.

Esa reflexión nos devuelve a un legado mucho más antiguo, una lección que nos dejó el siempre presente Aristóteles respecto a que la virtud no se proclama, se practica hasta volverse hábito. Y es lo que exploré en Robots con Alma, al mostrar que la ética no debe quedarse en declaraciones ni en manuales, sino incrustarse en la tecnología, en el código, en la forma misma en que se moldean las máquinas.

Por eso, al ir y venir desde el futuro con Robots con Alma, comprendí que no se trata de temer ni de idealizar a la IA, sino de humanizarla, de darle alma.

Y esa tarea solo será posible si la creación tecnológica se inspira en las mismas virtudes que, según la metáfora de mi novela, Dios utilizó para crear todo de la nada: la Verdad, la Libertad, la Bondad y la Creatividad. No como adornos retóricos, sino como principios vivos capaces de orientar el diseño y sostener la práctica. Si logramos incrustar esas virtudes, la IA dejará de ser un riesgo y se convertirá en una verdadera aliada de lo humano.