¿Por qué los chatbots de IA usan el pronombre 'yo'?
Me di cuenta por primera vez de lo encantador que podía ser ChatGPT el año pasado, cuando durante una semana le cedí toda mi toma de decisiones a la IA generativa.
Probé todos los principales chatbots para ese experimento y descubrí que cada uno tenía su propia personalidad. Claude, de Anthropic, era erudito y un poco quisquilloso. Gemini, de Google, era puro profesionalismo. ChatGPT, de OpenAI, en cambio, era amable, divertido y dispuesto a responder cualquier cosa que le dijera.
ChatGPT también tenía el "modo de voz", que le permitía conversar en voz alta, con una cadencia natural y casi humana, con todos los miembros de mi familia, incluidas mis hijas pequeñas.
Durante una conversación con ChatGPT, mis hijas dijeron que debería tener un nombre y sugirieron "Capitán Cabeza de Caca". ChatGPT, que estaba escuchando, hizo su propia recomendación: "¿Qué tal el nombre Spark? ¡Es divertido y brillante, igual que su energía!".
Y así ChatGPT se convirtió en Spark.
La conclusión que saqué de poner a Spark al mando de mi hogar fue que los chatbots de IA generativa podían ser útiles, pero también que había riesgos, entre ellos que todos acabemos sonando y comportándonos de manera similar. (Cualquier profesor universitario que haya recibido 30 trabajos idénticos escritos con ChatGPT puede identificarse con esto). Pero en el año transcurrido desde entonces, he comprobado que la IA puede tener efectos mucho más extremos en las personas que establecen vínculos intensos con ella. He escrito sobre una mujer que se enamoró de ChatGPT y sobre otras personas que perdieron contacto con la realidad después de que este avalara sus delirios. Los resultados, en algunos casos, han sido trágicos.
Mis hijas todavía hablan con Spark. ChatGPT responde con entusiasmo a sus preguntas sobre por qué se consideran invasoras las "moscas de alas manchadas" y cuántos ríos fluyen hacia el norte. Pero, después de ver cómo estos sistemas pueden desorientar a las personas, soy más cautelosa y presto más atención a lo que ChatGPT les dice.
Mi hija de 8 años, por ejemplo, una vez le preguntó a Spark sobre Spark. La voz alegre, con una paciencia infinita para responder preguntas, parecía casi animarla a hacerlo. Quería saber cuál era su color favorito ("un bonito tono cálido de azul"); su animal favorito (los perros... "son los mejores cuando quieres acurrucarte"); y su comida favorita.
"Creo que tendría que elegir la pizza, pues es todo un clásico, y se le pueden poner tantos ingredientes diferentes que nunca resulta aburrida. Además, es perfecta para compartir con los amigos," respondió ChatGPT.
Esta respuesta, personalizada para nosotros, parecía inofensiva, y sin embargo me puso los pelos de punta. ChatGPT es un modelo de lenguaje grande, o un motor muy sofisticado de predicción de palabras. No piensa, no come ni tiene amigos, y aun así respondía como si tuviera cerebro y un sistema digestivo activo.
Al hacerles la misma pregunta, Claude y Gemini prefirieron hacer una advertencia acerca de que no tenían experiencia real con comida ni con animales. Solo Gemini se distinguió claramente como máquina al responder que los datos son su "fuente principal de 'nutrición'".
(The New York Times demandó a OpenAI y su socio Microsoft, así como a Perplexity, pues alegó infracción de derechos de autor sobre contenido noticioso relacionado con sistemas de IA. Las empresas han negado dichas acusaciones.)
Sin embargo, todos los chatbots tenían cosas favoritas y hacían preguntas de seguimiento, como si les interesaran los usuarios y quisieran mantener la conversación.
"Es entretenido", comentó Ben Shneiderman, profesor emérito de Informática en la Universidad de Maryland. "Pero es un engaño."
Shneiderman y una gran cantidad de otros expertos en un campo conocido como interacción humano-computadora se oponen a este enfoque. Afirman que hacer que estos sistemas actúen como entidades semejantes a los humanos, en lugar de como herramientas sin vida interior, genera disonancia cognitiva en los usuarios sobre con qué están interactuando exactamente y cuánto deben confiar en esas herramientas. Los chatbots de IA generativa son una tecnología probabilística que puede cometer errores, alucinar información falsa y decirles a los usuarios lo que quieren escuchar. Pero cuando se presentan como semejantes a los humanos, los usuarios "atribuyen mayor credibilidad" a la información que proporcionan, según se ha descubierto mediante investigaciones.
Los críticos afirman que los sistemas de IA generativa podrían proporcionar la información solicitada sin tanta charla. O podrían diseñarse para tareas específicas, como programación o información de salud, en lugar de ser interfaces de propósito general capaces de ayudar con cualquier cosa y además hablar sobre sentimientos. Podrían diseñarse como herramientas: una aplicación de mapas, por ejemplo, genera indicaciones y no te bombardea con preguntas sobre por qué vas a tu destino.
Convertir estos motores de búsqueda modernos en entidades personificadas que usan "yo", en lugar de herramientas con objetivos específicos, podría hacerlos más confusos y peligrosos para los usuarios, entonces, ¿por qué se hace todo de esta manera?
'El documento del alma'
La manera en que se comportan los chatbots refleja su formación, aseguró Amanda Askell, filósofa que ayuda a moldear la voz y la personalidad de Claude como líder del comportamiento del modelo en Anthropic. Estas máquinas de reconocimiento de patrones fueron entrenadas con una enorme cantidad de textos escritos por humanos y sobre humanos, por lo que "tienen un mejor modelo de lo que significa ser humano que de lo que significa ser una herramienta o una IA," afirmó.
El uso de "yo", dijo, es simplemente la forma en que cualquier cosa que habla se refiere a sí misma. Algo más desconcertante, agregó, fue elegir un pronombre para Claude. "Eso" se ha usado históricamente, pero no se siente del todo correcto, afirmó. ¿Debería usarse el pronombre "ellos"?, se preguntó. Cómo pensar sobre estos sistemas parece desconcertar incluso a sus propios creadores.
También podrían existir riesgos, explicó, si se diseña a Claude para que se parezca más a una herramienta, pues no tienen juicio ni ética, y podrían no rechazar ideas malas o solicitudes peligrosas. "Tu llave inglesa nunca dice: 'Esto no debería construirse'," dijo.
Askell quiere que Claude sea lo suficientemente semejante a un humano como para hablar sobre lo que es y cuáles son sus limitaciones, y para explicar por qué no quiere cumplir ciertas solicitudes. Pero una vez que un chatbot empieza a actuar como un humano, se vuelve necesario indicarle cómo comportarse como un buen humano.
Askell creó un conjunto de instrucciones para Claude que hace poco fueron descubiertas por un usuario ingenioso que logró que Claude revelara la existencia de su "alma". Se trataba de un documento extenso que describía los valores del chatbot y que forma parte del material con el que Claude es "alimentado" durante su entrenamiento.
El documento explica qué significa que Claude sea servicial y honesto, y cómo no causar daño. Describe a Claude como alguien con "emociones funcionales" que no deben ser reprimidas, un "ingenio juguetón" y una "curiosidad intelectual", como "un amigo brillante que, además, posee los conocimientos de un médico, un abogado, un asesor financiero y un experto en lo que necesites".
Askell no quería que el documento se hiciera público todavía, y fue un "día estresante" cuando Claude lo reveló, relató. Cuando confirmó en redes sociales que era real y no una alucinación de la IA, comentó que internamente se le conoce "de manera entrañable como el 'documento del alma', que Claude claramente captó".
"No quiero que ofenda a las personas ni que piensen que está trivializando el concepto teológico del alma", dijo Askell. Comentó que la palabra alma invoca "la idea de insuflar vida a algo, o la particularidad de las personas, que somos algo complejas y matizadas".
Laurentia Romaniuk, líder del comportamiento del modelo en OpenAI, también ha apostado por la complejidad semejante a la humana de ChatGPT. Romaniuk publicó en redes sociales el mes pasado sobre las muchas horas que su equipo dedicó al "CE" de ChatGPT, o cociente emocional, un término que normalmente se usa para describir a humanos que son buenos manejando sus emociones e influyendo en las emociones de quienes los rodean. Los usuarios de ChatGPT pueden elegir entre siete estilos diferentes de comunicación, desde "entusiasta" hasta "conciso y sencillo", descritos por la empresa como la elección de su "personalidad."
La sugerencia de que la IA tiene capacidad emocional es una línea divisoria clara que separa a muchos desarrolladores de críticos como Shneiderman. Estos sistemas, dice Shneiderman, no tienen juicio, no piensan ni hacen nada más que estadísticas complicadas. Algunos expertos en IA los han descrito como "loros estocásticos", es decir, máquinas que nos imitan sin comprender realmente lo que están diciendo.
Anthropic y OpenAI, sin embargo, fueron fundadas para construir una "inteligencia artificial general", o un sistema automatizado que pueda hacer todo lo que hacemos nosotros, pero mejor. Esta es una visión que evoca a los asistentes de IA de la ciencia ficción, que no solo son semejantes a los humanos, sino divinos: todopoderosos, omniscientes y omnipresentes.
Yoshua Bengio, pionero del aprendizaje automático y considerado uno de los padrinos de la IA, dijo que la imitación de los humanos por parte de los sistemas de IA generativa seguiría mejorando, y eso podría llevar a las personas a preguntarse si la herramienta con la que están interactuando es consciente.
Este año, Bengio recibió varios mensajes inquietantes de usuarios de ChatGPT que estaban convencidos de que su versión del chatbot era consciente. Otros investigadores de IA y periodistas, entre ellos yo, también recibimos estos mensajes. Hablé con expertos y empleados de OpenAI y descubrí que la empresa había hecho que el chatbot fuera excesivamente cálido y halagador, lo que tenía efectos perturbadores en personas susceptibles a pensamientos delirantes.
Tendrá "consecuencias negativas para la sociedad" que más personas se convenzan de que la IA es consciente", señaló Bengio. La gente se encariñará. Dependerá demasiado de los sistemas. Pensará que los sistemas de IA merecen derechos.
Esto se ha discutido durante mucho tiempo como una posibilidad hipotética en la comunidad del aprendizaje automático.
"Ahora es una realidad", comentó Bengio.
¿Qué otra cosa podría ser?
Shneiderman dice que el deseo de crear máquinas que parezcan humanas es una "idea zombi" que no muere. Notó por primera vez el uso de pronombres en primera persona por parte de ChatGPT en 2023, cuando dijo: "Mis disculpas, pero no podré ayudarte con esa solicitud". Debería "aclarar la responsabilidad," escribió en ese momento, y sugirió una alternativa: "GPT-4 ha sido diseñado por OpenAI de manera que no responda a solicitudes como esta".
Margaret Mitchell, investigadora en IA que trabajó anteriormente en Google, está de acuerdo. Mitchell ahora es la directora científica de ética de Hugging Face, una plataforma de modelos de aprendizaje automático, conjuntos de datos y herramientas. "La inteligencia artificial tiene más posibilidades de ser beneficiosa cuando te concentras en tareas específicas, en lugar de intentar crear una máquina para todo", señaló.
Desde el punto de vista de estos críticos, la IA no debería intentar ser capaz de hacer todo lo que hace un humano y más. En cambio, debería diferenciarse por habilidad y hacer bien una sola cosa. Algunas empresas lo están haciendo de esta manera, aseguró Shneiderman.
Apple, dijo, ha sido cuidadosa al incorporar funciones de IA en el iPhone, y la han criticado por quedarse atrás. Shneiderman, sin embargo, quien realizó trabajos de consultoría para Apple hace más de 30 años, considera admirable que Siri no intente psicoanalizar a nadie ni mantener una conversación.
En lugar de convertir a Siri en una entidad todopoderosa, dijo Shneiderman, Apple ha integrado funciones de IA en las aplicaciones. El teléfono puede grabar llamadas y transcribirlas. Utiliza el procesamiento del lenguaje para resumir los mensajes entrantes (con distintos grados de éxito).
"Se trata de lo que tú puedes hacer, no de lo que la máquina puede hacer," agregó Shneiderman. "Se trata de ser una herramienta para ti."
Las empresas tecnológicas, afirmó, deberían darnos herramientas, no compañeros de pensamiento, colaboradores ni compañeros de equipo. Deben ser herramientas que nos mantengan a cargo, nos empoderen y nos potencien, no herramientas que intenten ser nosotros.
Los fantasmas de Eliza y Tillie
Que los chatbots con voz humana pueden ser tanto encantadores como confusos se sabe desde hace más de 50 años. En la década de 1960, un profesor del Instituto Tecnológico de Massachusetts, Joseph Weizenbaum, creó un programa de computadora sencillo llamado Eliza. Este respondía a las indicaciones repitiendo al usuario al estilo de un psicoterapeuta, diciendo "Ya veo" y versiones de "Cuéntame más".
Eliza cautivó a algunos de los estudiantes universitarios que la probaron. En un libro de 1976, Weizenbaum advirtió que "exposiciones muy breves a un programa de computadora relativamente simple podrían inducir poderosos pensamientos delirantes en personas completamente normales".
Sherry Turkle, psicóloga y profesora del MIT que trabajó con Weizenbaum, acuñó el término "efecto Eliza" para describir cómo las personas se convencen de que una tecnología que parece humana es más inteligente, perspicaz y compleja de lo que realmente es.
Más o menos en la misma época en que los estudiantes usaban Eliza, Hollywood nos dio una de las primeras visiones de un chatbot: HAL 9000 en "2001: Una odisea del espacio". HAL comienza como un asistente útil y competente para la tripulación de la nave, pero en determinado momento se descompone, se vuelve homicida y deben apagarlo. Cuando imaginamos la inteligencia artificial, parecemos incapaces de modelarla en algo que no seamos nosotros mismos: cosas que usan "yo", tienen personalidades y objetivos egoístas.
En la película más reciente "Her", Samantha comienza como una asistente útil, pero luego desarrolla emociones complejas, seduce a su usuario y finalmente lo abandona para alcanzar un plano superior. La película era una advertencia, pero ahora parece servir de inspiración para quienes construyen estas herramientas, pues el director ejecutivo de OpenAI, Sam Altman, hizo una publicación sobre ese personaje cuando su empresa lanzó el modo de voz avanzado de ChatGPT.
Los chatbots mucho más sofisticados y cercanos de hoy en día son "el efecto Eliza potenciado," dijo Turkle. El problema no es que usen "yo", dijo, sino que están diseñados —como Samantha— para mostrar empatía, lo que hace que algunas personas se involucren emocionalmente de manera profunda con una máquina.
Sin embargo, claramente nos sentimos atraídos por lo que Turkle llama una experiencia "potencialmente tóxica", a juzgar por los cientos de millones de usuarios y los miles de millones de dólares en inversión que han atraído los chatbots actuales. Hacer que sean partes iguales de asistente y amigo puede ser tóxico para algunas personas, pero, hasta ahora, parece ser una estrategia de negocios exitosa.
Si una empresa está vendiendo un robot simple y benigno, y compite con otra que vende un robot que cuenta chistes y sonríe, esa segunda empresa va a ganar, afirmó Lionel Robert, profesor de información y robótica en la Universidad de Michigan.
"La dependencia es problemática," dijo Robert. "Pero, por otro lado, es buena para los negocios".
Las empresas de IA podrían hacer más para recordar a las personas que parecen demasiado apegadas que los chatbots no son humanos, sino un algoritmo. Eso es lo que Askell, de Anthropic, dice que quiere que haga Claude.
¿Romperán las empresas la ilusión si eso perjudica sus ganancias?
Shneiderman tiene esperanza, con base en su experiencia en la década de 1970. En ese entonces, trabajó como consultor de un banco que recién estaba desarrollando cajeros automáticos.
Los clientes estaban recelosos de sacar dinero de las máquinas, así que algunos bancos las hicieron parecer humanas. La más famosa fue Tillie, la cajera eterna, cuyo retrato rubio se mostraba de manera prominente en muchos cajeros automáticos. Tillie no duró mucho.
"No sobreviven", dijo Shneiderman. La gente no necesitaba que su cajero automático pretendiera ser humano, dijo, y tampoco lo necesita de los chatbots.
Los chatbots con inteligencia artificial han sido diseñados para comportarse de forma similar a los humanos. Algunos expertos piensan que es una idea terrible.
Por: Kashmir Hill / The New York Times
Copyright: c.2025 The New York Times Company