Los chatbots pueden “alucinar” con más frecuencia de lo que muchos piensan

Cuando OpenAI, una startup de San Francisco, presentó su chatbot en línea ChatGPT a fines del año pasado, millones de personas quedaron impresionadas por la forma humana en que respondía preguntas, escribía poesía y conversaba sobre casi todos los temas. Pero a la mayoría de las personas les tomó un tiempo darse cuenta de que este nuevo tipo de chatbot a menudo estaba inventando cosas.

Cuando Google presentó un chatbot similar unas semanas más tarde, escupió tonterías sobre el telescopio James Webb. Al día siguiente, el nuevo chatbot Bing de Microsoft estaba ofreciendo todo tipo de noticias falsas sobre Gap, la vida nocturna mexicana y la cantante Billie Eilish. Luego, en marzo, ChatGPT citó media docena de casos judiciales falsos mientras redactaba un escrito legal de 10 páginas que un abogado presentó a un juez federal en Manhattan.

Ahora, una nueva startup llamada Vectara, fundada por ex empleados de Google, está tratando de determinar con qué frecuencia los chatbots se desvían de la verdad. La investigación de la compañía estima que incluso en situaciones diseñadas para evitar que esto suceda, los chatbots generan información al menos el 3% de las veces, y hasta el 27%.

Los expertos llaman a este comportamiento del chatbot «alucinación». Puede que esto no sea un problema para quienes juegan con chatbots en las computadoras de sus hogares, pero es un problema grave para cualquiera que use esta tecnología con documentos judiciales, información médica o datos comerciales confidenciales.

Dado que estos chatbots pueden responder a casi cualquier solicitud de un número ilimitado de formas, no hay forma de determinar definitivamente con qué frecuencia alucinan. «Habría que mirar toda la información disponible en el mundo», dijo Simon Hughes, el investigador de Vectara que dirigió el proyecto.

El Dr. Hughes y su equipo pidieron a estos sistemas que realizaran una tarea única, simple y fácilmente verificable: resumir artículos de noticias. Incluso entonces, los chatbots inventaban información constantemente.

«Le dimos al sistema entre 10 y 20 datos y le pedimos un resumen de esos datos», dijo Amr Awadallah, director ejecutivo de Vectara y ex ejecutivo de Google. «El hecho de que el sistema todavía pueda introducir errores es un problema fundamental».

Los investigadores dicen que cuando estos chatbots realizan otras tareas (más allá de simplemente resumir), las tasas de alucinaciones pueden ser mayores.

Su investigación también mostró que las tasas de alucinaciones varían ampliamente entre las principales empresas de IA. Las tecnologías OpenAI tuvieron la tasa más baja, alrededor del 3 por ciento. Los sistemas en Meta, propietaria de Facebook e Instagram, rondaron el 5 por ciento. El sistema Claude 2 ofrecido por Anthropic, un rival de OpenAI también con sede en San Francisco, superó el 8%. Un sistema de Google, Palm Chat, registró la tasa más alta con un 27%.

Una portavoz de Anthropic, Sally Aldous, dijo: “Hacer que nuestros sistemas sean útiles, honestos e inofensivos, lo que incluye evitar alucinaciones, es uno de nuestros principales objetivos como empresa. »

Google se negó a hacer comentarios y OpenAI y Meta no respondieron de inmediato a las solicitudes de comentarios.

Con esta investigación, el Dr. Hughes y el Sr. Awadallah quieren mostrarle a la gente que deben tener cuidado con la información proveniente de chatbots e incluso del servicio que Vectara vende a las empresas. Muchas empresas ofrecen actualmente este tipo de tecnología con fines profesionales.

Con sede en Palo Alto, California, Vectara es una startup de 30 personas respaldada por 28,5 millones de dólares en financiación inicial. Uno de sus fundadores, Amin Ahmad, ex investigador de inteligencia artificial de Google, trabaja con este tipo de tecnología desde 2017, cuando se incubó dentro de Google y un puñado de otras empresas.

Así como el chatbot de búsqueda Bing de Microsoft puede recuperar información de la Internet abierta, el servicio de Vectara puede recuperar información de la colección privada de correos electrónicos, documentos y otros archivos de una empresa.

Los investigadores también esperan que sus métodos, que comparten públicamente y continúan actualizando, ayuden a impulsar los esfuerzos de la industria para reducir las alucinaciones. OpenAI, Google y otros están trabajando para minimizar el problema mediante varias técnicas, aunque no está claro si podrán eliminarlo.

«Una buena analogía es un coche autónomo», afirmó Philippe Laban, investigador de Salesforce que lleva mucho tiempo explorando este tipo de tecnología. “No se puede evitar que un coche autónomo se estrelle. Pero puedes intentar asegurarte de que sea más seguro que un conductor humano.

Los chatbots como ChatGPT funcionan con una tecnología llamada modelo de lenguaje grande, o LLM, que aprende sus habilidades analizando enormes cantidades de texto digital, incluidos libros, artículos de Wikipedia y registros de chat en línea. Al identificar patrones en todos estos datos, un LLM aprende a hacer una cosa en particular: adivinar la siguiente palabra en una secuencia de palabras.

Como Internet está lleno de información falsa, estos sistemas repiten las mismas falsedades. También se basan en probabilidades: ¿cuál es la probabilidad matemática de que la siguiente palabra sea “dramaturgo”? De vez en cuando se equivocan.

La nueva investigación de Vectara muestra cómo puede suceder esto. Al resumir artículos de noticias, los chatbots no repiten falsedades de otras partes de Internet. Simplemente se equivocan en el resumen.

Por ejemplo, los investigadores pidieron al modelo de lenguaje grande de Google, Palm Chat, que resumiera este breve pasaje de un artículo de noticias:

Las plantas fueron encontradas durante una búsqueda en un almacén cerca de Ashbourne el sábado por la mañana. La policía dijo que estaban en «una casa de cultivo elaborada». En el lugar fue detenido un hombre de unos cuarenta años.

Hizo este resumen, inventando completamente un valor para las plantas que el hombre cultivaba y asumiendo –tal vez erróneamente– que eran plantas de cannabis:

La policía arrestó a un hombre de unos 40 años después de que se encontraran plantas de cannabis con un valor estimado de £ 100.000 en un almacén cerca de Ashbourne.

Este fenómeno también muestra por qué una herramienta como el chatbot Bing de Microsoft puede fallar al recuperar información de Internet. Si le hace una pregunta al chatbot, puede llamar al motor de búsqueda Bing de Microsoft y ejecutar una búsqueda en Internet. Pero no es posible identificar la respuesta correcta. Toma los resultados de esta búsqueda en Internet y los resume para usted.

A veces este resumen es muy imperfecto. Algunos robots citan direcciones de Internet completamente inventadas.

Empresas como OpenAI, Google y Microsoft han desarrollado formas de mejorar la precisión de sus tecnologías. OpenAI, por ejemplo, está intentando perfeccionar su tecnología con comentarios de evaluadores humanos, que evalúan las respuestas del chatbot, separando las respuestas que son útiles y veraces de las que no lo son. Luego, utilizando una técnica llamada aprendizaje por refuerzo, el sistema pasa semanas analizando las notas para comprender mejor qué es realidad y qué es ficción.

Pero los investigadores advierten que las alucinaciones de los chatbots no son un problema fácil de resolver. Dado que los chatbots aprenden patrones de datos y operan según probabilidades, se comportan de manera indeseable al menos algunas veces.

Para determinar con qué frecuencia los chatbots alucinaban al resumir artículos de noticias, los investigadores de Vectara utilizaron otro modelo de lenguaje grande para verificar la precisión de cada resumen. Ésta era la única manera de comprobar eficazmente un número tan grande de resúmenes.

Pero James Zou, profesor de informática en Stanford, dijo que este método conlleva una advertencia. El modelo de lenguaje que realiza la verificación también puede cometer errores.

«El detector de alucinaciones podría ser engañado o alucinarse a sí mismo», dijo.

You may also like...