Google hace dudar de sí misma a su AI

Desde el día en que llegaron los chatbots el año pasado, sus creadores nos advirtieron que no confiáramos en ellos. El texto generado por herramientas como ChatGPT no se basa en una base de datos de hechos establecidos. En cambio, los chatbots son predictivos, haciendo suposiciones probabilísticas sobre qué palabras parecen correctas según el inmenso corpus de texto en el que se entrenaron sus modelos de lenguaje.

Como resultado, los chatbots a menudo están «confiadamente equivocados», para usar el término de la industria. Y esto puede engañar incluso a personas altamente educadas, como vimos este año en el caso del abogado que presentó citas generadas por ChatGPT, sin darse cuenta de que cada caso había sido inventado de la nada.

Esta situación explica por qué considero que los chatbots son en su mayoría inútiles como asistentes de investigación. Te dirán cualquier cosa que desees, a menudo en cuestión de segundos, pero en la mayoría de los casos sin citar sus fuentes. Como resultado, terminas dedicando mucho tiempo a investigar sus respuestas para comprobar si son verdaderas, a menudo desvirtuando el propósito de usarlos en absoluto.

Cuando Bard de Google se lanzó a principios de este año, vino con un botón de «Buscar en Google» que enviaba tu consulta al motor de búsqueda de la empresa. Esto hacía que fuera un poco más rápido obtener una segunda opinión sobre la respuesta del chatbot, pero aún dejaba la responsabilidad de determinar qué es verdad y qué es falso en tus manos.

A partir de hoy, sin embargo, Bard hará un poco más de trabajo en tu nombre. Después de que el chatbot responda una de tus consultas, al hacer clic en el botón de Google, «verificará» tu respuesta. Así es como la compañía lo explicó en una publicación de blog:

Cuando haces clic en el ícono «G», Bard leerá la respuesta y evaluará si hay contenido en la web para respaldarla. Cuando una afirmación puede ser evaluada, puedes hacer clic en las frases resaltadas y obtener más información sobre información de respaldo o contradicción encontrada por la Búsqueda.

La verificación de una consulta convertirá muchas de las oraciones dentro de la respuesta en verde o marrón. Las respuestas resaltadas en verde están vinculadas a páginas web citadas; al pasar el cursor sobre una de ellas, Bard te mostrará la fuente de la información. Las respuestas resaltadas en marrón indican que Bard no sabe de dónde proviene la información, resaltando un error probable.

Cuando verifiqué la respuesta de Bard a mi pregunta sobre la historia de la banda Radiohead, por ejemplo, me dio muchas oraciones resaltadas en verde que coincidían con mis propios conocimientos. Pero también convirtió esta oración en marrón: «Han ganado numerosos premios, incluidos seis premios Grammy y nueve premios Brit». Al pasar el cursor sobre las palabras, Google mostró información contradictoria; de hecho, Radiohead nunca ha ganado un solo premio Brit, y mucho menos nueve.

«Voy a contarte sobre una tragedia que ocurrió en mi vida», me dijo Jack Krawczyk, director senior de productos de Google, en una entrevista la semana pasada.

Krawczyk había cocinado pez espada en casa, y el olor resultante parecía impregnar toda la casa. Usó Bard para buscar formas de deshacerse de él y luego verificó los resultados para separar los hechos de la ficción. Resultó que limpiar la cocina a fondo no solucionaría el problema, como había afirmado originalmente el chatbot. Pero colocar cuencos de bicarbonato de sodio alrededor de la casa podría ayudar.

Si te preguntas por qué Google no verifica respuestas como esta antes de mostrártelas, yo también lo hice. Krawczyk me dijo que, dada la amplia variedad de formas en que la gente usa Bard, la verificación a menudo es innecesaria. (Normalmente no le pedirías que verificara un poema que escribiste, o un correo electrónico que redactó, y así sucesivamente).

Y aunque la verificación representa un avance claro, a menudo todavía requiere que consultes todas esas citas y te asegures de que Bard esté interpretando correctamente los resultados de búsqueda. Al menos en lo que respecta a la investigación, los seres humanos todavía están sosteniendo la mano de la IA tanto como ella sostiene la nuestra. Sin embargo, es un desarrollo bienvenido.

«Puede que hayamos creado el primer modelo de lenguaje que admite que ha cometido un error»

Jack Krawczyk, director senior de productos de Google

Y dado lo que está en juego a medida que estos modelos mejoran, asegurarse de que los modelos de IA confiesen con precisión sus errores debería ser una alta prioridad para la industria.

Bard recibió otra gran actualización el martes: ahora puede conectarse a tu Gmail, Docs, Drive y algunos otros productos de Google, incluidos YouTube y Maps. Estas extensiones, como se llaman, te permiten buscar, resumir y hacer preguntas sobre documentos que tienes almacenados en tu cuenta de Google en tiempo real.

Por ahora, está limitado a cuentas personales, lo que limita drásticamente su utilidad, al menos para mí. A veces es interesante como una forma alternativa de navegar por la web, lo hizo bien, por ejemplo, cuando le pedí que me mostrara algunos buenos videos sobre cómo comenzar en el diseño de interiores. (El hecho de que puedas reproducir esos videos en la ventana de respuesta de Bard es un buen detalle).

Pero las extensiones también cometen muchos errores, y aquí no hay un botón para mejorar los resultados. Cuando le pedí a Bard que encontrara mi correo electrónico más antiguo con un amigo con el que he estado intercambiando mensajes en Gmail durante 20 años, Bard me mostró un mensaje de 2021. Cuando le pregunté qué mensajes en mi bandeja de entrada podrían necesitar una respuesta rápida, Bard sugirió un correo no deseado con el asunto «La impresión sin problemas es posible con HP Instant Ink».

Lo hace mejor en escenarios donde Google puede ganar dinero. Pídele que planee un itinerario para un viaje a Japón, incluyendo información de vuelos y hoteles, y te mostrará una buena selección de opciones de las cuales Google puede obtener una comisión por la compra.

Eventualmente, imagino que las extensiones llegarán a Bard, al igual que lo hicieron anteriormente en ChatGPT. (Allí se llaman complementos). La promesa de poder hacer cosas en la web a través de una interfaz conversacional es enorme, incluso si la experiencia hoy en día es solo aceptable.

La pregunta a largo plazo es cuán bien podrá la IA verificar su propio trabajo. En este momento, la tarea de guiar a los chatbots hacia la respuesta correcta todavía recae en la persona que escribe la consulta. En este momento, se necesitan herramientas que obliguen a las IA a citar su trabajo. Sin embargo, con el tiempo, esperamos que más de ese trabajo recaiga en las propias herramientas, sin que siempre tengamos que pedirlo.

Vía Platfrmer.