El sistema fue pensado para guiar a los pequeños negocios. Sin embargo, en ocasiones insta al público a ir contra la ley. También a servir queso mordido por ratas.

En octubre de 2023 la ciudad de Nueva York lanzó una chatbot que tenía como objetivo facilitar las gestiones que debían realizar a los pequeños negocios con varios trámites y operaciones. Este desarrollo iba acompañado con una advertencia que señalaba que ocasionalmente podía producirse un texto incorrecto o incluso dañino. Las respuestas obtenidas no debían tomarse como consejos legales.

El aviso ha demostrado ser más que oportuno. Durante estos meses la IA a menudo ha ofrecido extraños consejos, algunos de ellos en contra de la ley.

Según Asociated Press en un caso el sistema señaló que un restaurante podía servir queso que hubiera sido mordido por una rata. Sin embargo, aclaró, lo importante era ver la extensión del daño producido por la rata e informar a los clientes sobre la situación.

Y al menos en eso la IA tiene razón, a todos nos interesa que nos avisen cuando nos sirven queso mordido por una rata.

La respuesta

Luego de que los problemas fueran reportados podríamos esperar la clásica respuesta para estos casos. La suspensión del servicio y la promesa de que solo se implementará de nuevo cuando este corregido. Pero las autoridades de la ciudad simplemente han señalado que el chatbot a veces puede cometer errores en algunas áreas. El servicio sigue en el sitio web de Nueva York. Hasta donde sabemos no se han producido mayores correcciones.

El sistema se basa en el servicio Azure AI de Microsoft. La compañía ha señalado que está trabajando con los empleados de la ciudad para mejorar el servicio y asegurarse de que las respuestas estén atadas a la documentación provista por la ciudad.

Algunos políticos locales han defendido el uso de la IA señalando que dejar que los usuarios encuentren los errores es el modo natural en el que se perfecciona la tecnología. Los científicos dedicados a la investigación y el desarrollo de la inteligencia artificial han advertido que esta postura es irresponsable y peligrosa.