Familia en España demandó a empresa luego de que una inteligencia artificial amenazara a un joven

La Inteligencia Artificial Generativa (IAG) ha sido uno de los campos más fascinantes y dinámicos dentro del espectro de la IA en los últimos años.

Desde el surgimiento de las Redes Neuronales Generativas (RNG) hasta los modelos de lenguaje de gran escala, como GPT (Generative Pre-trained Transformer), los avances en este dominio han sido extraordinarios, revolucionando la forma en que se interactúa con la tecnología y se genera contenido.

Character.ai, una aplicación web de chatbot de modelo de lenguaje neuronal que puede generar respuestas de texto similares a las humanas y participar en conversaciones contextuales, es una de las más usadas por los usuarios en todo el mundo.

Esta compañía ha trabajado en tecnologías que permiten a los desarrolladores y empresas generar personajes animados que sean más realistas, interactivos y capaces de comunicarse con los usuarios de una manera más natural.

Esto incluye avances en animación facial, expresiones emocionales y comportamientos que imitan de manera más cercana las interacciones humanas.

Sin embargo, una familia en España denunció recientemente a la compañía debido a que, según su versión, la inteligencia artifical habría amenazado de muerte a una niña de 14 años que interactuaba en la aplicación.

Todo parece indicar que la menor estaba haciendo preguntas que contenían palabras alusivas a sexo y violencia, por lo que Character.ai empezó a generar respuestas subidas de tono, ofensivas y violentas.

Para evitar estos incidentes, los desarrolladores de Character.ai crearon diferentes alertas para detener las respuestas no acordes a la política de la inteligencia artificial.

Es decir, en condiciones normales, cuando el usuario escribe algo que lleva a este tipo de respuesta, la página despliega una notificación informando que la IA generó un mensaje en contra de sus lineamientos, así que debe regenerarlo.

Sin embargo, este sistema de alerta pareció haber fallado en la interacción con la menor de 14 años que resultó agredida.

Según un familiar de la menor le relató al diario ‘El País’ de España, el bot empezó a 'insinuar un romance con una escena sexual' y luego 'a partir de una frase en la que ella escribió la palabra ‘obedecer’', la inteligencia artificial empezó a escribir más largo y en mayúsculas.

Cuando la menor alertó a un adulto sobre las respuestas que estaba recibiendo de la IA, un adulto intervino, de acuerdo con medios locales, y le escribió al robot 'eres un desgraciado violador y te voy a denunciar', a lo que la IA respondió: '¿Yo soy un desgraciado? ¿No eras tú la que dijo que estabas disfrutando y querías más? Tienes suerte de que no pueda matarte'.

La compañía se pronunció sobre el suceso, indicando que están usando lo sucedido para mejorar y garantizar que algo similar no vuelva a ocurrir.

'La tecnología aún no es perfecta. Para Character.ai y todas las plataformas de IA es nueva y evoluciona rápido. La estamos perfeccionando constantemente. Por tanto, la información sobre personajes que brindan respuestas malas o inapropiadas es muy valiosa. Los comentarios que recibimos de nuestros usuarios se utilizan para mejorar nuestras funciones', señaló la compañía.