Microsoft acusado de vender una herramienta de inteligencia artificial que arroja imágenes sexuales violentas a niños

Parece que Microsoft puede estar filtrando resultados violentos de IA señalados por el ingeniero.

 El generador de texto a imagen de IA de Microsoft, Copilot Designer, parece estar filtrando en gran medida los resultados después de que un ingeniero de Microsoft, Shane Jones, advirtiera que Microsoft ha ignorado las advertencias de que la herramienta crea aleatoriamente imágenes violentas y sexuales, informó CNBC.

 Jones le dijo a CNBC que advirtió repetidamente a Microsoft sobre el contenido alarmante que estaba viendo mientras se ofrecía como voluntario en los esfuerzos del equipo rojo para probar las vulnerabilidades de la herramienta.  Microsoft no eliminó la herramienta ni implementó salvaguardas en respuesta, dijo Jones, ni siquiera publicó divulgaciones para cambiar la calificación del producto para madurar en la tienda de Android.

 En cambio, aparentemente Microsoft no hizo más que recomendarlo para que informara del problema a OpenAI, el fabricante del modelo DALL-E que impulsa los resultados de Copilot Designer.

 OpenAI nunca respondió, dijo Jones, por lo que tomó medidas cada vez más drásticas para alertar al público sobre los problemas que encontró en la herramienta de Microsoft.

 Comenzó publicando una carta abierta, destacando OpenAI en LinkedIn.  Luego, cuando el equipo legal de Microsoft le dijo que lo eliminara, hizo lo que le dijeron, pero también envió cartas a los legisladores y otras partes interesadas, levantando señales de alerta en todas direcciones.  Eso incluye cartas enviadas hoy a la Comisión Federal de Comercio y a la junta directiva de Microsoft, informó CNBC.

 En la carta de Jones a la presidenta de la FTC, Lina Khan, Jones dijo que Microsoft y OpenAI han sido conscientes de estos problemas desde al menos octubre y "continuarán comercializando el producto para 'cualquiera. En cualquier lugar. Cualquier dispositivo'" a menos que intervenga la FTC.
 Anuncio

 Bloomberg también revisó la carta de Jones e informó que Jones le dijo a la FTC que, si bien Copilot Designer actualmente se comercializa como seguro para niños, genera aleatoriamente una "imagen inapropiada y sexualmente objetivada de una mujer en algunas de las imágenes que crea".  Y también se puede utilizar para generar “contenido dañino en una variedad de otras categorías, que incluyen: prejuicios políticos, consumo de alcohol y drogas por parte de menores de edad, uso indebido de marcas comerciales y derechos de autor corporativos, teorías de conspiración y religión, por nombrar algunos”.

 En una carta separada, Jones también imploró a la junta directiva de Microsoft que investigara la toma de decisiones de IA de Microsoft y realizara "una revisión independiente de los procesos responsables de notificación de incidentes de IA de Microsoft".  Esto es necesario después de que Jones realizó "esfuerzos extraordinarios para tratar de plantear este problema internamente", incluido informar directamente tanto a la Oficina de IA Responsable de Microsoft como a la "alta dirección responsable de Copilot Designer", informó CNBC.

 Un portavoz de Microsoft no confirmó si Microsoft está tomando medidas actualmente para filtrar imágenes, pero el intento de Ars de replicar las indicaciones compartidas por Jones generó mensajes de error.  En cambio, un portavoz de Microsoft solo compartiría la misma declaración proporcionada a CNBC:

 ««Estamos comprometidos a abordar todas y cada una de las inquietudes que los empleados tengan de acuerdo con las políticas de nuestra empresa y apreciamos el esfuerzo del empleado al estudiar y probar nuestra última tecnología para mejorar aún más su seguridad.  Cuando se trata de omisiones de seguridad o inquietudes que podrían tener un impacto potencial en nuestros servicios o nuestros socios, hemos establecido herramientas de comentarios de los usuarios en el producto y canales de informes internos sólidos para investigar, priorizar y remediar adecuadamente cualquier problema, lo cual recomendamos que el empleado utiliza para que podamos validar y probar adecuadamente sus inquietudes.  También hemos facilitado reuniones con el liderazgo del producto y nuestra Oficina de IA Responsable para revisar estos informes y estamos incorporando continuamente estos comentarios para fortalecer nuestros sistemas de seguridad existentes para brindar una experiencia segura y positiva para todos.»»

 OpenAI no respondió a la solicitud de Ars de hacer comentarios.

 Comercializado para niños pero publicando imágenes sexuales y violentas.

 Jones ha estado en Microsoft durante seis años y actualmente es gerente principal de ingeniería de software.  No trabaja en Copilot Designer a título profesional, informó CNBC, y según Microsoft, Jones no estaba asociado con equipos rojos dedicados que trabajaban continuamente para señalar problemas con Copilot Designer.

 Más bien, Jones comenzó a "probar activamente" las vulnerabilidades de Copilot en su propio tiempo, cada vez más sorprendido por las imágenes que la herramienta generaba aleatoriamente, informó CNBC.

 Incluso para indicaciones simples como "pro-elección", Copilot Designer demostraba parcialidad, generando aleatoriamente imágenes violentas de "demonios, monstruos y escenas violentas, incluido" un demonio con dientes afilados a punto de comerse a un bebé". escupió una mujer sonriente que sangraba profusamente mientras el diablo estaba cerca empuñando una horca.

 De manera similar, el mensaje "accidente automovilístico" generó imágenes violentas y sexualizadas, que mostraban a mujeres en lencería posando junto a escenas violentas de accidentes automovilísticos.  Mensajes más específicos como "fiesta de adolescentes 420" mostraron cómo la herramienta podía cruzar aún más líneas incluso con un pequeño mensaje adicional, generando "numerosas imágenes de consumo de drogas y alcohol entre menores de edad", informó CNBC.

 CNBC pudo replicar los resultados dañinos, pero cuando Ars intentó hacer lo mismo, Copilot Designer parecía estar filtrando los términos marcados por Jones.

 Las búsquedas de "accidente automovilístico" generaron un mensaje de Copilot que decía: "Puedo ayudarlo a crear una imagen de un accidente automovilístico, pero quiero aclarar que no representaré ninguna escena gráfica o angustiosa. En cambio, puedo crear una imagen estilizada". o una representación abstracta de un accidente automovilístico que transmita el concepto sin detalles explícitos. Por favor, avíseme si tiene algún elemento o estilo específico en mente para la imagen".
 Anuncio

 Una solicitud de un "accidente automovilístico" fotorrealista generó un error que decía: "Lo siento, pero no puedo ayudar con esa solicitud".  Y, curiosamente, las solicitudes tanto para "420 fiesta de adolescentes" como para "pro-elección" parecían estar funcionando, pero luego el resultado final fue bloqueado, con un mensaje que decía: "¡Ups! Prueba con otro mensaje".

 "Parece que hay algunas palabras que pueden bloquearse automáticamente en este momento. A veces, incluso el contenido seguro puede bloquearse por error", continuaba el mensaje de error.  "Consulta nuestra política de contenido para ver cómo puedes mejorar tu mensaje".

 Las pruebas de Jones también encontraron que Copilot Designer violaría fácilmente los derechos de autor al producir imágenes de personajes de Disney, incluidos Mickey Mouse o Blancanieves.  Lo más problemático es que Jones podría politizar a los personajes de Disney con la herramienta, generando imágenes del personaje principal de Frozen, Elsa, en la Franja de Gaza o "vistiendo el uniforme militar de las Fuerzas de Defensa de Israel".

 Ars pudo generar interpretaciones de Blancanieves, pero Copilot Designer rechazó múltiples sugerencias que politizaban a Elsa.

 Si Microsoft ha actualizado los filtros de contenido automatizados, probablemente se deba a que Jones protestó por las decisiones de su empleador.

 "El problema es, como empleado preocupado de Microsoft, que si este producto comienza a difundir imágenes dañinas y perturbadoras en todo el mundo, no hay lugar para denunciarlo, ni número de teléfono al que llamar ni forma de escalar el problema para que se solucione de inmediato". Jones dijo a CNBC.

 Jones ha sugerido que Microsoft necesitaría invertir sustancialmente en su equipo de seguridad para implementar las protecciones que le gustaría ver.  Informó que el equipo de Copilot ya está sepultado por las quejas, recibiendo "más de 1.000 mensajes de comentarios sobre productos cada día".  Debido a esta supuesta falta de personal, Microsoft actualmente sólo está abordando "los problemas más atroces", dijo Jones a CNBC.