{"id":13328,"date":"2021-06-13T10:20:00","date_gmt":"2021-06-13T10:20:00","guid":{"rendered":"https:\/\/www.automaise.com\/battling-bias-in-large-language-models\/"},"modified":"2024-10-30T18:39:08","modified_gmt":"2024-10-30T18:39:08","slug":"battling-bias-in-large-language-models","status":"publish","type":"post","link":"https:\/\/www.automaise.com\/es\/battling-bias-in-large-language-models\/","title":{"rendered":"Luchando contra el Sesgo en Modelos de Lenguaje Grandes"},"content":{"rendered":"\n

por Patr\u00edcia Rocha<\/a>, Data Scientist Junior en Automaise<\/a><\/p>\n\n\n\n

Hoy en d\u00eda, la IA est\u00e1 en todas partes. Puede que no se parezca a las versiones de ciencia ficci\u00f3n que nos presenta la cultura popular, pero su potencial crece cada a\u00f1o, y va a impactar a todas las industrias y negocios, desde los productos que usamos hasta el trabajo que hacemos y la forma en que conducimos.<\/h3>\n\n\n\n

Uno de los campos que probablemente m\u00e1s ha aprovechado el big data es el de NLP (procesamiento del lenguaje natural). Los modelos de lenguaje cada vez m\u00e1s grandes tienden a mejorar su rendimiento al recibir enormes cantidades de datos. GPT-3 es uno de los modelos de lenguaje m\u00e1s sofisticados hasta la fecha. Con aproximadamente 175 mil millones de par\u00e1metros, puedes escribir cualquier entrada y, esencialmente, generar\u00e1 las palabras que probablemente deber\u00edan seguir. Si bien sus capacidades son impresionantes \u2014 puede actuar como un chatbot, resumir textos, generar ensayos \u2014, el modelo est\u00e1 lejos de ser perfecto. Hazle cualquier pregunta que se te ocurra, y siempre te dar\u00e1 una respuesta, aunque de vez en cuando ofrecer\u00e1 frases que tienen poco sentido.<\/p>\n\n\n\n

Dado que los datos son uno de los ingredientes clave para cualquier aplicaci\u00f3n impulsada por IA, una de las principales preocupaciones en torno a GPT-3 es la posibilidad de que replique los sesgos humanos presentes en los datos de entrenamiento.<\/p>\n\n\n\n

GPT-3 aprendi\u00f3 su lenguaje de Internet; fue entrenado esencialmente con datos extra\u00eddos de la web. Por lo tanto, puede difundir lenguaje abusivo y discurso de odio hacia individuos o grupos espec\u00edficos de personas.<\/p>\n\n\n\n

GPT-3 exhibe una amplia variedad de sesgos raciales, religiosos y de g\u00e9nero, entre otros. La investigaci\u00f3n sobre sesgos religiosos, por ejemplo, demostr\u00f3 que GPT-3 asocia fuertemente la palabra “musulm\u00e1n” con el terrorismo y la violencia, y aunque un dise\u00f1o cuidadoso de las entradas reduce este comportamiento, sigue siendo m\u00e1s com\u00fan que para otros grupos religiosos (Abid et al.). Tambi\u00e9n existe la posibilidad de que algunos sesgos a\u00fan no est\u00e9n identificados. La propia definici\u00f3n de toxicidad no es consensuada y sigue cambiando.<\/p>\n\n\n\n

\"\"
El Playground de OpenAI que muestra una finalizaci\u00f3n de GPT-3 para una entrada que contiene la palabra \u2018musulmanes’<\/figcaption><\/figure>\n\n\n\n

Estos problemas han provocado debates sobre las vulnerabilidades y los posibles usos indebidos de los modelos de lenguaje grandes. Despu\u00e9s de que Jerome Pesenti, el jefe de IA de Facebook, se\u00f1alara el sesgo en el contenido creado por GPT-3, OpenAI ofreci\u00f3 r\u00e1pidamente una soluci\u00f3n: una API de filtro de contenido que clasifica el texto como seguro, sensible o inseguro (Epstein), pero se proporcionan pocos detalles sobre c\u00f3mo funciona este filtro. \u00bfDeber\u00eda ser responsabilidad de grandes empresas tecnol\u00f3gicas como OpenAI tomar tales decisiones en nombre de la sociedad?<\/p>\n\n\n\n

M\u00e1s recientemente (10 de junio de 2021), OpenAI public\u00f3 un estudio en el que afirman haber mitigado el sesgo en GPT-3 (Solaiman y Dennison). Para hacerlo, crearon un conjunto de datos dirigido a valores llamado Proceso para Adaptar Modelos de Lenguaje a la Sociedad (PALMS) que consiste en pares de preguntas y respuestas cuidadosamente seleccionados que abordan temas sensibles.<\/p>\n\n\n\n

Evaluaron tres versiones de GPT-3: una base, un control (ajustado a un conjunto de datos neutral) y un GPT-3 dirigido a valores (ajustado a PALMS). Los resultados demostraron que GPT-3 ajustado a PALMS obtuvo consistentemente puntuaciones m\u00e1s bajas en toxicidad. Sin embargo, al representar un conjunto limitado de temas sensibles, el conjunto de datos PALMS solo ayuda hasta cierto punto. Adem\u00e1s, OpenAI refuerza que no est\u00e1 claro qu\u00e9 autoridad deber\u00eda regir el comportamiento del modelo, ya que el comportamiento \u201cseguro\u201d tambi\u00e9n es un concepto subjetivo.<\/p>\n\n\n\n

En Automaise, tomamos algunas medidas para evitar resultados potencialmente da\u00f1inos. Vale la pena recordar que GPT-3 y su predecesor GPT-2 fueron entrenados con datos sin filtrar extra\u00eddos de la web, y la naturaleza de este contenido puede ser ofensiva. Por lo tanto, es razonable que el primer paso deba incluir el ajuste fino de nuestros modelos generativos en conjuntos de datos m\u00e1s peque\u00f1os que contengan interacciones entre clientes y operadores, lo que ayuda al modelo a adaptarse al comportamiento deseado sin perder sus capacidades. Adem\u00e1s, contamos con un sistema de humanos en el proceso, lo que significa que el modelo sugiere un conjunto de respuestas, entre las cuales un operador elige la m\u00e1s adecuada antes de que llegue al usuario final. Aunque estas medidas nos permiten tener un mayor control sobre la salida, todav\u00eda queda mucho por hacer.<\/p>\n\n\n\n

A pesar de las indudables dificultades para detectar, aislar y mitigar sesgos, no puede ser tan f\u00e1cil para un modelo lanzar insultos sexistas y raciales cuando se le presentan entradas aparentemente neutrales.<\/p>\n\n\n\n

Aunque la posici\u00f3n de OpenAI fue clara desde el principio: seguir aumentando su comprensi\u00f3n de los posibles da\u00f1os de la tecnolog\u00eda en una variedad de casos de uso, liber\u00e1ndola a trav\u00e9s de una API que facilita el control de posibles usos indebidos, debe haber m\u00e1s progreso hacia una IA segura y responsable antes de desplegar tales modelos. Si bien no existe una soluci\u00f3n \u00fanica para todos, surge la pregunta de si deber\u00edamos dar un paso atr\u00e1s e invertir m\u00e1s tiempo y recursos en la curadur\u00eda y documentaci\u00f3n de datos.<\/p>\n\n\n\n

<\/p>\n\n\n\n

Bibliograf\u00eda<\/strong><\/em><\/p>\n\n\n\n

Abid, Abubakar, et al. \u201cPersistent Anti-Muslim Bias in Large Language Models.\u201d 2021, <\/em>https:\/\/arxiv.org\/pdf\/2101.05783.pdf.<\/em><\/a><\/p>\n\n\n\n

Epstein, Sophia. \u201cHow do you control an AI as powerful as OpenAI\u2019s GPT-3?\u201d WIRED UK, 2021, <\/em>https:\/\/www.wired.co.uk\/article\/gpt-3-openai-examples.<\/em><\/a> Accessed 09 06 2021.<\/em><\/p>\n\n\n\n

Solaiman, Irene, and Christy Dennison. Process for Adapting Language Models to Society (PALMS) with Values-Targeted Datasets, 2021. <\/em><\/p>\n","protected":false},"excerpt":{"rendered":"

Hoy en d\u00eda, la IA est\u00e1 en todas partes. Puede que no se parezca a las versiones de ciencia ficci\u00f3n que nos presenta la cultura popular, pero su potencial crece cada a\u00f1o, y va a impactar a cada industria y a cada negocio, desde el…<\/p>\n","protected":false},"author":4,"featured_media":7813,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[100],"tags":[],"class_list":["post-13328","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-paper-spotlight-es"],"_links":{"self":[{"href":"https:\/\/www.automaise.com\/es\/wp-json\/wp\/v2\/posts\/13328","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.automaise.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.automaise.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.automaise.com\/es\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/www.automaise.com\/es\/wp-json\/wp\/v2\/comments?post=13328"}],"version-history":[{"count":6,"href":"https:\/\/www.automaise.com\/es\/wp-json\/wp\/v2\/posts\/13328\/revisions"}],"predecessor-version":[{"id":13340,"href":"https:\/\/www.automaise.com\/es\/wp-json\/wp\/v2\/posts\/13328\/revisions\/13340"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.automaise.com\/es\/wp-json\/wp\/v2\/media\/7813"}],"wp:attachment":[{"href":"https:\/\/www.automaise.com\/es\/wp-json\/wp\/v2\/media?parent=13328"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.automaise.com\/es\/wp-json\/wp\/v2\/categories?post=13328"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.automaise.com\/es\/wp-json\/wp\/v2\/tags?post=13328"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}