Incorporar la transparencia en los proyectos de IA

Incorporar la transparencia en los proyectos de IA

por Reid Blackman y Beena Ammanath

Resumen Eso significa comunicar por qué se eligió una solución de IA, cómo se diseñó y desarrolló, con qué bases se implementó, cómo se supervisa y actualiza y las condiciones en las que puede retirarse. Crear transparencia tiene cuatro efectos específicos:

  1. reduce el riesgo de error y uso indebido,
  2. distribuye la responsabilidad,
  3. permite la supervisión interna y externa y
  4. expresa respeto por las personas.

Sin embargo, la transparencia no es una propuesta de todo o nada. Las empresas deben encontrar el equilibrio adecuado en cuanto a la transparencia para ser con qué partes interesadas.

• • •

En 2018, una de las mayores empresas de tecnología del mundo estrenó una IA que llamaba restaurantes y se hacía pasar por un humano para hacer reservas. Para «demostrar» que era humano, la empresa entrenó a la IA para que insertara «umms» y «ahhs» en su solicitud: por ejemplo, «¿Cuándo me gustaría la reserva? Ummm, a las 20:00, por favor». La reacción violenta fue inmediata: periodistas y ciudadanos objetaron que la gente estaba siendo engañada haciéndole creer que estaba interactuando con otra persona, no con un robot. La gente se sintió mentido. La historia es a la vez un cuento con moraleja y un recordatorio: a medida que los algoritmos y la IA se integran cada vez más en la vida de las personas, también hay una creciente demanda de transparencia en torno a cuándo se usa una IA y para qué se utiliza. Es fácil entender de dónde viene esto. La transparencia es un elemento esencial para ganarse la confianza de los consumidores y clientes de cualquier dominio. Y en lo que respecta a la IA, la transparencia no solo consiste en informar a las personas cuando interactúan con una IA, sino también en comunicarse con las partes interesadas relevantes sobre por qué se eligió una solución de IA, cómo se diseñó y desarrolló, con qué bases se implementó, cómo se supervisa y actualiza, y condiciones en las que puede retirarse. Desde este punto de vista, y contrariamente a las suposiciones sobre transparencia de muchas organizaciones, la transparencia no es algo que ocurre al final de la implementación de un modelo cuando alguien pregunta por él. La transparencia es una cadena que va desde los diseñadores hasta los desarrolladores y los ejecutivos que aprueban el despliegue hasta las personas a las que afecta y todos los demás. La transparencia es la transferencia sistemática de conocimientos de una stakeholder a otra: los recopiladores de datos son transparentes con los científicos de datos sobre qué datos se recopilan y cómo se recopilan y, a su vez, los científicos de datos son transparentes con los ejecutivos sobre por qué se eligió un modelo sobre otro y las medidas que se tomaron para mitigar los prejuicios, por ejemplo. A medida que las empresas integran y despliegan cada vez más IA, deberían considerar cómo ser transparentes y qué procesos adicionales podrían necesitar introducir. Aquí es por donde pueden empezar las empresas.

Los impactos de ser transparente

Si bien el objetivo general de ser transparente es generar confianza, tiene al menos cuatro tipos de efectos específicos:

Reduce el riesgo de error y uso indebido.

  Los modelos de IA son sistemas muy complejos: una variedad de partes interesadas los diseñan, desarrollan e implementan en entornos complejos. Esto significa que hay mucho margen de error y uso indebido. La mala comunicación entre los ejecutivos y el equipo de diseño puede hacer que una IA se optimice para la variable incorrecta. Si el equipo de producto no explica cómo gestionar correctamente los resultados del modelo, introducir la IA puede resultar contraproducente en situaciones de alto riesgo. Consideremos el caso de una IA diseñado para leer rayos X en busca de tumores cancerosos. Las radiografías que la IA etiquetó como «positivas» de tumores fueron revisadas luego por los médicos. La IA se introdujo porque, se pensó, el médico puede ver 40 radiografías con bandera de IA con mayor eficiencia que 100 radiografías sin bandera de IA. Desafortunadamente, se produjo un corte de comunicación. Al diseñar el modelo, los científicos de datos pensaron razonablemente que marcar erróneamente una radiografía como negativa cuando, de hecho, la radiografía muestra un tumor canceroso puede tener consecuencias muy peligrosas, por lo que establecen una tolerancia baja para los falsos negativos y, por lo tanto, una tolerancia alta para los falsos positivos. Sin embargo, esta información no se comunicó a los radiólogos que utilizaron la IA. El resultado fue que los radiólogos dedicaron más tiempo a analizar 40 rayos X con bandera de IA que 100 radiografías sin marcador. Pensaron: la IA debe haber visto algo que me falta, así que seguiré buscando. Si hubieran sido debidamente informados (si la decisión de diseño se hubiera tomado de forma transparente para el usuario final), los radiólogos podrían haber pensado: La verdad es que no veo nada aquí y sé que la IA es demasiado sensible, así que voy a seguir adelante.

Distribuye la responsabilidad.

  Los ejecutivos deben decidir si un modelo es lo suficientemente confiable como para implementarlo. Los usuarios tienen que decidir cómo utilizar el producto en el que está incrustado el modelo. Los reguladores deben decidir si se debe imponer una multa por diseño o uso negligentes. Los consumidores deben decidir si quieren interactuar con la IA. Ninguna de estas decisiones puede tomarse si la gente no está debidamente informada, lo que significa que si algo sale mal, la culpa recae en quienes ocultaron información importante o socavaron el intercambio de información por parte de otros. Por ejemplo, un ejecutivo que apruebe el uso de la IA primero necesita saber, en términos generales, cómo se diseñó el modelo. Eso incluye, por ejemplo, cómo se obtuvieron los datos de entrenamiento, qué función objetivo se eligió y por qué se eligió, y cómo se comporta el modelo con respecto a los puntos de referencia relevantes. Los ejecutivos y usuarios finales a los que no se les dan los conocimientos que necesitan para tomar decisiones informadas, incluidos conocimientos sin los que ni siquiera saben que hay preguntas importantes que no están haciendo, no pueden ser razonablemente responsables. No comunicar esa información es, en algunos casos, un incumplimiento del deber. En otros casos, especialmente para el personal más subalterno, la culpa no es de la persona que no se comunicó, sino de la persona o personas, especialmente los líderes, que no crearon las condiciones para que fuera posible una comunicación clara. Por ejemplo, un jefe de producto que quiera controlar todas las comunicaciones de su grupo con cualquier persona ajena al grupo puede restringir involuntariamente las comunicaciones importantes porque sirven como un cuello de botella en la comunicación. Al ser transparente de principio a fin, se puede distribuir una auténtica responsabilidad entre todos, ya que se les da el conocimiento que necesitan para tomar decisiones responsables.

Permite la supervisión interna y externa.

  Los modelos de IA los crean un puñado de científicos e ingenieros de datos, pero el impacto de sus creaciones puede ser enorme, tanto en términos de cómo afectan a los resultados finales como a la sociedad en su conjunto. Como en cualquier otra situación de alto riesgo, se necesita supervisión tanto para detectar los errores cometidos por los tecnólogos como para detectar posibles problemas para los que los tecnólogos pueden no tener formación, ya sean riesgos éticos, legales o de reputación. Hay muchas decisiones en el proceso de diseño y desarrollo que simplemente no deben dejarse (únicamente) en manos de los científicos de datos. Sin embargo, la supervisión es imposible si los creadores de los modelos no comunican claramente a las partes interesadas internas y externas qué decisiones se tomaron y la base sobre la que se tomaron. Uno de los bancos más grandes del mundo, por ejemplo, fue investigado recientemente por los reguladores en busca de un algoritmo supuestamente discriminatorio, que exige que los reguladores tengan información sobre cómo se diseñó, desarrolló e implementó el modelo. Del mismo modo, los gestores de riesgos internos o los consejos de administración no pueden cumplir su función si tanto el producto como el proceso que dio lugar al producto son opacos para ellos, lo que aumenta el riesgo para la empresa y para todos los afectados por la IA.

Expresa respeto por la gente.

  Los clientes que utilizaron la IA para tomar reservas sintieron que los habían engañado. En otros casos, la IA se puede utilizar para manipular o empujar a la gente. Por ejemplo, la IA desempeña un papel crucial en la difusión de la desinformación, los empujones y las burbujas de filtro. Pensemos, por ejemplo, en un asesor financiero que oculta la existencia de algunas oportunidades de inversión y hace hincapié en las posibles ventajas de otras porque recibe una comisión mayor cuando vende estas últimas. Eso es malo para los clientes en al menos dos sentidos: primero, puede ser una mala inversión y, segundo, es manipulador y no asegura informado consentimiento del cliente. Dicho de otro modo, este asesor no respeta lo suficiente el derecho de sus clientes a determinar por sí mismos qué inversión es la adecuada para ellos. El punto más general es que la IA puede socavar la autonomía de las personas, su capacidad para ver las opciones disponibles y elegir entre ellas sin influencia o manipulación indebidas. En la medida en que las opciones se eliminen silenciosamente del menú y se promuevan otras opciones repetidamente, es, aproximadamente, la medida en que se empuja a la gente a cajas en lugar de tener la capacidad de elegir libremente. El corolario es que la transparencia sobre si se utiliza una IA, para qué se utiliza y cómo funciona expresa respeto por las personas y su capacidad de toma de decisiones.

Cómo es la buena comunicación

La transparencia no es una propuesta de todo o nada. Las empresas deberían encontrar el equilibrio adecuado en cuanto a la transparencia para ser con qué partes interesadas. Por ejemplo, ninguna organización quiere ser transparente de una manera que comprometa su propiedad intelectual, por lo que a algunas personas se les debería decir muy poco. En relación con esto, puede tener sentido ser muy transparente en algunas circunstancias debido al grave riesgo; las aplicaciones de IA de alto riesgo pueden requerir ir más allá de los niveles estándar de transparencia, por ejemplo. Identificar a todas las partes interesadas potenciales, tanto internas como externas, es un buen punto de partida. Pregúnteles qué necesitan saber para hacer su trabajo. Un modelo de gestor de riesgos en un banco, por ejemplo, puede necesitar información relacionada con el umbral del modelo, mientras que el director de Recursos Humanos puede necesitar saber cómo se ponderan las variables de entrada para determinar una puntuación «digna de entrevista». Puede que otra stakeholder no necesite, estrictamente hablando, la información para hacer su trabajo, pero se lo pondría más fácil. Esa es una buena razón para compartir la información. Sin embargo, si compartir esa información también crea un riesgo innecesario de comprometer la propiedad intelectual, puede que sea mejor retener la información. Sabiendo por qué alguien necesita una explicación también puede revelar la prioridad de la transparencia para cada stakeholder. Por ejemplo, estaría bien tener cierta información pero no, estrictamente hablando, necesaria, y puede haber varias razones para proporcionar o retener esa información adicional. En última instancia, este tipo de decisiones deberán sistematizarse en la política y el procedimiento. Una vez que sepa quién necesita qué y por qué, está la cuestión de dar los tipos correctos de explicaciones. Un director de informática puede entender las explicaciones técnicas que, digamos, el director ejecutivo podría no, y mucho menos un regulador o el consumidor medio. Las comunicaciones deben adaptarse a su público, y estos públicos son diversos en cuanto a sus conocimientos técnicos, nivel educativo e incluso en los idiomas que hablan y leen. Por lo tanto, es crucial que los equipos de productos de IA trabajen con las partes interesadas para determinar el método de comunicación más claro, eficiente y sencillo, hasta los detalles de si la comunicación por correo electrónico, Slack, incorporación en persona o paloma mensajera es la más eficaz.

• • •

En nuestro debate ha estado implícita una distinción entre transparencia y explicabilidad. La IA explicable tiene que ver con la forma en que el modelo de IA transforma las entradas en salidas; ¿cuáles son las reglas? ¿Por qué esta entrada en particular condujo a esta salida en particular? La transparencia tiene que ver con todo lo que ocurre antes y durante la producción y el despliegue del modelo, tenga o no resultados explicables. La IA explicable es o puede ser importante por varias razones que son distintas de las que hemos cubierto aquí. Dicho esto, gran parte de lo que hemos dicho también se aplica a la IA explicable. Después de todo, en algunos casos será importante comunicar a las distintas partes interesadas no solo lo que la gente ha hecho con el modelo de IA y con él, sino también cómo funciona el propio modelo de IA. En última instancia, tanto la explicabilidad como la transparencia son esenciales para generar confianza.