Caso práctico: ¿La tecnología de reconocimiento facial mejora la seguridad?

' ••• El guardia de seguridad no pudo oír a Beth Williams por el sonido de la alarma. Las luces estroboscópicas LED bailaban hacia arriba y hacia abajo en las paredes de color azul claro y rosa pastel de la guardería Cub House. El guardia tomó medidas para impedir que María Sánchez caminara hacia el aula para recoger a su hija. Extendió su brazo hacia su pecho. María parecía asustada y Beth, la fundadora y directora de Cub House, estaba horrorizada. Corrió hacia el guardia y siseó: «¡Está bien!» directamente en su oído. Luego sacó su teléfono y escribió unos números, y la alarma y las luces se detuvieron. Un piano volvió a tocar «En algún lugar sobre el arcoíris» en un aula al final del pasillo. «Lo siento mucho», dijo Beth, poniendo una mano sobre el hombro de María.¹ «Estamos probando nuestro sistema de seguridad de reconocimiento facial. La estupidez sigue sonando sin motivo». ## Un sistema defectuoso A última hora de la tarde, cuando todos los niños y sus cuidadores abandonaron el edificio, Beth pidió a Charles Rivers, su director de tecnología, y a Anthony Michaels, su jefe de seguridad, que se unieran a ella en la sala de profesores. Ambos trabajaban en la organización sin fines de lucro Cub House desde 2010, cuando Beth la fundó en Dayton, Ohio, su ciudad natal. El centro más grande de su tipo en el estado, tenía numerosos espacios recreativos y educativos para niños de hasta cinco años, y los cuidadores podían usarlos con flexibilidad. Algunos niños asistían a diario; otros venían una vez al mes. Pero se esperaba que todos los niños y los adultos que los dejaran y recogieran estuvieran empadronados, y los adultos tenían que poner sus nombres con fotografía y números de matrícula. Tres meses antes, cuando la recepcionista y el guardia de seguridad estaban fuera del mostrador de bienvenida, una anciana con una enfermedad mental entró en el centro, asustando a varios niños pequeños y causando alboroto entre sus padres. Charles y Anthony le sugirieron a Beth que implementara un sistema de seguridad basado en el reconocimiento facial. Utilizaría cámaras para fotografiar el rostro de cada visitante y software para analizar la geometría del rostro, tras lo cual cada foto recibiría un código único etiquetado con un nombre y permisos de acceso. Si alguien no reconocido por el sistema o con el rostro oculto entrara en el edificio, o un visitante registrado fuera a un lugar no autorizado, como el baño de un niño o una oficina administrativa, sonaría una alarma. Anthony había dicho que, gracias a la condición de organización sin fines de lucro de Cub House, el vendedor estaba dispuesto a eximirse de los costes iniciales para que el sistema funcionara correctamente y el proyecto solo llevaría unas semanas. Charles estaba de acuerdo: «Todo será gestionable desde el punto de vista financiero y sólido desde el punto de vista tecnológico, y ayudará a todos a dormir mejor por la noche». Beth se mostró escéptica. ¿De verdad iban a delegar la importante tarea de garantizar la seguridad de los niños y los visitantes en un sistema automatizado? El reconocimiento facial le pareció espeluznante, no es el tipo de cosas que se pueden tener en un espacio infantil. Aun así, sus colegas insistieron, así que ella accedió a probar el sistema y, en pruebas informales con su personal durante una pausa de desarrollo de tres días, cuando el centro estaba cerrado a las visitas, la tecnología funcionó a la perfección. Cuando envió a una asistente de profesor que aún no tenía acceso total a un área restringida, sonó la alarma. Cuando pasó corriendo por la recepción con la cara entre las manos, sonó la alarma. La aplicación de seguridad de su teléfono capturó una imagen del intruso y Beth pudo introducir un código para detener la alarma. Hizo docenas de pruebas informales como esas y el sistema respondió a la perfección. Las preocupaciones de Beth desaparecieron. Pero la mañana en que el sistema se puso en marcha, fue un desastre inmediato. La alarma sonó en cinco ocasiones, ninguna de las cuales fue por una brecha de seguridad. Cada vez, asustaba al personal, a los niños y a los cuidadores del centro. El quinto incidente fue el que involucró a María Sánchez. «Estoy preocupada», dijo Beth a Charles y Anthony esa tarde. «Ya hemos recibido quejas. Simplemente parece un enorme riesgo para las relaciones con la comunidad y la satisfacción de los visitantes». «Son los típicos problemas del primer día», respondió Charles. «Sabemos que el sistema funciona. El vendedor me asegura que varios hospitales y escuelas ya lo han probado.² Simplemente podemos explicarles a los padres que todo esto se hace para proteger a sus hijos. Y si la gente ve que priorizamos la seguridad, es más probable que vengan aquí. Si podemos evitar un solo incidente en el que alguien pueda resultar herido, este proyecto habrá merecido la pena». «Pero creo que tenemos un problema», intervino Anthony. «¿Observó alguna similitud entre las personas que activaron la alarma?» Beth y Charles se miraron y se encogieron de hombros. «Las cinco eran mujeres de piel oscura»,³ Dijo Anthony. «Los sistemas de reconocimiento facial, como cualquier otra tecnología automatizada, dependen de los datos utilizados para crearlos: si los rostros utilizados fueran principalmente blancos y masculinos (lo que describe a la mayoría de los que programan estas cosas), el sistema cometerá más errores al evaluar los rostros negros, morenos o femeninos. Podemos abordar este problema en parte de forma técnica, ¿verdad, Charles?» Charles asintió con la cabeza. «Pero, ¿puede garantizar que podremos resolverlo por completo?» Beth volvió a horrorizarse. Si las falsas alarmas afectaran de manera desproporcionada a las mujeres y a las personas de color —lo que describía a la gran mayoría de las personas que acudían al centro cada día—, no solo se trataría de una perturbación enorme y frecuente y un posible riesgo para la reputación y la responsabilidad legal, sino que iría en contra de todo lo que ella intentó enseñar a los niños sobre la equidad y la empatía. Dicho esto, dado el número de tiroteos en las escuelas⁴ en los Estados Unidos, las altas tasas de criminalidad en Dayton y el susto con la mujer con una enfermedad mental, mantener Cub House a salvo era sin duda su prioridad número uno y la de sus clientes. «Apaguemos el sistema por ahora», dijo Beth. «Les daré a usted y al vendedor unas semanas para que trabajen en la corrección de las falsas alarmas». ## Las implicaciones legales Beth se reunió con Tanya Marshall para almorzar al día siguiente en un bistró del centro de Dayton. Las dos mujeres eran amigas desde que estudiaban en Ohio State. Tanya fue ahora la primera socia negra del mayor bufete de abogados de la ciudad. Había animado a Beth a construir el Cub House cuando era solo una serie de diapositivas de PowerPoint. Sus dos hijos asistían con regularidad cuando eran pequeños y fue una de las miembros más activas de la junta directiva de Cub House y una de las donantes más habituales. «Quería hablar con usted», dijo Tanya después del pedido. «María Sánchez publicó en la página de Facebook de los padres de Cub House que a ella y a otras dos mujeres latinas las detuvieron las alarmas cuando entraron en el centro». «Eran las cinco», dijo Beth. _«¿Cinco?»_ «Sí, sonó la alarma para cinco mujeres de color diferentes». Beth habló a Tanya sobre la mujer con una enfermedad mental, el software de reconocimiento facial y los defectos del software. «El sistema se mejora en estos momentos», dijo. «Más vale que no lo devuelva», dijo Tanya. «Al menos no todavía. Podría abrir el centro a una demanda si Ohio aprueba nuevas leyes de privacidad». Citó demandas y acuerdos recientes en Illinois relacionados con Facebook, Google y Clearview AI. «La mayoría de la gente se siente incómoda⁵ cuando las empresas utilizan este tipo de tecnología», dijo Tanya. «No estoy seguro de que fuera diferente para el Cub House». «¿Incluso si eso nos hace más seguros?» Preguntó Beth. «¿Y si eliminamos el sistema y hay otra infracción que podríamos haber evitado? ¡Dios no quiera que alguien entre en las instalaciones con un arma! ¿Cómo explicaría eso a los padres? ¿Que teníamos la tecnología para proteger mejor a los niños, pero no la utilizamos? ¿No nos abriría eso también a una demanda?»⁶ Tanya guardó silencio durante un momento. «Mire, no digo que no pueda utilizar el software de reconocimiento facial», dijo. «Pero tiene que pensarlo detenidamente, legal y éticamente, y tiene que asegurarse de que está cubierto desde todos los ángulos. Si los guardias de seguridad comienzan a acosar a las mujeres de color, puede decir adiós al Cub House». ## ¿Listo para ir? Durante el mes siguiente, Charles trabajó con el proveedor para mejorar la precisión del sistema de seguridad. Instalaron tres cámaras de alta resolución en el mostrador de recepción, que utilizaban para tomar fotos desde diferentes ángulos de todas las personas que entraban y salían del edificio. Un letrero en la recepción decía: «Le están tomando una foto por motivos de seguridad». El software de reconocimiento facial etiquetó cada foto con el nombre del visitante y los permisos de acceso. Cuantas más fotos se adjunten a cada archivo, más preciso será el sistema a la hora de reconocer el rostro. Para combatir directamente los problemas de los rostros femeninos y de piel oscura, Beth había autorizado la instalación de luces de alta potencia en la recepción para que las cámaras pudieran captar mejor las distinciones. Para medir qué tan bien funcionaría el sistema en tiempo real, Charles lo usó durante el recital de verano, cuando la mayoría de los niños y sus cuidadores estaban en el Cub House escuchando a niños de cinco años cantando canciones de El mago de Oz. Desactivó la alarma, pero mantuvo las notificaciones activas para recibir una alerta cada vez que se registraba una infracción. Recibió dos esa noche. La primera se activó cuando un padre no registrado entró en el centro sin parar en la recepción. La segunda la provocó un padre registrado que llevó a su hijo pequeño a un baño infantil para cambiarle los pañales. A la mañana siguiente, Charles trajo rosquillas y él, Beth y Anthony discutieron los resultados en una mesa de pícnic en el patio trasero de Cub House. Charles dijo que confiaba en que el sistema había mejorado y que las falsas alarmas, aunque inevitables, serían menos frecuentes. Le recomendó bajar un poco el volumen para que las alertas no fueran tan desgarradoras. También había redactado una carta a la comunidad explicando el sistema y las posibles causas de las falsas alarmas y pidiendo a los padres que lo perdonaran de antemano por cualquier inconveniente. Anthony estaba satisfecho con el plan. En el peor de los casos, el sistema sería una molestia. En el mejor de los casos, protegería a los niños y ayudaría un poco a su personal de seguridad. A Beth le seguía preocupando que un mes de retoques y una noche de pruebas no fueran suficientes para garantizar la precisión del sistema. Una alarma más silenciosa era mejor, claro, pero ¿de qué serviría si no todo el mundo pudiera oírla? ¿Realmente esta tecnología haría que Cub House fuera más seguro? ¿O abriría el negocio de Beth a más problemas? ## Los expertos responden: ¿Debería Beth implementar un software de reconocimiento facial en el Cub House?  ### José Steinberg, exdirector ejecutivo de SecureMySocial y Green Armor Solutions, es autor de _Ciberseguridad para tontos._ Le haría tres preguntas a Beth: ¿La tecnología resuelve el problema que usted intenta resolver? Si es así, ¿es la mejor manera de resolver su problema? ¿Y resuelve el problema sin crear nuevos problemas? La respuesta a las tres preguntas es _no._ Beth no necesita ni debe utilizar la tecnología de reconocimiento facial como mecanismo principal para proteger el Cub House contra la entrada de personas no autorizadas. Hay mejores formas de lograr sus objetivos, y esas formas ofrecerán una mayor seguridad que la tecnología de reconocimiento facial y, al mismo tiempo, crearán menos efectos secundarios no deseados. Beth podría, por ejemplo, emitir tarjetas de identificación escaneables a los participantes autorizados. Un guardia podría escanear el carné de identidad de cualquiera que intente entrar en el Cub House y comparar la apariencia de los posibles participantes con las fotos que aparecen en la pantalla de un ordenador. (El guardia sin duda se familiarizará con la gente que llega todos los días.) Beth podría cerrar desde fuera y alarmar todas las puertas de Cub House excepto la entrada principal y dar a la cámara del guardia vistas de todas las puertas. Incluso podría instalar dos juegos de puertas en forma de trampa para hombres en la entrada. Un enfoque clásico puede ser menos elegante que el reconocimiento facial, pero también debería ser más eficaz. Según su configuración, es probable que la tecnología de reconocimiento facial cree más falsas alarmas o permita que más personas no autorizadas entren en el Cub House que un guardia de seguridad. Además, a diferencia de un guardia, un sistema de este tipo no puede impedir que un posible tirador u otra persona no autorizada entre por la fuerza. La conclusión es que es probable que Cub House sea menos seguro con el sistema de reconocimiento facial de Beth instalado que si Beth utilizara un enfoque alternativo y probado en el tiempo.  ### Cedric L. Alexander es el autor de _En defensa del servicio público_ y _Los nuevos guardianes._ El reconocimiento facial es una tecnología útil. La usamos todos los días para abrir nuestros teléfonos, cuando viajamos, por motivos de seguridad. Pero no puede probar ni promocionar un producto relacionado con el reconocimiento facial utilizando solo personas blancas como tema, ni puede probarlo en una noche durante un concierto, que es lo que hizo el equipo de Beth. Antes de llevar el sistema a Cub House, donde es responsable de la seguridad de los niños, Beth debería haber hablado con otros vendedores y otras personas que tengan experiencia con los sistemas de reconocimiento facial. Es necesario que haya datos fiables que respalden la capacidad del sistema de responder con precisión. No cabe duda de que ayuda que Cub House añada iluminación y un sistema de cámaras mejor, pero la empresa en la que Beth compra la tecnología realmente necesita mostrarle más datos para demostrar que el sistema es preciso. Debería preguntar directamente al vendedor: «¿Se está probando este producto en una amplia población de personas?» Luego, debe trabajar con el proveedor para ofrecer a su personal una formación experta y debe exigir al personal que utilice el sistema que cumpla con los requisitos de certificación. Habría hablado con los padres desde el principio, no solo en una carta de Charles. Beth podría haber hablado con ellos uno a uno o en grupos. Ella podría habérselo explicado todo: «Esta es la tecnología que vamos a utilizar para mantener a sus hijos a salvo. Este es el proveedor que estamos pensando en utilizar. Así es como la tecnología reducirá la probabilidad de que alguien entre aquí y haga daño a sus hijos». Cuando le dice a la gente que está pensando en utilizar una nueva tecnología, tienen la oportunidad de aceptarla o de expresar sus preocupaciones. La gente suele estar dispuesta a participar en algo nuevo e innovador, especialmente si se presenta como justo y productivo. Pero si Beth no habla con los padres y algo sale mal, se enfrentará a más reacciones violentas, aunque Charles ya haya enviado una carta. En los próximos 10 o 15 años, los sistemas de reconocimiento facial pasarán a ser una parte normal de la forma en que nos protejamos. Pero deben perfeccionarse y debemos hacer un mejor trabajo enseñando al público el valor de la tecnología. _Los estudios de casos ficticios de HBR presentan los problemas a los que se enfrentan los líderes de las empresas reales y ofrecen soluciones de la mano de los expertos. Este está basado en el estudio de caso de la Universidad de Virginia «Vigilancia ubicua» (número de producto. UVA-OB-1403), de David Danks y Maralee Harrell, disponible en[UVA Darden Business Publishing](http://store.darden.virginia.edu/giving-voice-to-values)._