El trágico accidente del vuelo AF447 demuestra las improbables pero catastróficas consecuencias de la automatización
por Nick Oliver, Thomas Calvard, Kristina Potočnik

El trágico accidente del Air France 447 (AF447) en 2009 conmocionó a todo el mundo. La pérdida era difícil de entender dado el notable historial de seguridad de la aviación comercial. ¿Cómo podría una tripulación bien entrenada que volaba un avión moderno perder tan abruptamente el control de su aeronave durante un vuelo de rutina?
El AF447 precipitó la creciente preocupación de la industria de la aviación por este tipo de incidentes de «pérdida de control» y por si están relacionados con una mayor automatización de la cabina. A medida que la tecnología se hace más sofisticada, ha asumido más y más funciones que antes desempeñaban los pilotos, lo que ha supuesto enormes mejoras en la seguridad de la aviación. En 2016, la tasa de accidentes de los principales aviones fue de un accidente grave por cada 2,56 millones de vuelos. Pero si bien la seguridad aérea en general mejora, los incidentes de pérdida de control no. De hecho, son la causa más frecuente de muertes en la aviación comercial en la actualidad, ya que El 43% de las muertes en 37 incidentes distintos entre 2010 y 2014.
La pérdida de control normalmente se produce cuando los pilotos no reconocen ni corrigen una situación potencialmente peligrosa, lo que provoca que la aeronave entre en un estado inestable. Estos incidentes suelen desencadenarse por acontecimientos inesperados e inusuales (que a menudo se componen de varias condiciones que rara vez se producen juntas) que quedan fuera del repertorio normal de la experiencia de los pilotos. Por ejemplo, puede ser una combinación de condiciones meteorológicas inusuales, lecturas o comportamientos ambiguos por parte de la tecnología e inexperiencia del piloto, una o dos de las cuales podrían estar bien, pero en conjunto pueden abrumar a la tripulación. Los científicos de seguridad lo describen como» Queso suizo» modelo de fracaso, cuando los vacíos en las defensas de la organización se alinean de formas que no se habían previsto. Estos incidentes requieren una interpretación y una respuesta rápidas, y es aquí donde las cosas pueden ir mal.
Nuestra investigación, publicada recientemente en Ciencia de la organización, examina cómo la automatización puede limitar la capacidad de los pilotos para responder a este tipo de incidentes, ya que depender más de la tecnología puede erosionar las habilidades cognitivas básicas. Revisando análisis de expertos del desastre y al analizar los datos de las grabadoras de datos de cabina y vuelo del AF447, descubrimos que el AF447, y la aviación comercial en general, revelan cómo la automatización puede tener consecuencias catastróficas e imprevistas que, si bien son poco probables, pueden producirse en condiciones extremas.
Automatización en la cabina de vuelo
Los aviones comerciales vuelan en piloto automático la mayor parte del tiempo. Para la mayoría de los pilotos, la automatización normalmente garantiza que las operaciones se mantengan dentro de límites seguros y predecibles. Los pilotos dedican gran parte de su tiempo a gestionar y monitorear sus aviones, en lugar de a volar activamente.
La automatización de cabina, a veces llamada «cabina de cristal», comprende un conjunto de tecnologías que realizan múltiples funciones. Recopilan información, la procesan, la integran y la presentan a los pilotos, a menudo de forma simplificada, estilizada e intuitiva. Mediante el «vuelo por cable», en el que las acciones del piloto sirven como entradas a un sistema de control de vuelo que, a su vez, determina los movimientos de las superficies de control de la aeronave, la tecnología media en la relación entre la acción del piloto y la respuesta de la aeronave. Esto reduce el riesgo de errores humanos debido a la sobrecarga, la fatiga y la falibilidad, y evita las maniobras que podrían sobrecargar el fuselaje y poner en peligro la aeronave.
La automatización proporciona una enorme capacidad de procesamiento de datos y una respuesta uniforme. Sin embargo, también puede interferir con el ciclo básico de los pilotos de planificar, hacer, comprobar y actuar, que es fundamental para controlar y aprender. Si esto se traduce en una supervisión menos activa y una participación práctica, el conocimiento situacional de los pilotos y su capacidad de improvisar ante acontecimientos inesperados y desconocidos podrían disminuir. Esta erosión puede permanecer oculta hasta que se requiera la intervención humana, por ejemplo, cuando la tecnología funciona mal o se encuentra con condiciones que no reconoce ni puede procesar.
Imagínese tener que hacer aritmética de complejidad moderada. La mayoría de nosotros podríamos hacer esto en la cabeza si tuviéramos que hacerlo, pero como normalmente confiamos en tecnologías como las calculadoras y las hojas de cálculo para hacerlo, puede que nos lleve un tiempo recuperar los procesos mentales relevantes y hacerlo por nuestra cuenta. ¿Y si le pidieran, sin previo aviso, que lo hiciera en condiciones estresantes y en las que el tiempo es crítico? El riesgo de error sería considerable.
Este era el desafío al que se enfrentaba la tripulación del AF447. Pero también tuvieron que enfrentarse a ciertas «sorpresas de la automatización», como que la tecnología se comportara de formas que no entendían ni esperaban.
Pérdida del AF447
El AF447 tardó tres horas y media en un vuelo nocturno sobre el Atlántico. La formación transitoria de hielo en los sensores de velocidad del Airbus A330 provocó lecturas de la velocidad aerodinámica inconsistentes, lo que a su vez llevó al ordenador de vuelo a desconectar el piloto automático y a retirar la protección de la envolvente de vuelo, como estaba programado para hacer cuando se enfrentaba a datos poco fiables. Los pilotos, sobresaltados, ahora tenían que volar el avión de forma manual.
Apareció una serie de mensajes en una pantalla delante de los pilotos con información crucial sobre el estado de la aeronave. Todo lo que se necesitaba era que un piloto (Pierre-Cédric Bonin) mantuviera la trayectoria de vuelo de forma manual mientras el otro (David Robert) diagnosticaba el problema.
Pero los intentos de Bonin de estabilizar la aeronave tuvieron precisamente el efecto contrario. Probablemente se deba a una combinación de estar sorprendido e inexperto en volar manualmente en altitud y a tener reducida la protección automática. En altitudes más altas, la envolvente de vuelo seguro es mucho más restringida que en altitudes más bajas, razón por la cual los pilotos rara vez vuelan allí en mano. Intentó corregir un ligero balanceo que se produjo cuando el piloto automático se desconectó, pero se corrigió en exceso, lo que provocó que el avión girara bruscamente a izquierda y derecha varias veces al mover la palanca lateral de un lado a otro. También se retiró del palo, lo que provocó que el avión subiera abruptamente hasta que se detuvo y comenzó a descender rápidamente, casi en caída libre.
Ni Bonin ni Robert, ni el tercer miembro de la tripulación (Marc Dubois, el capitán) que entró en la cabina a los 90 segundos del episodio, reconocieron que el avión se había detenido a pesar de las múltiples señales. En medio de la confusión, Bonin malinterpretó la situación en el sentido de que el avión volaba demasiado rápido y, de hecho, redujo el empuje y se movió para aplicar los frenos de velocidad, lo contrario de lo que se necesitaba para recuperarse de la caída. Robert lo anuló e intentó tomar el control, pero Bonin siguió intentando volar el avión. Robert y él hicieron aportaciones simultáneas y contradictorias, sin darse cuenta de que lo hacían. Cuando la tripulación descubrió lo que estaba pasando, no quedaba suficiente altitud para recuperarse y el AF447 se estrelló en el océano y perdió a los 228 pasajeros y la tripulación.
La tragedia del AF447 revela con crudeza la interacción entre la tecnología sofisticada y sus homólogos humanos . Esto comenzó con el repentino e inesperado traspaso del control a los pilotos, uno de los cuales, no acostumbrado a volar manualmente en altitud, empeoró mucho la difícil situación. Un ejercicio de simulación realizado tras el accidente demostró que, sin la intervención del piloto, el AF447 habría permanecido en su altitud de crucero tras la desconexión del piloto automático.
Con el inicio de la parada, los pilotos tenían muchas pistas sobre lo que estaba sucediendo. Pero no pudieron reunir estas señales en una interpretación válida, tal vez porque creían que un bloqueo era imposible (ya que la tecnología fly-by-wire normalmente impedía que los pilotos provocaran un bloqueo), o quizás porque la tecnología normalmente se encargaba de la mayor parte del «ensamblaje» de las señales en su nombre.
La posibilidad de que un avión estuviera en una parada sin que la tripulación se diera cuenta también, al parecer, iba más allá de lo que imaginaban los diseñadores de los sistemas de la aeronave. Las funciones diseñadas para ayudar a los pilotos en circunstancias normales ahora agravan sus problemas. Por ejemplo, para evitar las distracciones de las falsas alarmas, la advertencia de bloqueo se diseñó para apagarse cuando la velocidad aerodinámica de avance caía por debajo de cierta velocidad, lo que hizo cuando el AF447 descendía rápidamente. Sin embargo, cuando los pilotos tomaron dos veces las medidas de recuperación correctas (agachando la nariz), la velocidad aerodinámica de avance aumentó y la alarma de bloqueo se reactivó. Todo esto contribuyó a que los pilotos tuvieran dificultades para comprender la naturaleza de su difícil situación. Segundos antes del impacto, se escucha a Bonin decir: «Esto no puede ser cierto».
**Implicaciones para las organizaciones
**
Esta idea —que la misma tecnología que permite que los sistemas sean eficientes y prácticamente libres de errores también crea vulnerabilidades sistémicas que provocan catástrofes ocasionales— se denomina» la paradoja de los sistemas casi totalmente seguros.» Esta paradoja tiene implicaciones para el despliegue de la tecnología en muchas organizaciones, no solo en las que son fundamentales para la seguridad.
Una es la importancia de gestionar las transferencias de las máquinas a las personas, algo que salió muy mal en el AF447. A medida que la automatización ha aumentado en complejidad y sofisticación, también lo han hecho las condiciones en las que es probable que se produzcan esas transferencias. ¿Es razonable esperar que humanos sorprendidos y posiblemente sin práctica puedan diagnosticar y responder instantáneamente a problemas que son lo suficientemente complejos como para engañar a la tecnología? Este tema solo será más pertinente a medida que la automatización se impregne aún más en nuestras vidas, por ejemplo, a medida que los vehículos autónomos se introduzcan en nuestras carreteras.
En segundo lugar, ¿cómo podemos aprovechar las ventajas que ofrece la tecnología y, al mismo tiempo, mantener las capacidades cognitivas necesarias para gestionar situaciones excepcionales? Los pilotos reciben un entrenamiento intenso, con evaluaciones, simulacros y simulaciones periódicos, pero la pérdida de control sigue siendo motivo de preocupación. Tras el desastre del AF447, la FAA instó a las compañías aéreas a fomentar más volar en mano para evitar la erosión de las habilidades básicas de pilotaje y esto apunta a una vía que podrían seguir otros. La participación y el control prácticos y regulares crean y mantienen el conocimiento del sistema, lo que permite a los operadores, gerentes y otras personas que supervisan sistemas complejos identificar anomalías, diagnosticar situaciones desconocidas y responder de manera rápida y adecuada. Las rutinas estructuradas de resolución de problemas y mejora que hagan que uno interrogue constantemente a nuestro entorno también pueden ayudar con esto.
La aviación comercial ofrece una ventana fascinante a la automatización, porque las ventajas, así como los riesgos ocasionales, son muy visibles y dramáticos. Pero todo el mundo tiene su equivalente al piloto automático, y la idea principal se extiende a otros entornos: cuando la automatización mantiene a las personas completamente seguras casi todo el tiempo, es más probable que tengan dificultades para volver a conectarse si retira abruptamente sus servicios.
Las organizaciones ahora deben tener en cuenta la interacción de los diferentes tipos de riesgo. Una mayor automatización reduce el riesgo de errores humanos, la mayoría de las veces, como lo demuestra el excelente y cada vez mejor historial de seguridad de la aviación. Pero la automatización también provoca una sutil erosión de las capacidades cognitivas, que puede que solo se manifiesten en situaciones extremas e inusuales. Sin embargo, sería una falta de visión simplemente hacer retroceder la automatización, por ejemplo, insistiendo en más vuelos manuales, ya que eso aumentaría de nuevo el riesgo de error humano. Más bien, las organizaciones deben ser conscientes de las vulnerabilidades que puede crear la automatización y pensar de forma más creativa en las formas de solucionarlas.
Artículos Relacionados

La IA es genial en las tareas rutinarias. He aquí por qué los consejos de administración deberían resistirse a utilizarla.

Investigación: Cuando el esfuerzo adicional le hace empeorar en su trabajo
A todos nos ha pasado: después de intentar proactivamente agilizar un proceso en el trabajo, se siente mentalmente agotado y menos capaz de realizar bien otras tareas. Pero, ¿tomar la iniciativa para mejorar las tareas de su trabajo le hizo realmente peor en otras actividades al final del día? Un nuevo estudio de trabajadores franceses ha encontrado pruebas contundentes de que cuanto más intentan los trabajadores mejorar las tareas, peor es su rendimiento mental a la hora de cerrar. Esto tiene implicaciones sobre cómo las empresas pueden apoyar mejor a sus equipos para que tengan lo que necesitan para ser proactivos sin fatigarse mentalmente.

En tiempos inciertos, hágase estas preguntas antes de tomar una decisión
En medio de la inestabilidad geopolítica, las conmociones climáticas, la disrupción de la IA, etc., los líderes de hoy en día no navegan por las crisis ocasionales, sino que operan en un estado de perma-crisis.