El sesgo de selección y los peligros de la evaluación comparativa

Los gerentes aprenden con el ejemplo. Ellos, y los consultores a los que pagan por asesoramiento, estudian los métodos y las tácticas de las empresas exitosas en busca de fórmulas mágicas para la prosperidad empresarial. ¿Qué podría tener más sentido?

Qué podría ser más peligroso. La búsqueda de firmas exitosas puede ser muy engañosa. Una vez escuché una presentación sobre los atributos de los mejores emprendedores. Basándose en una gran cantidad de estudios de casos impresionantes, el ponente concluyó que todos estos líderes compartían dos rasgos clave que explicaban su éxito: persistieron, a menudo a pesar de los fracasos iniciales, y fueron capaces de persuadir a otros para que se unieran a ellos.

Eso sonó bastante razonable para la mayoría de la gente de la audiencia. El único problema fue que el orador no pudo señalar que estos mismos rasgos son necesariamente el sello distintivo de los empresarios espectacularmente fracasados. Piénsalo: Incurrir grandes pérdidas requiere persistencia ante el fracaso y la capacidad de persuadir a otros para que echen su dinero por el desagüe.

Aquí está el problema de aprender con un buen ejemplo: Cualquiera que intente generalizar el éxito empresarial mediante el estudio de empresas o gerentes existentes cae en la clásica trampa estadística de los sesgos de selección, es decir, de depender de muestras que no son representativas de toda la población que son estudiando. Por lo tanto, si los investigadores de negocios solo estudian empresas exitosas, cualquier relación que deduzca entre la práctica de gestión y el éxito será necesariamente engañosa.

La forma teóricamente correcta de descubrir qué hace que un negocio tenga éxito es mirar tanto a las empresas prósperas como a las que florecen. Entonces los investigadores empresariales identificarán correctamente las cualidades que separan los éxitos de los fracasos. Los investigadores podrían concluir, como muchos lo han hecho, que la fortaleza de la cultura de una empresa está asociada con el éxito porque muchas empresas exitosas tienen una cultura sólida. Pero si estudiaran también a las empresas en quiebra, podrían descubrir que muchas de ellas también tenían culturas fuertes. A continuación, se les podría llevar a plantear la hipótesis de que el naturaleza de la cultura de una empresa es al menos tan importante como su intensidad y luego profundizar en toda la cuestión de la cultura.

Del mismo modo, si queremos examinar rasgos de liderazgo eficaces, no podemos mirar solo a los gerentes excelentes. También debemos considerar a los gerentes que no han sido ascendidos, han sido degradados o han sido despedidos. Quizás sus estilos de liderazgo eran igualmente visionarios o humildes. Sin mirar, no podemos saberlo.

La luz cegadora del éxito

El sesgo de selección es una trampa difícil de evitar para los académicos y profesionales de negocios porque el buen desempeño se ve recompensado por la supervivencia. Cualquier muestra de directivos actuales contendrá más éxitos que fracasos, si los sistemas de selección interna de las empresas funcionan correctamente. Del mismo modo, las empresas con un rendimiento deficiente tienden a fracasar y desaparecer, por lo que cualquier muestra de empresas existentes, por definición, consiste en gran medida en empresas exitosas.

Por esa razón, es menos probable que los gerentes se infecten con sesgos de selección si trabajan en una industria emergente. La evidencia del fracaso está a su alrededor. Durante el auge de Internet, por ejemplo, decenas de nuevas empresas entraron y salieron del negocio. Además, muchos pudieron mantenerse a flote durante algún tiempo con pocos, o incluso nulo, ingresos. Los directivos que intentan evaluar los méritos de las diversas estrategias en esa etapa de la evolución del sector online podrían trabajar con un conjunto de datos relativamente imparcial.

De todos los gestores, los capitalistas de riesgo son quizás los menos propensos a sufrir un sesgo de selección. Dado que solo alrededor del 10% de todas las inversiones que hagan serán rentables, los capital de riesgo invierten en muchas empresas diferentes con la esperanza de que los grandes rendimientos de los pocos éxitos compensen las numerosas pérdidas. Por lo tanto, los VC observan muchos fracasos y su base de experiencia está casi completamente desinteresada por el éxito.

Cuando una industria madura y la tasa de fracaso disminuye, el sesgo de selección se convierte en un problema. Después de la caída de las puntocom, las empresas con mal desempeño finalmente dejaron de funcionar y menos firmas entraron, lo que significó que no tantas fracasaron posteriormente. Al mismo tiempo, empresas como Amazon, Google y eBay crecieron e incluso fueron rentables, atrayendo más la atención. En el futuro, es probable que solo unas pocas grandes empresas dominen esta industria, y la miríada de empresas que han seguido estrategias similares pero han fracasado se olvidarán.

Es casi seguro que el efecto del sesgo es mayor de lo que la mayoría de la gente piensa porque el proceso de ventado en la mayoría de las industrias es muy dramático. Algunos estudios han demostrado que el 50% de todas las nuevas empresas fracasan durante sus primeros tres a cinco años. Considere, por ejemplo, la industria de neumáticos de EE. UU. Tras un período de rápido crecimiento, el número de empresas alcanzó su punto máximo en 1922, en 274. En 1936, solo había 49 supervivientes, un descenso de más del 80%. Así que cualquiera que estudiara la industria en la década de 1930 habría podido observar solo una muestra muy pequeña de la población que había entrado originalmente.

Eso no quiere decir que las empresas establecidas no fracasen. Lo hacen, especialmente a raíz de cambios radicales en la tecnología o la demanda. Pero el hecho es que las personas que trabajan en empresas establecidas en industrias maduras son las más susceptibles al sesgo de selección. Una gerente regional de marketing en una corporación como Coca-Cola o Procter & Gamble pasa la mayor parte de su tiempo administrando una marca y una línea de productos exitosos. Puede que haya fracasado en la implementación de una nueva práctica de marketing en algún momento u otro, pero solo habrá liderado la introducción de dos o tres nuevos productos y probablemente nunca habrá puesto en marcha un nuevo negocio. En otras palabras, su experiencia estará fuertemente sesgada hacia el éxito.

El sesgo de selección no es solo un problema para las empresas individuales. Los juicios sobre las prácticas de gestión general también están coloreados por ella. Es posible que un nuevo programa de calidad en una empresa no funcione según lo prometido y se interrumpe. Otras empresas de la misma industria pueden tener éxito con el programa y conservarlo. A menos que descubra los programas que fallaron, solo podrá observar los casos exitosos.

No quiero sugerir que los gerentes y analistas nunca estudien los fracasos. Pero los que miran suelen ser los fiascos realmente espectaculares o aquellos, como Enron, que provocan una fuerte indignación moral. Y aun así, suele ser solo en el momento. ¿Cuántos directivos dedican su tiempo a estudiar los colapsos corporativos de la década de 1980? Sin embargo, siguen leyendo libros sobre las estrategias de fabricación de los innovadores japoneses de la época.

¿Cuántos directivos estudian los colapsos corporativos de la década de 1980? Sin embargo, siguen leyendo sobre las estrategias de fabricación japonesas de la época.

Donde yacen los peligros

¿En qué tipo de trampas caen los gerentes cuando confían en datos sesgados? Es probable que haya tres.

Quizás el error más frecuente es sobrevalorar las prácticas comerciales arriesgadas. El problema es fácil de ver en la exposición «Efectos del sesgo», que ilustra lo que sucede cuando las tendencias se extraen de campos de datos incompletos.

Los efectos del sesgo

¿Qué sucede cuando la gente saca conclusiones de datos incompletos? Supongamos que está investigando la relación entre el rendimiento corporativo y una práctica empresarial peligrosa en particular, como el uso de equipos interdisciplinarios. Si trazaste los resultados de todas las empresas que participaron en esta práctica (o cualquier otra práctica similar), descubrirás que cuanto más extendida sea la práctica, más volátil será el rendimiento de la empresa y tu gráfico se vería así:

En promedio, como indica la línea de tendencia, cualquier práctica arriesgada de este tipo se correlaciona negativamente con el rendimiento.

Pero supongamos que usted solo mira a las empresas existentes y excluye a todas las que habían dejado de trabajar mientras se dedicaban a esta práctica. Entonces tu gráfica se vería así:

Ahora la línea de tendencia indicará una correlación positiva, lo que por supuesto no es el caso. Por lo tanto, el sesgo de selección hará que saque con precisión la conclusión equivocada.

Los gráficos trazan la relación entre la participación en una práctica organizativa arriesgada y el desempeño corporativo posterior. El primer gráfico registra los datos de todas las empresas que han implementado alguna vez la práctica arriesgada, mientras que el segundo excluye a las empresas que han fracasado. Como es de esperar, el desempeño de las empresas que no emplean la práctica en absoluto es relativamente estable. Pero cuanto mayor sea el grado en que las empresas se dedican a la práctica, mayor será la brecha entre las empresas exitosas y las que fracasan, ya que el rendimiento aumenta o cae en picado. Sin embargo, en promedio, como muestra la línea de tendencia, participar en la práctica arriesgada de alguna manera reduce rendimiento.

Supongamos ahora que observamos esta industria solo después de que muchas de las empresas con peor desempeño hayan dejado de trabajar o hayan sido adquiridas por otras firmas. En ese caso, habríamos visto los éxitos pero pocos de los fracasos asociados con la práctica arriesgada. Como resultado, la asociación observada entre la práctica de riesgo y el rendimiento sería positivo, como muestra el segundo gráfico, al revés de la verdadera asociación.

Lee Fleming ilustra acertadamente esta dinámica en su Harvard Business Review artículo «Perfeccionamiento de la polinización cruzada» (septiembre de 2004). Fleming considera que, en promedio, el valor de las innovaciones procedentes de equipos diversos e interdisciplinarios es inferior al valor de las innovaciones producidas por equipos de científicos cuyos antecedentes son similares entre sí. Pero las innovaciones que producen los equipos más heterogéneos tienden a ser avances o fracasos funestos. De hecho, la distribución de los valores de innovación a medida que aumenta la diversidad de los miembros del equipo se parece bastante a lo que vemos en nuestro primer gráfico.

Sin embargo, en la mayoría de los casos no se dispone de datos sobre proyectos fallidos, al menos sobre proyectos fallidos en otras empresas, por lo que la mayoría de los gerentes podrían observar solo el patrón de distribución que vemos en nuestro segundo gráfico. Como resultado, sobreestimarían el valor de los equipos interdisciplinarios. Solo recopilando datos sobre éxitos y fracasos, como hizo Fleming, pudieron detectar los riesgos que implica el uso de equipos de investigación multifuncionales. (Otro ejemplo de la misma dinámica se describe en la barra lateral, «¿Qué tan equivocado puedes equivocarte?»)

¿Qué tan equivocado puedes ponerte?

Durante la Segunda Guerra Mundial, el estadístico Abraham Wald estaba evaluando la vulnerabilidad de los aviones al fuego enemigo. Todos los datos disponibles muestran que algunas partes de los aviones son golpeadas de forma desproporcionada con más frecuencia que otras partes. El personal militar concluyó, naturalmente, que estas partes debían reforzarse. Wald, sin embargo, llegó a la conclusión opuesta: las partes golpeadas con menos frecuencia deben protegerse. Su recomendación reflejaba su visión del sesgo de selección inherente a los datos, que representaban solo los planos que regresaban. Wald argumentó que un avión tendría menos probabilidades de regresar si se golpeaba en una zona crítica y, por el contrario, que un avión que regresaba incluso cuando fue golpeado probablemente no había sido alcanzado en un lugar crítico. Por lo tanto, argumentó, es poco probable que reforzar aquellas partes de los aviones devueltos que sufrieron muchos impactos dé sus frutos.¹

1. La historia de Wald es una de las anécdotas más citadas en la comunidad estadística. Para obtener más información al respecto, véase W. Allen Wallis, «The Statistical Research Group, 1942-1945», Revista de la Asociación Estadística Americana, junio de 1980, y M. Mangel y F.J. Samaniego, «El trabajo de Abraham Wald sobre la supervivencia de las aeronaves», Revista de la Asociación Estadística Americana, Junio de 1984.

Una segunda trampa para los gestores despreocupados surge del hecho de que el rendimiento a menudo se alimenta de sí mismo, de modo que los logros actuales se magnifican injustamente por los logros pasados. Para ver cómo funciona esto, imagina que una empresa es un corredor que compite contra otros corredores. Si el corredor gana diez carreras independientes, probablemente sea mejor que los demás, que puede aprender de él. Pero supongamos que el resultado de una carrera afecta a las carreras posteriores. Es decir, si el corredor gana por un minuto en la primera carrera, tiene una ventaja de un minuto en la siguiente carrera, y así sucesivamente. Claramente, ganar diez carreras de este tipo es menos impresionante, ya que una victoria en la primera carrera le da al corredor una mayor posibilidad de ganar la segunda, y una posibilidad aún mayor de ganar la tercera, y así sucesivamente.

Muchas industrias funcionan de la misma manera. Por ejemplo, una compañía telefónica o una empresa de software que tenía una gran cuota de mercado en 2004 probablemente también tendrá una gran cuota de mercado en 2005, debido a la inercia de los clientes y a los costes de conmutación. Por lo tanto, incluso si los gerentes hacen un mal trabajo en 2005, tal empresa podría obtener grandes beneficios, ya que los gerentes se despojan de sus logros pasados o de buena suerte.

Centrarse en los rendimientos bursátiles en lugar de en los beneficios mitiga este problema, ya que los cambios en los precios de las acciones, en un mercado que funciona bien, reflejan los cambios en el rendimiento. Sin embargo, definir el éxito por la rentabilidad bursátil presenta otros problemas. Como ha señalado el profesor de Wharton, Sidney Winter, el precio de las acciones de una empresa se mantendrá estable cuando un excelente CEO suceda a otro. Sin embargo, el precio de las acciones aumentará cuando la empresa cambie a un CEO inferior por un CEO mejor, pero aún deficiente. Mantener la excelencia, en otras palabras, podría ser menos recompensado que volverse meramente mediocre.

Un tercer problema al buscar solo pistas de alto rendimiento en busca de pistas de alto rendimiento es la cuestión de la causalidad inversa. Los datos pueden, por ejemplo, revelar una fuerte asociación entre la fortaleza de la cultura de una empresa y su desempeño. Pero, ¿una cultura sólida conduce a un alto rendimiento o al revés? El problema de la gallina y el huevo es especialmente espinoso en este caso, ya que el alto rendimiento en sí mismo afecta a la cultura corporativa de varias maneras. Para empezar, probablemente sea más fácil construir una cultura basada en el equipo en una empresa sana que en una empresa que fracasa, donde es probable que los trabajadores estén desmoralizados y sean desleales. Las empresas de alto rendimiento también pueden permitirse instituir programas y prácticas que las empresas de bajo rendimiento no pueden. Algunas de estas actividades costosas y lentas podrían reducir el rendimiento de las empresas en dificultades.

Además, las expectativas de desempeño de los gerentes pueden influir en su elección de estrategias y, por lo tanto, confundir las interpretaciones del efecto que tienen esas decisiones. Como observaron William Boulding y Markus Christen en «Desventaja de los primeros en moverse» (HBR, octubre de 2001), las empresas que cuentan con productos innovadores y una sólida capacidad de distribución suelen optar por ingresar pronto a nuevos mercados. Sus sólidos productos y capacidades producen altos rendimientos. Sin embargo, como resultado, sus gerentes asocian la entrada anticipada con un alto rendimiento en todos los casos, incluso cuando hay una desventaja de ser el primero en actuar.

Parcialidad, sesgo en todas

Muchas de las teorías populares sobre el rendimiento están plagadas de sesgos de selección. Una de las ideas más perdurables en la gestión, por ejemplo, es la noción de que las empresas exitosas son aquellas que centran la mayor parte de sus recursos en un área o tecnología en lugar de diversificarse. Libros como En busca de la excelencia, construido para durar, y Benefíciese del núcleo todos recomiendan que los gerentes «se apegen a su tejido» y «se centren en el núcleo».

Por lo general, los estudios de investigación detrás de estos libros se centran únicamente en empresas existentes o, aún más estrechamente, solo en empresas de gran éxito. Como resultado, sus autores sobreestiman los beneficios del enfoque. Considere, por ejemplo, el hallazgo de Chris Zook y James Allen en Benefíciese del núcleo que el 78% de todas las empresas de alto rendimiento se centraron en un conjunto de actividades básicas, mientras que solo el 22% de las empresas de menor rendimiento lo hicieron. El estudio incluyó a unas 1.854 empresas, que juzgaron el alto rendimiento de acuerdo con la rentabilidad del precio de las acciones, las ventas y los ratios de beneficios, pero solo incluyó a las empresas que sobrevivieron durante el período de estudio. Por lo tanto, no consideró a ninguna empresa que comenzara con una estrategia enfocada pero luego fracasara.

Incluir esos fracasos habría cambiado sustancialmente el panorama. Según Zook y Allen, el 13% de todas las firmas alcanzaron un alto rendimiento, de las cuales el 78% —o 188 firmas— se centraron en el núcleo. Si en ese período solo se hubieran incluido en la muestra otras 200 empresas con estrategias enfocadas que habían salido del negocio, entonces la verdadera relación entre enfoque y desempeño sería exactamente lo contrario de lo que defieran Zook y Allen.

Otra noción cariñosa que a menudo elogian los gurús de la gestión y la prensa popular es que los directores ejecutivos deben ser audaces y asumir riesgos. De hecho, muchas historias en la prensa empresarial celebran la intuición de ciertos grandes líderes. Nada menos que una autoridad que Jack Welch tituló su autobiografía. Directamente de la tripa . Algunos líderes, en particular Akio Morita de Sony, han llegado tan lejos como para dejar de lado la investigación de mercado, ya que creen que sus instintos son una mejor guía para los cambios del mercado.

Ciertamente, es cierto que las empresas pueden ser recompensadas generosamente cuando sus directores ejecutivos asumen grandes riesgos. Supongamos que está operando en una industria (moda, por ejemplo, o electrónica de consumo) en la que los primeros en mudanzas tienen una ventaja, pero en la que también existe una incertidumbre considerable con respecto a las preferencias de los consumidores. Para obtener la ventaja de ser el primero en actuar, una empresa debe actuar con rapidez. Las empresas con mejor desempeño serán aquellas que, lideradas en gran medida por los instintos de sus altos directivos, tengan la suerte de lanzar productos que resultan atractivos para los clientes.

Pero las empresas con peor desempeño también serán aquellas que actúen de acuerdo con las corazonadas y lanzan productos que no atraen a los clientes. Puesto que pocas personas anuncian sus fracasos y muchas de estas desafortunadas firmas dejan de existir, escuchamos principalmente sobre el éxito de las decisiones basadas en instintos y poco sobre los innumerables «visionarios» que de manera similar intentaron revolucionar las industrias pero no lo hicieron.

El punto aquí no es que todas las teorías populares sobre el rendimiento estén equivocadas. No lo sé. Puede haber un vínculo genuino entre el éxito y la concentración. En algunas industrias, la fortaleza de una cultura puede ser importante independientemente de su naturaleza. Y los instintos de algunos directivos pueden ser una base tan sólida para la toma de decisiones estratégicas como cualquier cantidad de análisis. Pero lo que sí sé es que ningún gestor debe aceptar una teoría sobre negocios a menos que puedan estar seguros de que los defensores de la teoría están trabajando con un conjunto de datos imparcial.

Solucionar el problema

El paso más obvio para protegerse contra el sesgo de selección es obtener todos los datos que pueda en caso de fallo. Dentro de sus organizaciones, debe insistir en que los datos sobre fallos internos se recopilen y analicen sistemáticamente. De lo contrario, esa información puede desaparecer fácilmente porque las personas responsables pueden abandonar la organización o no estar dispuestas a hablar. Mirando fuera de tu empresa, deberías ampliar tus ejercicios de evaluación comparativa para incluir firmas que no tienen éxito. Las asociaciones del sector pueden ayudarle a recopilar datos sobre los fracasos de nuevas prácticas y conceptos.

A pesar de tus mejores esfuerzos, es poco probable que puedas estar completamente seguro de que tus datos son imparciales. Afortunadamente, tienes algo de respaldo, porque los economistas y estadísticos han desarrollado una serie de herramientas para corregir el sesgo de selección. Sin embargo, estas herramientas se basan en ciertos supuestos, que pueden ser más o menos realistas, según el contexto.

Supongamos, por ejemplo, que queremos estimar el rendimiento medio del capital de todas las empresas de un sector determinado, pero solo tenemos disponibles los datos de ROE de las firmas supervivientes. Dado que las empresas de bajo beneficio tienen más probabilidades de fracasar, el simple hecho de tomar el ROE promedio de todas las empresas supervivientes daría lugar a una estimación demasiado alta. Pero supongamos que el ROE se distribuye a lo largo de una curva de campana estándar y que todas las empresas con un ROE negativo fracasarán. Entonces podemos usar los datos que tenemos para estimar el ROE promedio de todas las empresas porque la información disponible es suficiente para indicarnos qué tan pronunciada es la curva, qué tan amplia y cuál es la media.

Este enfoque se puede utilizar para corregir el sesgo en cualquier situación en la que podamos aplicar herramientas estadísticas formales. Por ejemplo, supongamos que sospechamos que en un sector en particular, cuanto más formación reciba el personal de ventas de una empresa, mayor será el rendimiento medio del vendedor y más consistente será el desempeño de todo el personal de ventas. Supongamos además que tenemos datos detallados sobre las inversiones en formación realizadas por la mayoría de las empresas que operan actualmente en el sector. Si podemos asumir con seguridad que el rendimiento sigue un patrón de distribución específico, podemos, en principio, utilizar los datos que tenemos para obtener una estimación imparcial de cómo las inversiones en formación influyen realmente en el nivel medio y la variabilidad del desempeño del personal de ventas, incluso si no tenemos datos sobre empresas que falló. Básicamente, lo que estamos haciendo es inferir la forma de un iceberg en particular observando su punta y haciendo (esperamos) una suposición razonable sobre la relación entre las puntas de los icebergs y el resto de ellos.

El pionero de estos métodos estadísticos fue James Tobin, ganador del Premio Nobel de Economía en 1981. Su obra fue construida más tarde por James Heckman, quien recibió el Premio Nobel en 2000 por sus contribuciones en este ámbito. En los últimos años, los académicos de gestión han aplicado estos métodos para corregir el sesgo de selección en sus propias investigaciones y han comenzado a abogar por su uso en la comunidad gerencial más amplia. En «Saca el máximo partido a todos tus clientes» (HBR, julio-agosto de 2004), por ejemplo, Jacquelyn S. Thomas, Werner Reinartz y V. Kumar demuestran cómo se pueden utilizar estas herramientas para mejorar la rentabilidad de las inversiones en marketing.

Sé que las palabras de advertencia y los consejos de fracaso rara vez son bien recibidos. Los gerentes anhelan certezas y modelos a seguir de la literatura empresarial y, en cierta medida, tienen que hacerlo. Viven en un mundo acelerado y, a menudo, no pueden permitirse el lujo de posponer la acción hasta que obtengan mejores datos. Pero realmente no hay excusa para ignorar las flagrantes trampas que hemos descrito en estas páginas. El éxito puede ser más inspirador, pero la lógica ineludible de las estadísticas dicta que los gerentes que persiguen un alto rendimiento tienen más probabilidades de alcanzar su objetivo si dan a conocer las historias de los fracasos de sus competidores tan completa como lo hacen actualmente las historias de sus éxitos.

— Escrito por Jerker Denrell