Los peligros ocultos de las encuestas web

Las encuestas web de Workplace se utilizan cada vez más con las encuestas impresas (o en lugar de ellas) para medir la motivación de los empleados, la eficacia de los programas y el rendimiento del personal. Pero pocas de las empresas que las adoptan son conscientes de un problema fundamental: la misma pregunta que se hace en la Web y en la prensa puede arrojar respuestas muy diferentes.

No es que las encuestas web no sean siempre fiables. Si se hacen correctamente, pueden producir resultados confiables e incluso superiores. Pero si se hacen mal, como suele ocurrir, pueden distorsionar drásticamente los resultados, llevar a la dirección a tomar malas decisiones e incluso hacer descarrilar sus carreras. Las encuestas web suelen arrojar puntuaciones más altas que las encuestas impresas, tasas de respuesta más bajas, un rango de respuestas más restringido (menos puntuaciones muy altas o muy bajas) y muchas otras distorsiones. Sin embargo, según nuestra experiencia en el diseño, la ejecución y la solución de problemas de encuestas para grandes empresas como Disney, EDS, Xerox, Fallon Clinic y GM, hemos descubierto que cada uno de estos problemas se puede corregir si se entiende correctamente.

Puntuaciones sesgadas

Cinco tipos de problemas pueden socavar la validez y la fiabilidad de las encuestas web.

Optar por no participar.

Las tasas de respuesta de las encuestas web pueden ser hasta un 80% más bajas que las de las encuestas impresas. Hemos descubierto que los empleados (los que responden son reacios en el mejor de los casos) se resisten a las encuestas web por varios motivos, como la dificultad para acceder a la encuesta, la incapacidad para avanzar y retroceder en las preguntas, la dificultad para completar una encuesta interrumpida y el miedo a la confidencialidad.

Recubrimiento de azúcar.

Las encuestas web mal diseñadas suelen producir respuestas inverosímiles y favorables. En muchos casos, el problema se debe a la renuencia de los empleados a presentar quejas porque no están seguros de que su identidad vaya a estar protegida. Aunque las causas de este sesgo son complejas, la conclusión es clara: una evaluación poco fiable del desempeño de los empleados basada en la web que nos llamaron hace poco para rediseñarla para un minorista nacional elevó artificialmente las puntuaciones un 16%. Eso bastó para etiquetar erróneamente la «buena» actuación como «superlativa» en una evaluación utilizada para fijar la compensación.

Hojeando.

En el lugar de trabajo, las encuestas impresas y las encuestas web suelen atraer a encuestados muy diferentes. El usuario típico de una encuesta web tiene acceso privado a un ordenador, tiene una mayor responsabilidad y se le paga mejor. Cuando una empresa ofrece encuestas impresas y web, este sesgo de autoselección significa que la encuesta web tiende a restar importancia a los encuestados de nivel superior, mientras que los empleados de nivel inferior se quedan con el papel. Como los empleados de alto nivel suelen tener una visión única y especialmente favorable de su empresa, hojear puede sesgar drásticamente los resultados.

Recorte.

Las encuestas web suelen obtener respuestas «recortadas», es decir, comprimen artificialmente el rango entre las puntuaciones altas y bajas. En consecuencia, las respuestas recortadas pueden impedir gravemente el análisis al excluir información importante, tal como lo haría el velocímetro de un coche si solo mostrara su velocidad entre 40 y 60 millas por hora. Esto es fundamental en las encuestas que se utilizan para medir la calidad de los productos, ya que no pueden distinguir entre lo fabuloso y lo bastante bueno. Y es crucial para las evaluaciones del desempeño, porque no pueden distinguir entre los jugadores C y B o los jugadores B+ y A, por lo que la gente puede ser despedida injustamente o ascendida imprudentemente.

Reorganización.

Las encuestas web casi siempre reorganizan la clasificación de las puntuaciones. Es decir, si calcula la respuesta media de cada pregunta de la encuesta y clasifica esos promedios de mayor a menor, lo más probable es que la clasificación de los dos formatos sea diferente. Esto es grave porque cuando se interrumpe la clasificación de los promedios, las correlaciones entre las preguntas también se ven alteradas. Y son estas correlaciones las que determinan el resultado de cualquier análisis que examine los vínculos entre las respuestas «blandas» a las encuestas y las métricas de rendimiento «duras»; por ejemplo, la relación entre la motivación de los empleados y la retención del personal.

Solucionar los problemas

Dados los posibles inconvenientes, las encuestas web pueden parecer excesivamente arriesgadas. Sin embargo, una encuesta web bien diseñada puede ser más barata, fácil de usar, rápida, ser mejor recibida por los participantes y, de hecho, más precisa que su equivalente en papel. Acabamos de realizar un estudio en el que participaron casi 1000 empleados de Duke Energy, una empresa internacional de servicios públicos con sede en Carolina del Norte, que demostró las mejores prácticas de las encuestas web en acción. La mitad de los participantes utilizó una versión impresa de una evaluación de liderazgo de 360 grados que diseñamos especialmente para Duke; la otra mitad utilizó una versión de la misma evaluación con acceso a Internet. Las preguntas eran idénticas en los dos formatos, pero la encuesta web incorporó más de 40 funciones diseñadas para neutralizar los problemas que acabamos de analizar. Cuando analizamos las respuestas de la encuesta, descubrimos que los datos de los dos formatos coincidían con precisión. Así es como lo hicimos:

Mejorar el acceso y la facilidad de uso.

Para limitar el problema del hojeo y aumentar las tasas de respuesta, es imperativo hacer que la interfaz sea fácil de usar, incluso para aquellos que tienen un poco de conocimientos de informática. Recomendamos poner los ordenadores en entornos privados para los empleados que aún no los tengan y eliminar los caracteres poco habituales de la dirección web de la encuesta (como ~ y/ y) para que los errores tipográficos no detengan a los usuarios incluso antes de que comiencen. También sugerimos añadir una herramienta de navegación que permita a los encuestados avanzar o retroceder fácilmente entre las preguntas. Otras funciones importantes incluyen un botón para salir y guardar rápidamente en cada pantalla, para que los usuarios puedan salir y regresar fácilmente sin perder datos; un indicador de progreso, para que los encuestados sepan cuánto más tienen que hacer; y una sencilla función de deshacer, para que puedan revisar las respuestas sin problemas.

Mejorar la precisión.

Hemos descubierto que unos sencillos ajustes de formato pueden mejorar la precisión y reducir efectos como el recorte y la reorganización. Es importante centrar las escalas de respuesta (para las puntuaciones del 1 al 5, por ejemplo) en la pantalla del usuario y disponer de la opción «No sé o no se aplica» que esté claramente visible, pero no demasiado destacada. Otros ajustes de precisión incluyen una función de bloqueo, que exige que los participantes den una respuesta antes de poder continuar, y una función de cambio automático de tamaño para que, independientemente del tamaño de la ventana del escritorio del usuario, aparezca una página entera de la encuesta en la pantalla.

A diferencia de sus homólogos impresos, las encuestas web pueden comprobar errores al instante. Por ejemplo, los encuestados a veces malinterpretan las preguntas redactadas de forma negativa (es decir, las preguntas en las que una respuesta «sí» o una valoración alta significan que algo es no bueno) y dan por error una respuesta que no es coherente con todas las demás respuestas. Las encuestas de Filters on Web pueden detectar estos valores atípicos (y también otras anomalías importantes y más sutiles) y hacer que los encuestados los confirmen o corrijan. Por eso las encuestas web con filtros pueden ser más precisas que las encuestas impresas.

Por último, dado que la preocupación por la confidencialidad puede socavar la precisión, es importante trasladar las encuestas web de la intranet de la empresa a un servidor seguro de terceros; también es recomendable que los usuarios creen sus propias contraseñas.

No es posible enumerar aquí todos los problemas asociados a las encuestas web y sus soluciones. Pero entender que las encuestas web tienen deficiencias particulares, soluciones fáciles y puntos fuertes únicos puede ayudarle a utilizarlas con prudencia. Al fin y al cabo, como sabe cualquier buen carpintero, es importante tener claras las diferencias entre una vara de medir de madera y una regla de acero, especialmente si tiene la intención de utilizar ambas para construir su casa.