Cuando se usa un KPI, su impacto va más allá la intención de monitorizar objetivos y alcanzarlos. Las medidas realizadas influyen en el comportamiento de las personas y los resultados de otras métricas relacionadas. Estas influencias pueden ser inesperadas e indeseables, por lo que hay mitigarlas o elegir otra medida.
Hacer cosas no es el objetivo. El objetivo debe ser lograr cosas
Al diseñar un KPI, es relevante pensar en las posibles consecuencias no deseadas de su medición. Si no, se corre el riesgo de que el KPI cause más daño que beneficio.
Pensar en las consecuencias no deseadas de una medida potencial es un paso clave antes de elegir los criterios de medioción finales para el objetivo perseguido. En general, se tienen en cuenta aspectos en los que la medida podría ser un problema real y distorsionador:
- ¿Podría la medida amenazar, hacer que las personas se sientan juzgadas y crear miedo y actitud defensiva que podrían hacer que eviten o ridiculicen la medida?
- ¿Podría la medida trivializarse, dando a las personas un enfoque de visión de túnel con una parte demasiado pequeña del resultado comercial?
- ¿Podría la medida sabotear, donde las acciones dirigidas a mejorarla inadvertidamente obligan a otras áreas de desempeño a ser perjudicadas?
- ¿Podría la medida confundir, de modo que la gente pudiera implementarla o interpretarla de manera incorrecta sin saberlo?
Malas elecciones de KPIs
Ejemplo 1.- Horarios ferroviarios
El KPI fue el porcentaje de trenes que cumplían el horario, y la consecuencia no deseada fue la cancelación de servicios de trenes que estaban funcionando “demasiado” tarde.
La cancelación de los trenes más retrasados en el horario mantuvo el KPI en buen estado. Pero a un coste. Los clientes estaban mucho más descontentos si se cancelaba su viaje a casa que si se retrasaba. La ironíaera que la ejecución se midió por el resultado de satisfacción de los clientes que si llegaban a tiempo. Pero estaba conduciendo el resultado en la dirección equivocada.
Ejemplo 2.- Control de plagas
Cuando los británicos gobernaron la India, los burócratas de Delhi se preocuparon por la proliferación de cobras en la ciudad. Para controlar el problema, las autoridades ofrecieron una recompensa por las pieles de cobra. Este incentivo económico funcionó bien, demasiado bien.
Pronto las cobras estaban siendo asesinadas a voluntad, y el gobierno estaba satisfecho con la métrica que se basaba en la recompensa por la entrega de pieles de cobra. Sin embargo, varios indios emprendedores vieron la oportunidad. Estos oportunistas comenzaron a criar cobras por sus pieles.
No pasó mucho tiempo antes de que los británicos tuvieran almacenes saturados con pieles de cobra. Cuando los funcionarios descubrieron la estafa, retiraron la opción de compra. Pero ese no es el final.
Con el programa de recompensas cancelado, innumerables criadores de cobras en Delhi se quedaron atrapados con un «exceso de inventario». La burbuja herpetológica había estallado y sus antiguas cobras se habían convertido en pasivos letales. Entonces los criadores liberaron a sus víboras. Y una vez más, Delhi tuvo un problema de cobras, pero esta vez peor que antes.
Lo mismo sucedió durante la ocupación francesa de Vietnam. Las ratas plagaban a Hanoi. Las autoridades ofrecieron una recompensa por cada cola de rata. Resultado: los ciudadanos comenzaron a criar ratas para comerciar con sus colas. Cuando se retiró la recompensa, las ratas fueron liberadas en la ciudad.
Fort Benning, Georgia, estaba teniendo un problema con los jabalíes. El Ejército ofreció a los cazadores una recompensa de 40 dólares por cada rabo de cerdo entregado. La gente comenzó a comprar rabos de cerdo en carniceros y mataderos a precios «al por mayor», y luego «revenderlos» al Ejército a un precio más alto.
Ejemplo 3.- Wells Fargo
Wells Fargo estableció metas de ventas poco realistas para los empleados del banco y ejerció una enorme presión para alcanzar esas metas. Resultado: Apertura desenfrenada de cuentas no autorizadas por parte de los empleados para cumplir la meta y mantener sus puestos de trabajo.
Un mal KPI puede generar comportamientos contrarios a los que se desean medir. En la selección adversa, el comprador en una transacción tiene más información que el vendedor y usa ese conocimiento para sacar ventaja injusta. Por ejemplo, una persona cuyo automóvil no tiene garantía pero necesita reparaciones puede comprar una garantía extendida antes de llevar el automóvil al taller. En estos casos, es el vendedor quien tiene mayor conocimiento que el comprador y lo utiliza para aprovecharse injustamente.
No siempre es malo equivocarse
No todas las consecuencias no deseadas son perjudiciales, como en los ejemplos anteriores. Algunos KPIs pueden producir beneficios inesperados. Como descubrir que una medida tiene un apalancamiento inesperado para mejorar otros resultados comerciales. O que tiene un poder predictivo que lo convierte en un poderoso indicador de futuro para un resultado comercial de mejor nivel. O que impulsa más el comportamiento que se necesita o se desea.
No significa necesariamente que el KPI deba morir.
Verificar las consecuencias no deseadas de una medida brinda la oportunidad de hacer algo antes de que sea demasiado tarde. Podría decidirse no medirlo, pero sólo como último recurso, si ninguno de estos métodos de mitigación funciona:
- Cuando la medida muestra una amenaza, ¿puede concentrar a las personas en colaborar para mejorar en un proceso de negocio, en lugar de preocupación por ser juzgado?
- Cuando la medida se trivializa, ¿puede acompañarse con una o dos medidas complementarias que, en conjunto, den una imagen más completa del resultado?
- Cuando la medida sse abotea, ¿pueden supervisarse otras medidas junto con ésta y establecer sus objetivos para encontrar un equilibrio en lugar de un conflicto?
- Cuando la medida produce confusión, ¿puede simplemente aclararse qué significa o proporcionar más antecedentes sobre su formulación?
Cuando los riesgos de una medida son bastante graves, es posible que también pueda darse a la medida un período de prueba. Sería prudente controlar las consecuencias no deseadas para descubrir qué tan malas son en realidad y qué tan realista puede ser mitigarlas.
Resumen
Cuando se valore el uso de un KPI en el que no se está seguro de que está impulsando el resultado que desea, pueden utilizarse algunos de los planteamientos en este artículo para buscar posibles consecuencias no deseadas. Dónde pueda darse, hay que reunir pruebas para probar su prevalencia respecto a lo que se desea probar con la medición.
Cuando una medida se convierte en un objetivo, deja de ser una buena medida.
Marilyn Strathern, antropóloga
En las charlas y documentos de Ronny Kohavi pueden verse técnicas para la correcta selección, medición y análisis de métricas. Un buena charla para empezar sería la del CXL Live 2016 «A/B Testing Pitfalls: Getting Numbers You Can Trust is Hard«.
También hay más información en el artículo de TRPlane.com sobre el mal uso de OKR.
