Quando um KPI é utilizado, seu impacto vai além da intenção de monitorar os objetivos e atingi-los. As medições feitas influenciam o comportamento das pessoas e os resultados de outras métricas relacionadas. Essas influências podem ser inesperadas e indesejáveis, por isso devem ser mitigadas ou outra medida escolhida.
Fazer as coisas não é o objetivo. O objetivo deve ser alcançar as coisas
Ao projetar um KPI, é relevante pensar nas possíveis consequências não intencionais de sua medição. Caso contrário, existe o risco de que o KPI faça mais mal do que bem.
Pensar nas consequências não intencionais de uma medida potencial é um passo fundamental antes de escolher os critérios finais de mediação para o objetivo perseguido. Em geral, são considerados os aspectos em que a medida pode ser um problema real e distorcido:
- A medida poderia ser ameaçadora, fazer as pessoas se sentirem julgadas e criar medo e defesa que poderiam levá-las a evitar ou ridicularizar a medida?
- A mudança poderia ser banalizada, dando às pessoas uma abordagem de visão de túnel com muito pouco resultado de negócios?
- A medida pode sabotar, onde as ações destinadas a melhorá-la inadvertidamente forçam outras áreas de atuação a sofrer?
- A medida poderia confundir, para que as pessoas pudessem implementá-la ou interpretá-la incorretamente sem saber?
Escolhas ruins de KPI
Exemplo 1.- Horários ferroviários
O KPI foi a porcentagem de trens que estavam no horário, e a consequência não intencional foi o cancelamento de serviços de trem que estavam rodando “demasiado” atrasados.
Cancelar os trens mais atrasados manteve o KPI em boas condições. Mas a um custo. Os clientes ficavam muito mais insatisfeitos se sua viagem para casa fosse cancelada do que se fosse adiada. A ironia foi que a execução foi medida pelo índice de satisfação dos clientes que chegaram na hora. Mas estava levando o resultado na direção errada.
Exemplo 2.- Controle de pragas
Quando os britânicos governaram a Índia, os burocratas de Délhi ficaram preocupados com a proliferação de cobras na cidade. Para controlar o problema, as autoridades ofereceram uma recompensa pelas peles de cobra. Esse incentivo econômico funcionou bem, muito bem.
Logo as cobras estavam sendo mortas à vontade, e o governo ficou satisfeito com a métrica que se baseava na recompensa pela entrega de peles de cobra. No entanto, vários índios empreendedores viram a oportunidade. Esses oportunistas começaram a criar cobras para suas peles.
Não demorou muito para que os britânicos tivessem armazéns saturados com peles de cobra. Quando os funcionários descobriram o golpe, eles retiraram a opção de compra. Mas isso não é o fim.
Com o programa de recompensas cancelado, inúmeros criadores de cobras em Delhi ficaram presos com "excesso de estoque". A bolha herpetológico explodiu e suas antigas cobras tornaram-se passivos letais. Então os criadores soltaram suas víboras. E mais uma vez, Delhi teve um problema de cobra, mas desta vez pior do que antes.
A mesma coisa aconteceu durante a ocupação francesa do Vietnã. Ratos atormentaram Hanói. As autoridades ofereceram uma recompensa por cada rabo de rato. Resultado: os cidadãos começaram a criar ratos para trocar por suas caudas. Quando a recompensa foi retirada, os ratos foram soltos na cidade.
Fort Benning, na Geórgia, estava tendo um problema com javalis. O Exército ofereceu aos caçadores uma recompensa de US$ 40 para cada rabo de porco entregue. As pessoas começaram a comprar rabos de porco de açougues e matadouros a preços de "atacado", depois "revendendo-os" ao Exército por um preço mais alto.
Exemplo 3.- Wells Fargo
O Wells Fargo estabeleceu metas de vendas irreais para os funcionários do banco e exerceu enorme pressão para atingir essas metas. Resultado: Abertura desenfreada de contas não autorizadas por funcionários para cumprir a meta e manter seus empregos.
Um KPI ruim pode gerar um comportamento contrário ao que você deseja medir. Na seleção adversa, o comprador em uma transação tem mais informações do que o vendedor e usa esse conhecimento para obter uma vantagem injusta. Por exemplo, uma pessoa cujo carro está fora da garantia, mas precisa de reparos, pode adquirir uma garantia estendida antes de levar o carro à oficina. Nesses casos, é o vendedor que tem mais conhecimento do que o comprador e o utiliza para tirar vantagem desleal.
Nem sempre é ruim estar errado
Nem todas as consequências não intencionais são prejudiciais, como nos exemplos acima. Alguns KPIs podem produzir benefícios inesperados. Como descobrir que uma medida tem alavancagem inesperada para melhorar outros resultados de negócios. Ou que tem um poder preditivo que o torna um poderoso indicador do futuro para um melhor resultado empresarial. Ou que conduza mais comportamento do que o necessário ou desejado.
Isso não significa necessariamente que o KPI deve morrer.
A verificação de consequências não intencionais de uma medida oferece uma oportunidade de fazer algo antes que seja tarde demais. Pode ser decidido não medi-lo, mas apenas como último recurso, se nenhum desses métodos de mitigação funcionar:
- Quando a medida mostra uma ameaça, você pode focar as pessoas na colaboração para melhorar um processo de negócios, em vez de se preocupar em ser julgado?
- Quando a medida é banalizada, ela pode ser acompanhada de uma ou duas medidas complementares que, juntas, dão uma visão mais completa do resultado?
- Quando a medida falha, outras medidas podem ser monitoradas ao lado dela e suas metas definidas para encontrar equilíbrio em vez de conflito?
- Onde a medida é confusa, você pode simplesmente esclarecer o que significa ou fornecer mais informações sobre sua redação?
Quando os riscos de uma medida são suficientemente graves, é possível que a medida também tenha um período experimental. Seria sensato monitorar consequências não intencionais para descobrir quão ruins elas realmente são e quão realista pode ser mitigá-las.
Resumo
Ao considerar o uso de um KPI que você não tem certeza de que está gerando o resultado desejado, você pode usar algumas das abordagens deste artigo para procurar possíveis consequências não intencionais. Onde pode ocorrer, deve-se reunir evidências para comprovar sua prevalência em relação ao que se deseja provar com a medição.
Quando uma medida se torna uma meta, ela deixa de ser uma boa medida.
Marilyn Strathern, antropóloga
Nas conversas e documentos de Ronny Kohavi Técnicas para a correta seleção, medição e análise de métricas podem ser vistas. Uma boa conversa para começar seria o CXL Live 2016 «Armadilhas do teste A/B: obter números em que você pode confiar é difícil".
Também há mais informações no artigo TRPlane.com sobre o Uso indevido de OKR.
