YaK (Noch ein KPI)

Wenn ein KPI verwendet wird, geht seine Wirkung über die Absicht hinaus, Ziele zu überwachen und zu erreichen. Die durchgeführten Messungen beeinflussen das Verhalten von Personen und die Ergebnisse anderer verwandter Metriken. Diese Einflüsse können unerwartet und unerwünscht sein, daher müssen sie gemindert oder eine andere Maßnahme gewählt werden.

Dinge zu tun ist nicht das Ziel. Das Ziel sollte sein, Dinge zu erreichen

Beim Entwerfen eines KPI ist es wichtig, über die möglichen unbeabsichtigten Folgen seiner Messung nachzudenken. Andernfalls besteht die Gefahr, dass der KPI mehr schadet als nützt.

Das Nachdenken über die unbeabsichtigten Folgen einer potenziellen Maßnahme ist ein wichtiger Schritt vor der Auswahl der endgültigen Vermittlungskriterien für das verfolgte Ziel. Im Allgemeinen werden Aspekte berücksichtigt, bei denen die Maßnahme ein echtes und verzerrendes Problem darstellen könnte:

• Könnte die Maßnahme bedrohlich sein, Menschen dazu bringen, sich beurteilt zu fühlen, und Angst und Abwehr hervorrufen, die dazu führen könnten, dass sie die Maßnahme vermeiden oder verspotten?
• Könnte der Schritt trivialisiert werden und den Menschen einen Tunnelblick mit zu wenig Geschäftsergebnis geben?
• Könnte die Maßnahme sabotieren, wenn Maßnahmen zur Verbesserung unbeabsichtigt andere Leistungsbereiche in Mitleidenschaft ziehen?
• Könnte die Maßnahme verwirren, sodass Menschen sie unwissentlich falsch umsetzen oder interpretieren könnten?

Schlechte KPI-Auswahl

Beispiel 1.- Bahnfahrpläne

Der KPI war der Prozentsatz der planmäßigen Züge, und die unbeabsichtigte Folge war der Ausfall von Zügen, die „zu“ spät fuhren.

Durch die Streichung der am stärksten verspäteten Züge blieb der KPI in gutem Zustand. Aber zu einem Preis. Die Kunden waren viel unzufriedener, wenn ihre Heimreise abgesagt wurde, als wenn sie sich verzögerte. Die Ironie war, dass die Ausführung an der Zufriedenheit der Kunden gemessen wurde, die pünktlich ankamen. Aber es trieb das Ergebnis in die falsche Richtung.

Beispiel 2.- Schädlingsbekämpfung

Als die Briten Indien regierten, machten sich die Bürokraten in Delhi Sorgen über die Verbreitung von Kobras in der Stadt. Um das Problem in den Griff zu bekommen, boten die Behörden eine Belohnung für die Kobrahäute an. Dieser wirtschaftliche Anreiz funktionierte gut, zu gut.

Bald wurden Kobras nach Belieben getötet, und die Regierung war mit der Metrik zufrieden, die auf der Belohnung für die Lieferung von Kobrahäuten basierte. Mehrere unternehmungslustige Inder sahen jedoch die Gelegenheit. Diese Opportunisten begannen, Kobras für ihre Haut zu züchten.

Es dauerte nicht lange, bis die Briten Lagerhäuser hatten, die mit Kobrahäuten vollgestopft waren. Als Beamte den Betrug entdeckten, zogen sie die Kaufoption zurück. Aber das ist nicht das Ende.

Mit der Einstellung des Prämienprogramms blieben unzählige Kobra-Züchter in Delhi mit „überschüssigem Inventar“ hängen. Die Blase herpetologisch es war explodiert und seine ehemaligen Kobras waren zu tödlichen Gefahren geworden. Also ließen die Züchter ihre Viper frei. Und wieder einmal hatte Delhi ein Kobraproblem, aber dieses Mal schlimmer als zuvor.

Dasselbe geschah während der französischen Besetzung Vietnams. Ratten plagen Hanoi. Die Behörden setzten eine Belohnung für jeden Rattenschwanz aus. Ergebnis: Die Bürger begannen, Ratten zu züchten, um ihre Schwänze einzutauschen. Als das Kopfgeld zurückgezogen wurde, wurden die Ratten in die Stadt entlassen.

Fort Benning, Georgia, hatte ein Wildschweinproblem. Die Armee bot Jägern ein Kopfgeld von 40 Dollar für jeden abgegebenen Schweineschwanz. Die Leute begannen, Schweineschwänze von Metzgern und Schlachthöfen zu "Großhandelspreisen" zu kaufen und sie dann zu einem höheren Preis an die Armee "weiterzuverkaufen".

Beispiel 3.- Wells Fargo

Wells Fargo setzte unrealistische Verkaufsziele für Bankangestellte und übte enormen Druck aus, diese Ziele zu erreichen. Ergebnis: Zügelloses Öffnen nicht autorisierter Konten durch Mitarbeiter, um das Ziel zu erreichen und ihre Arbeitsplätze zu behalten.

Ein schlechter KPI kann Verhaltensweisen erzeugen, die dem widersprechen, was Sie messen möchten. Bei der Adverse Selection verfügt der Käufer in einer Transaktion über mehr Informationen als der Verkäufer und nutzt dieses Wissen, um sich einen unfairen Vorteil zu verschaffen. Zum Beispiel kann eine Person, deren Auto keine Garantie mehr hat, aber repariert werden muss, eine erweiterte Garantie erwerben, bevor sie das Auto in die Werkstatt bringt. In diesen Fällen hat der Verkäufer mehr Wissen als der Käufer und nutzt es, um sich einen unlauteren Vorteil zu verschaffen.

Es ist nicht immer schlecht, sich zu irren

Nicht alle unbeabsichtigten Folgen sind schädlich, wie in den obigen Beispielen. Einige KPIs können unerwartete Vorteile bringen. Wie die Entdeckung, dass eine Maßnahme eine unerwartete Hebelwirkung hat, um andere Geschäftsergebnisse zu verbessern. Oder dass es eine Vorhersagekraft hat, die es zu einem aussagekräftigen Zukunftsindikator für ein besseres Geschäftsergebnis macht. Oder dass es mehr Verhalten antreibt, als erforderlich oder erwünscht ist.
Es bedeutet nicht unbedingt, dass der KPI sterben sollte.

Die Überprüfung auf unbeabsichtigte Folgen einer Maßnahme bietet die Möglichkeit, etwas zu tun, bevor es zu spät ist. Es könnte entschieden werden, es nicht zu messen, aber nur als letztes Mittel, wenn keine dieser Minderungsmethoden funktioniert:

• Wenn die Maßnahme eine Bedrohung darstellt, können Sie die Mitarbeiter auf die Zusammenarbeit konzentrieren, um einen Geschäftsprozess zu verbessern, anstatt sich Sorgen zu machen, beurteilt zu werden?
• Wenn die Maßnahme trivialisiert wird, kann sie von einer oder zwei ergänzenden Maßnahmen begleitet werden, die zusammen ein vollständigeres Bild des Ergebnisses ergeben?
• Wenn die Maßnahme fehlschlägt, können andere Maßnahmen parallel dazu überwacht und ihre Ziele so festgelegt werden, dass sie einen Ausgleich statt einen Konflikt finden?
• Wenn die Maßnahme verwirrend ist, können Sie einfach klarstellen, was sie bedeutet, oder mehr Hintergrundinformationen zu ihrer Formulierung geben?

Wenn die Risiken einer Maßnahme schwerwiegend genug sind, kann die Maßnahme auch erprobt werden. Es wäre ratsam, unbeabsichtigte Folgen zu überwachen, um herauszufinden, wie schlimm sie wirklich sind und wie realistisch es sein kann, sie zu mindern.

Zusammenfassung

Wenn Sie erwägen, einen KPI zu verwenden, von dem Sie nicht sicher sind, ob er das gewünschte Ergebnis erzielt, können Sie einige der Ansätze in diesem Artikel verwenden, um nach potenziellen unbeabsichtigten Folgen zu suchen. Wo es auftreten kann, müssen Beweise gesammelt werden, um seine Prävalenz im Verhältnis zu dem zu beweisen, was Sie mit der Messung beweisen möchten.

Wenn eine Maßnahme zu einem Ziel wird, hört sie auf, eine gute Maßnahme zu sein.

Marilyn Strathern, Anthropologe

In den Gesprächen und Dokumenten von Ronny Kohavi Techniken zur richtigen Auswahl, Messung und Analyse von Metriken sind zu sehen. Ein guter Einstiegsvortrag wäre die CXL Live 2016 «Fallstricke bei A/B-Tests: Zahlen zu bekommen, denen Sie vertrauen können, ist schwierig«.

Weitere Informationen finden Sie auch im TRPlane.com-Artikel über die OKR-Missbrauch.