Die teuerste Annahme erkennt man immer zu spät

Was messbar ist, muss man noch nicht messen wollen

Es gibt einen Moment in jedem Projekt, in dem jemand sagt: Das lässt sich messen. Und das stimmt meistens. Die Infrastruktur läuft, die Daten fallen an, ein Dashboard ist in zwei Tagen gebaut. Was selten jemand fragt: ob das, was sich messen lässt, auch das ist, was man wissen will.

Wir haben das selbst mehrfach durchgemacht. In einem Projekt haben wir über Wochen aufgezeichnet, wie oft eine bestimmte Funktion aufgerufen wurde. Die Zahlen stiegen. Das fühlte sich nach Bestätigung an. Erst viel später, als wir anfingen, mit den tatsächlichen Nutzern zu sprechen, wurde klar: Die Funktion wurde aufgerufen, weil sie schwer zu finden war — nicht weil sie gebraucht wurde. Man öffnete sie und schloss sie gleich wieder. Unser Messwert stieg bei jedem dieser Fehlversuche.

Das ist das eigentliche Problem mit einfach verfügbaren Daten: Man beginnt, das Richtige aus dem Falschen zu lesen. Nicht aus Nachlässigkeit, sondern weil die Zahl plausibel klingt und weil niemand gerne sagt, dass die Datenlage nach drei Wochen Messung immer noch dünn ist.

Was der Messwert nicht sagen kann

Ein Klick ist kein Interesse. Eine Registrierung ist keine Absicht. Ein ausgefülltes Formular ist keine Entscheidung. Das klingt offensichtlich — aber in einem Entwicklungsprojekt unter Zeitdruck, mit einem Auftraggeber, der Zahlen sehen will, passiert es sehr leicht, dass man genau diese Gleichsetzungen still für sich vollzieht.

Wir hatten ein Buchungsmodul, bei dem die Abschlussquote sauber gemessen werden konnte. Sie lag bei 23 Prozent und stieg. Was wir nicht gemessen haben: wie viele der Buchungen storniert wurden, bevor sie irgendeinen wirtschaftlichen Effekt hatten. Als wir das nachholten, war die echte Quote weniger als halb so hoch. Die sichtbare Zahl war nicht falsch. Sie war nur die Hälfte einer Geschichte, die wir uns selbst erzählt haben.

Der Aufwand, den niemand nennt

Richtig messen kostet mehr als man denkt. Nicht technisch — das ist das Leichte. Sondern inhaltlich: Was genau will man beobachten? Unter welchen Bedingungen? Was verändert die Messung selbst am Verhalten der Menschen, die man beobachtet? Diese Fragen nehmen Zeit weg, die man lieber ins Bauen steckt. Also baut man und misst, was anfällt.

Der Preis kommt später. Man hat dann Daten, aber keine Antworten. Man hat Kurven, die man nicht interpretieren kann, weil die Bedingungen der Erhebung unklar waren. Und man hat, was schlimmer ist, ein Vertrauen in Zahlen, das nicht berechtigt ist — weil die Zahlen echt sind, aber nicht das beantworten, was man eigentlich wissen wollte.

In einem unserer Projekte haben wir das systematische Aufzeichnen von Nutzerverhalten ein halbes Jahr lang aufgeschoben — nicht weil wir keine Kapazität hatten, sondern weil wir uns nicht einig waren, was eine gute Nutzung überhaupt bedeutet. Das war, rückblickend, keine verlorene Zeit. Es war die Zeit, in der wir die Frage klärten, die jede Messung erst sinnvoll macht.

Wenn jeder Hinweis passt — weil man ihn passend liest

Es gibt eine Phase in fast jedem Projekt, in der alles zu stimmen scheint. Die Gespräche mit potenziellen Nutzern verlaufen gut. Niemand sagt, dass er die Idee schlecht findet. Wer gefragt wird, nickt. Diese Phase ist gefährlich — nicht weil sie lügt, sondern weil sie wahr ist und trotzdem in die falsche Richtung zeigt.

Der Fehler liegt nicht im Gespräch. Er liegt in der Frage. Wer eine Annahme schon gemacht hat, bevor er zuhört, hört anders zu. Ein „Das könnte hilfreich sein" klingt wie Bestätigung. Ein „Ich sehe das Problem noch nicht ganz" klingt wie eine Verständnisfrage. Ein Schweigen klingt wie Zustimmung. Alle drei sind Signale, die in beide Richtungen weisen könnten — aber in dem Moment, in dem man eine Richtung bevorzugt, zeigen sie nur noch eine.

Wie sich das anfühlt, von innen

Wir haben in einem frühen Projekt eine Funktion gebaut, die automatisch Texte für ein bestimmtes Gesprächsformat aufbereitete. Die Idee kam aus Beobachtungen: Mehrere Menschen aus der Zielgruppe verbrachten viel Zeit damit, ähnliche Texte immer wieder von Hand anzupassen. Das war messbar. Was wir daraus schlossen — dass sie das nicht mehr wollten — war eine Annahme.

Was uns bestätigte: Die ersten Testnutzer probierten die Funktion aus. Manche sagten, sie sei „praktisch". Einer fragte, ob man die Ausgabe noch nachbearbeiten könne. Wir interpretierten das als Wunsch nach mehr Kontrolle und bauten einen Editor dazu. Was wir nicht fragten: ob sie die Funktion überhaupt gebraucht hätten, wenn der Editor nicht dabei gewesen wäre.

Erst Monate später — als die Nutzungszahlen zeigten, dass fast niemand die automatische Aufbereitung verwendete und stattdessen direkt in den Editor einstieg — wurde klar, was die eigentliche Frage gewesen wäre. Wollten sie weniger Aufwand beim Texten, oder wollten sie einen besseren Editor? Die Antwort hätte die Funktion in eine andere Form gebracht. Oder gar nicht existieren lassen.

Das Muster, das dahintersteckt

Wer eine Annahme verteidigt, ohne es zu wissen, tut das selten durch Lügen. Er tut es durch Auswahl. Welche Rückmeldung man sich merkt. Welches Gespräch man als repräsentativ wertet. Welche Nachfrage man als Interesse liest — und welche als Verwirrung. Das ist kein Charakterfehler. Es ist eine Eigenschaft jeder Entscheidung unter Unsicherheit: Man schließt früher, als die Datenlage es erlaubt, und sucht danach Bestätigung statt Widerlegung.

• Man erinnert sich an Gespräche, die bestätigen — und vergisst, wie viele es gab.
• Man liest Nachfragen als Neugier, nicht als Skepsis.
• Man interpretiert Schweigen als Zustimmung, weil die Alternative unbequemer ist.
• Man erklärt abweichende Meinungen zum Sonderfall, bevor man geprüft hat, ob sie es sind.

Was dieses Muster teuer macht, ist nicht der Irrtum selbst. Es ist, wie lange er ungestört bleibt. Je mehr Aufwand bereits investiert wurde, desto höher liegt die Schwelle, eine Annahme als falsch anzuerkennen. Das erste Gespräch, das nicht passt, erklärt man zum Ausreißer. Das zweite auch. Erst wenn die Kosten zu sichtbar werden, um sie wegzuschweigen, wird die Annahme neu bewertet — und dann ist der Schaden oft schon beziffert.

Das alles passiert nicht vorsätzlich. Es passiert, weil eine gute Annahme sich anfühlt wie Wissen. Und weil man erst dann beginnt, den Unterschied zu messen, wenn der Unterschied schon etwas gekostet hat.

Ab wann eine Annahme anfängt, Geld zu kosten

Solange eine Annahme als solche benannt ist, ist sie harmlos. Das Problem beginnt, wenn sie aufhört, eine Annahme zu sein — nicht weil sie bewiesen wurde, sondern weil sie lange genug unwidersprochen im Raum stand.

Der Übergang ist selten ein Gespräch. Er passiert still, zwischen zwei Meetings: Eine Schätzung aus dem letzten Quartal taucht in einer Präsentation wieder auf, diesmal ohne das Wort „vermutlich". Ein Feature, das gebaut wurde, „weil die Nutzer das brauchen", steht plötzlich im Roadmap-Dokument als bestätigte Anforderung. Niemand hat das entschieden. Es ist einfach passiert.

Ab diesem Moment beginnt das Geld zu fließen — nicht als einzelner Betrag, sondern als Strom kleiner Entscheidungen, die alle dieselbe falsche Grundlage haben.

Was auf einer Annahme aufgebaut werden kann

• Eine zweite Funktion, die die erste voraussetzt
• Ein Testlauf mit echten Nutzern, der die erste Funktion demonstriert
• Ein Versprechen an einen Kunden, das sich auf die erste Funktion stützt
• Eine Stelle, die jemanden braucht, der die erste Funktion betreut

Jede dieser Entscheidungen ist für sich genommen vernünftig. Zusammen ergeben sie eine Struktur, die man nicht mehr abbauen kann, ohne alles andere auch zu berühren. Das ist der Punkt, an dem eine Annahme nicht mehr nur Geld kostet — sie kostet Optionen.

Wir haben das einmal mit einer Exportfunktion erlebt. Die Annahme war, dass Nutzer ihre Daten regelmäßig in ein bestimmtes Format exportieren würden. Nicht weil wir das gemessen hatten — weil ein früher Gesprächspartner es einmal erwähnt hatte und weil es plausibel klang. Drei Monate später hatten wir nicht nur den Export gebaut, sondern auch die Datenstruktur danach ausgerichtet, einen zweiten Dienst, der auf diesem Format aufsetzte, und eine Dokumentation, die es als zentrales Feature beschrieb. Als nach vier Monaten die Nutzungsdaten zeigten, dass der Export von zwei Prozent der aktiven Nutzer aufgerufen wurde, war das kein Signal mehr für eine Kurskorrektur. Es war ein Signal, das wir ignorierten — weil der Umbau teurer aussah als das Weitermachen.

Das ist die eigentliche Kostenantwort: Eine Annahme fängt an, Geld zu kosten, wenn der Beweis ihrer Falschheit günstiger wäre als die Konsequenzen des Umbaus. Wer in diesem Moment entscheidet weiterzumachen, entscheidet sich bewusst dafür — das ist legitim. Wer nicht entscheidet, entscheidet sich trotzdem, nur ohne es zu wissen.

Die Schwelle liegt dabei selten dort, wo man sie vermutet. Sie liegt nicht beim ersten Entwicklungstag, den man in eine falsche Richtung investiert. Sie liegt an dem Tag, an dem die zweite Entscheidung die erste voraussetzt. Denn ab da kann man die erste nicht mehr isoliert revidieren.

Signale, die wir gelernt haben zu ignorieren

Eines der frühesten war die Häufigkeit von Rückmeldungen. Wenn drei Nutzerinnen in einer Woche dasselbe bemängelten, haben wir das lange als Signal gewertet. Heute wissen wir: drei Stimmen beschreiben drei Menschen, nicht einen Markt. Wir haben trotzdem gebaut — und hinterher eine Funktion gepflegt, die von weniger als zwei Prozent der aktiven Accounts je geöffnet wurde.

Das zweite Signal war die Lautstärke. Wer eine Sache wiederholt und bestimmt fordert, scheint sie dringend zu brauchen. In einem Projekt haben wir über zwei Wochen eine Exportfunktion ausgebaut, weil ein einzelner Kunde sie in jedem Gespräch erwähnte. Er war der lauteste — und der einzige, der sie je nutzte. Die anderen hatten sich längst anders beholfen und das nie erwähnt, weil es für sie kein Problem war.

Was wir aufgehört haben zu zählen

Das Interesse an neuen Funktionen in den ersten Wochen nach einer Einführung. Die Neugier am Unbekannten ist real — sie sagt aber nichts darüber aus, ob jemand die Funktion in einem Monat noch anfasst. Wir haben gelernt, auf Wiederkehr zu warten statt auf Erstreaktionen zu reagieren.

Ähnlich verhält es sich mit Aussagen in Gesprächen. „Das wäre super" und „das würden wir sicher nutzen" beschreiben einen vorgestellten Zustand, keinen tatsächlichen Bedarf. In mehreren Projekten haben wir auf solche Zusagen gebaut und festgestellt, dass dieselben Menschen, die etwas für unverzichtbar hielten, es nach der Umsetzung kaum berührten — nicht aus Gleichgültigkeit, sondern weil die Lücke in ihrer Arbeit kleiner war als in ihrer Beschreibung.

Das teuerste Signal war das stille

Nicht das, was gesagt wurde — sondern das, was wir nicht gefragt haben. Ob jemand das Problem wirklich selbst hat, oder ob er es für andere beschreibt. Ob es täglich auftritt oder einmal im Quartal. Ob bereits ein Behelf existiert, der ausreicht, auch wenn er unbequem ist.

Ein Behelf, der funktioniert, ist kein Markt. Wir haben das zweimal gelernt — einmal mit einem Dokumentationswerkzeug, einmal mit einer Auswertungsfunktion. Beide Male gab es eine Lösung, die unbequem war und trotzdem ausreichte. Der Aufwand für das, was wir danach gebaut haben, stand in keinem Verhältnis zu dem, was tatsächlich genutzt wurde.

Was bleibt, ist eine Frage, die wir uns inzwischen früher stellen: Wie macht es jemand heute, ohne uns? Die Antwort darauf ist ehrlicher als jede Aussage darüber, was jemand sich wünschen würde.

Was bleibt, wenn die Datenlage dünn bleibt

Es gibt Entscheidungen, bei denen die Datenlage bis zum Schluss dünn bleibt. Nicht weil man zu wenig nachgefragt hat, sondern weil der Markt oder der Nutzer das Signal schlicht noch nicht gesendet hat. Wer so eine Entscheidung aufschiebt, bis mehr bekannt ist, wartet manchmal ein Jahr lang auf eine Klarheit, die erst entsteht, wenn man schon gestartet ist.

Was dann bleibt, ist keine Methode. Es ist eher eine Haltung gegenüber dem, was man weiß — und was man sich einredet zu wissen.

Die Liste trennen

Das Einzige, was zuverlässig hilft: aufschreiben, was Annahme ist und was Beobachtung. Nicht für andere, sondern für sich selbst. Wenn eine Entscheidung auf fünf Annahmen beruht, von denen drei nicht überprüfbar sind, ist das keine schlechte Entscheidung — aber es ist eine andere Entscheidung als eine, die auf drei belegten Beobachtungen steht. Wer das nicht trennt, behandelt beide als gleichwertig.

In unserer eigenen Arbeit hat uns das mehrfach eingeholt. Wir haben Funktionen gebaut, weil drei Gespräche mit Interessenten in dieselbe Richtung wiesen — und nicht aufgeschrieben, dass es drei Gespräche waren, keine dreißig, und dass alle drei denselben Hintergrund hatten. Ein Jahr später stand die Funktion im Produkt, aber niemand nutzte sie so, wie wir sie gebaut hatten. Die Annahme klang nach Beobachtung, weil wir nie festgehalten hatten, was sie war.

Annahmen mit einem Ablaufdatum versehen

Eine Annahme, die nie überprüft wird, altert unbemerkt. Sie wird nicht widerlegt — sie wird irgendwann zur Grundlage weiterer Entscheidungen, die ebenfalls niemand mehr hinterfragt. Der Weg von einer dünnen Datenlage zu einer Fehlentwicklung führt fast nie über eine einzelne große Fehlentscheidung, sondern über mehrere kleine, die aufeinander aufbauen.

Jede Annahme braucht einen Zeitpunkt, zu dem man sie neu bewertet. Nicht weil man dann mehr weiß — manchmal weiß man nicht mehr. Sondern weil der Markt sich verändert hat, weil Nutzer andere Fragen stellen, weil die Ausgangslage von vor einem Jahr nicht mehr die heutige ist. Eine Annahme, die man nach zwölf Monaten noch nicht überprüft hat, ist keine Annahme mehr. Sie ist eine Überzeugung.

Entscheiden, obwohl die Daten nicht reichen

Das ist am Ende die eigentliche Frage: Wie trifft man eine Entscheidung, wenn man weiß, dass die Grundlage dünn ist?

Nicht indem man so tut, als wäre sie dicker. Und nicht indem man wartet, bis sie dicker wird. Sondern indem man die Entscheidung so trifft, dass sie umkehrbar ist — oder zumindest so, dass der Schaden begrenzt bleibt, wenn die Annahme nicht hält. Eine kleine Umsetzung, die in sechs Wochen ein Signal erzeugt, ist eine andere Entscheidung als eine große, die in sechs Monaten fertig ist und erst dann bewertet werden kann.

Das ist kein Rezept. Es ist die Beschreibung einer Situation, die sich nicht auflöst — die aber beherrschbar wird, wenn man aufhört, so zu tun, als ob man sie schon aufgelöst hätte.