Wenn die Messung stimmt und die Prognose trotzdem falsch ist

Die Schätzung: eine saubere Messung, eine falsche Prognose

Vor der Entscheidung, Kundendaten dauerhaft zu speichern, stand eine einfache Frage: Wie viel Speicher wird das in 90 Tagen beanspruchen? Die Antwort sollte aus echten Daten kommen.

Das System lief damals seit 44 Tagen. In dieser Zeit hatten sich 6.857 protokollierte Anfragen angesammelt. Jede hatte eine messbare Datengröße. Geteilt durch die Tage ergab das 147 Anfragen täglich. Multipliziert mit 3,4 Kilobyte pro Anfrage und mit 90 Tagen Aufbewahrungszeit: rund 63 Megabyte. Auf einem Server mit 157 Gigabyte freiem Speicher kein nennenswerter Aufwand.

Einen Tag nach dem Start lag der tatsächliche Tageswert bei 5,30 Megabyte.

Das ist der Faktor 7,6. Aus 63 Megabyte wurden 477.

Was an diesem Ergebnis zunächst verwirrt, ist nicht die Abweichung als solche. Schätzungen liegen daneben — das ist keine Ausnahme. Was verwirrt, ist die Güte der Ausgangsmessung. Die 44 Tage waren kein Rückgriff auf Annahmen oder Erfahrungswerte aus vergleichbaren Projekten. Es war echter Betrieb: echte Anfragen, tatsächliche Lastverteilung, protokollierte Kilobyte. Die Bytes pro Anfrage — der einzige Wert, den die Schätzung direkt verwendet — stimmten auf den Kilobyte genau.

Trotzdem lag die Prognose um fast eine Größenordnung daneben.

Eine Messung, die sauber ist, sagt nicht notwendigerweise das Richtige vorher. Das klingt wie eine Selbstverständlichkeit. Gemessen an der Zahl der Entscheidungen, die täglich auf Messwerte gestützt werden, ohne diese Frage zu stellen, ist es das nicht.

Was die 44 Tage nicht zeigten

Die 6.857 Anfragen in diesem Zeitraum waren real. Der Durchschnitt von 147 täglich war kein Ausreißer, sondern ein stabiler Wert über Wochen. Wer die Kurve anschaute, sah keine Ausschläge, keine Lücken, keinen Grund zur Skepsis.

Was sich in den Daten nicht abzeichnete: Einer der größten einzelnen Nutzer lief in diesen 44 Tagen noch nicht auf seinem normalen Niveau.

Ein automatisierter Bewertungsprozess für eingehende Anfragen — er ist in der Messung sichtbar, er produzierte täglich Aufrufe, er tauchte im Durchschnitt auf. Aber er befand sich noch in der Anlaufphase. Das Hochlaufvolumen, das wenige Wochen später als Regelbetrieb galt, hatte er noch nicht erreicht.

Was Anlaufphasen in Zahlen verbergen

Als der Vollbetrieb begann, lag das tägliche Volumen bei 1.622 Anfragen — das Elffache. Nicht weil etwas hinzugekommen wäre. Nicht weil neue Prozesse gestartet wurden. Derselbe Nutzer, derselbe Ablauf, aber jetzt in dem Tempo, das er von Beginn an angestrebt hatte.

Die 44 Tage zeigten einen Prozess, der läuft. Sie zeigten nicht, wie weit er noch laufen würde. Das ist kein Fehler der Messung — die Messung hat korrekt aufgezeichnet, was in diesem Zeitraum passiert ist. Das Problem ist, dass ein Prozess in der Anlaufphase und derselbe Prozess im Regelbetrieb zwei verschiedene Dinge sind, die in einer Momentaufnahme identisch aussehen.

Das Elffache kam ohne Ankündigung

Es gab kein Signal in den 44-Tage-Daten, das auf diesen Sprung hingedeutet hätte. Die Kurve war flach. Der Tageswert schwankte wenig. Wer eine Hochrechnung auf dieser Basis aufstellte, tat das methodisch sauber — und auf einer Basis, die genau den falschen Moment abbildete.

63 Megabyte als Speicherbedarf auf 90 Tage hochgerechnet. 477 Megabyte gemessen. Das Verhältnis von 7,6 zu 1 erklärt sich fast vollständig aus diesem einen Treiber: einem Prozess, der im Messfenster noch nicht dort war, wo er kurz danach war.

Wer auf den Daten saß, hatte keinen Hinweis darauf, dass der größte Einzelverbraucher im System gerade erst anlief. Die Zahl 147 war keine Unterschätzung — sie war eine präzise Beschreibung eines Systems im Übergang, das wie ein System im Gleichgewicht aussah.

Wenn Stichproben das Falsche messen

Es gibt eine zweite Art von Fehleinschätzung, die schwieriger zu erkennen ist als ein zu kurzer Beobachtungszeitraum. Die Messung ist korrekt ausgeführt. Der Zeitraum war lang genug. Aber das Gemessene ist nicht das, was das Ergebnis tatsächlich bestimmt.

Ein Makler zählt, wie viele Anfragen pro Woche eingehen — und zieht daraus Rückschlüsse auf seine Kapazität. Die Zahl ist korrekt. Was sie nicht unterscheidet: wie aufwändig die einzelne Anfrage ist. Eine Verkaufsanfrage mit klarer Situation und eine Anfrage von jemandem, der erst herausfinden möchte, ob er überhaupt kaufen will, gehen als dieselbe Einheit in die Statistik. Wächst die zweite Gruppe, steigt der Aufwand — aber die Anfragezahl bleibt stabil.

Die Kennzahl, die trügt, ohne falsch zu sein

Bei der Schätzung des Speicherbedarfs für die Protokolldaten haben wir täglich 147 abgeschlossene Anfragen gezählt — über 44 Tage. Die Zahl stimmte. Was sie nicht erfasste: Anfragen sind nicht gleich groß. Eine einfache Anfrage belegt ein paar Kilobyte. Eine Anfrage, die einen umfangreichen Sachverhalt analysiert oder ein längeres Dokument bewertet, belegt ein Vielfaches davon.

Als ein einzelner Anfragetyp stark wuchs — nämlich die Bewertungsanfragen aus der Lead-Qualifizierung —, wuchs der Speicherbedarf nicht im gleichen Verhältnis wie die Anzahl, sondern deutlich stärker. Wir hatten Stückzahl gemessen, obwohl die relevante Variable Volumen je Stück war.

Der Durchschnitt verbarg, was sich im Mix verändert hatte.
Die Stichprobe war repräsentativ für die Anzahl — nicht für die Zusammensetzung.
Eine zweite Messung — Größe je Anfrage, aufgeteilt nach Typ — hätte das gezeigt. Sie fehlte.

Wenn die Kennzahl stimmt und das Bild trotzdem trügt

Das trifft nicht nur Softwareentwicklung. Ein Verwalter, der die Anzahl der Mietanfragen im Blick behält, bemerkt möglicherweise nicht, dass die Bearbeitungszeit je Anfrage gestiegen ist — weil die Anfragen komplizierter wurden. Ein Berater, der seine Abschlussquote misst, sieht nicht, dass die Qualität der Erstgespräche gesunken ist, wenn beide als „Gespräch" zählen. Die Kennzahl bleibt stabil; was sich darunter verschoben hat, bleibt unsichtbar.

In jedem dieser Fälle ist die Kennzahl korrekt. Sie beschreibt genau das, was gezählt wurde. Aber sie beschreibt nicht, was sich darunter verändert hat — weil sie keine Aussage über die Zusammensetzung macht, nur über die Menge.

Das lässt sich oft erst im Nachhinein erkennen: wenn ein Wert stabil bleibt und die Wirklichkeit trotzdem nicht mehr stimmt. Die Frage, die davor helfen würde, ist selten „Stimmt die Zahl?", sondern „Trägt diese Zahl wirklich das Muster, das ich verstehen will?" — und ob das, was unter dem Durchschnitt steckt, homogen genug ist, um als Einheit behandelt zu werden.

Woran man erkennt, ob ein Zeitraum repräsentativ war

Die einfachste Kontrollfrage lautet: Hat sich in dem Zeitraum etwas verändert, das Sie damals noch nicht gesehen haben? Ein Produkt wurde gerade eingeführt. Ein neuer Vertriebskanal startete kurz danach. Eine Kampagne lief an. Wenn ja, zeigt die Messung den Zustand vor dem Wandel — nicht den Zustand, auf den Sie hochrechnen.

Das ist schwerer zu erkennen, als es klingt. Der Zeitraum liegt hinter Ihnen. Sie haben damals nicht gewusst, was danach kam. Und die Zahl, die herauskommt, sieht genauso aus wie eine Zahl aus einer stabilen Phase.

Drei Zeichen, die auf einen nicht repräsentativen Zeitraum hinweisen

Die Werte steigen am Ende des Messzeitraums. Wenn die letzten Wochen höher liegen als die ersten, zeigt der Durchschnitt weder den Anfang noch das Ende — sondern etwas dazwischen, das so nie stabil existierte.
Etwas Wesentliches hat kurz nach dem Zeitraum begonnen. Ein neues Angebot, eine neue Zielgruppe, eine veränderte Nachfrage. Dann beschreibt die Messung eine Phase, die vorbei ist.
Der Zeitraum liegt im Anlauf. Neue Systeme, neue Vertriebswege, neue Märkte brauchen Zeit, bis sie ihr normales Niveau erreichen. Was in den ersten Wochen gilt, gilt selten für das erste Jahr.

Ein weiteres Zeichen ist die interne Konsistenz. Wenn die Werte innerhalb des Zeitraums stark schwanken — nicht saisonal, sondern unregelmäßig —, ist der Durchschnitt eine statistische Fiktion. Er beschreibt keinen typischen Tag, sondern das rechnerische Mittel aus sehr unterschiedlichen Tagen.

Die Frage nach der Veränderungsrate

Repräsentativität hat auch mit Tempo zu tun. In einem Markt, der sich langsam bewegt, kann ein Quartal genug sein. In einem, der gerade anzieht, kann ein Quartal zu viel sein — weil die letzten Wochen schon eine andere Realität zeigen als die ersten.

Für Makler und Verwalter bedeutet das zum Beispiel: Anfragezahlen aus dem Herbst 2023 sagen wenig über den Frühling 2024 aus — nicht wegen der Saison, sondern wegen der Zinsentwicklung, die dazwischen lag. Die Messung war sauber. Der Markt hatte sich verändert.

Woran man es im Nachhinein erkennt: Die Prognose, die man daraus abgeleitet hat, liegt nicht um zehn oder zwanzig Prozent daneben. Sie liegt um den Faktor zwei, fünf oder zehn daneben. Ein solcher Abstand entsteht nicht durch Rechenfehler. Er entsteht, wenn der Messzeitraum eine Momentaufnahme war und man ihn für einen Normalzustand gehalten hat.

Das ist kein Vorwurf an diejenigen, die gemessen haben. Es ist eine Eigenschaft von Daten: Sie zeigen, was war. Ob das, was war, typisch für das ist, was kommt — das steht nicht in der Zahl selbst.

Was übrig bleibt

Die Zahl war richtig. Das ist das Unbequeme daran. Wer eine Fehlkalkulation erlebt hat, die sich auf einen Rechenfehler zurückführen ließ, hatte wenigstens eine Antwort: Dort war der Fehler, dort hätte man genauer hinschauen müssen. Wenn die Zahl stimmt und die Schlussfolgerung trotzdem nicht trägt, gibt es diese Antwort nicht.

Was bleibt, ist eine offene Frage über alle anderen Annahmen, die auf ähnliche Weise entstanden sind. Ein Zeitraum wurde gemessen, ein Durchschnitt berechnet, daraus eine Erwartung abgeleitet. Das ist vernünftig. Es ist auch das, was die meisten tun — und die meisten merken nicht sofort, wenn der Messzeitraum gerade den falschen Ausschnitt erwischt hat.

Was sich nicht zurücknehmen lässt

In dem Moment, in dem die falsche Prognose zur Grundlage einer Entscheidung wurde, war der Schaden bereits eingetreten — auch wenn er erst Wochen später sichtbar wurde. In dem Beispiel aus dem Entwicklungsalltag war die Speicherplanung auf 63 MB ausgelegt. Tatsächlich entstanden 477 MB. Nicht weil jemand nachlässig gerechnet hatte, sondern weil die Messung aus einem Zeitraum stammte, bevor das Anfragevolumen sich vervielfacht hatte. Der Messzeitraum war methodisch sauber. Er beschrieb bloß nicht das, was danach kam.

Das lässt sich auf fast jeden Planungskontext übertragen. Eine Maklerin schätzt auf Basis der Anfragen aus dem Herbst, wie viel Kapazität sie im Frühjahr braucht — ohne zu wissen, dass ihr Herbst saisonal unterdurchschnittlich war. Ein Verwalter kalkuliert Bearbeitungszeiten nach einem Quartal mit ungewöhnlich wenig Mieterwechseln. Eine Inhaberin legt ihren Personalbedarf anhand eines Jahres fest, das zufällig ruhiger war als alle Jahre davor. Die Schätzungen sind jeweils nachvollziehbar. Sie stimmen trotzdem nicht.

Der blinde Fleck im Rückspiegel

Zahlen aus der Vergangenheit beschreiben, was war. Sie beschreiben nicht, ob das, was war, für das gilt, was kommt. Diese Unterscheidung ist leicht zu treffen, solange man daran erinnert wird. Unter Zeitdruck, mit einer Tabelle, die plausibel aussieht, trifft man sie seltener.

Das Problem ist nicht, dass die Messung ungenau war. Das Problem ist, dass eine genaue Messung das Gefühl vermittelt, auf sicherem Boden zu stehen — auch dann, wenn der Boden, den sie beschreibt, nicht der Boden ist, auf dem man gleich stehen wird. Eine Hochrechnung über eine Strukturveränderung hinweg liest sich wie eine Messung. Sie ist keine.

Was übrig bleibt, ist keine Methode und kein Werkzeug. Es ist die Frage, welche der laufenden Planungen auf einem Messzeitraum beruhen, der zufällig den falschen Ausschnitt erwischt hat. Die meisten davon sieht man erst, wenn die Diskrepanz groß genug ist, um aufzufallen — und dann ist die Entscheidung längst gefallen.