Konfidenz sagt, wie deutlich die Antworten, die du bekommen hast, die führende Option bevorzugen, bei dieser Zahl von Antworten. Sie ist keine Gewissheit, dass die Führende objektiv die beste Option ist. Sie beschreibt, was diese Gruppe bei dieser Frage gewählt hat.
Bei wenigen Antworten kann ein kleiner Vorsprung Zufall sein. Ein deutlicher Vorsprung lässt sich bei einer Stichprobe dieser Größe kaum allein durch Zufall erklären.
Die drei Stufen
- Hoch: Der Vorsprung ist groß für diese Zahl von Antworten. Zufall allein ist eine unwahrscheinliche Erklärung. Du kannst danach handeln.
- Mittel: Die Führende liegt vorn, aber bei so vielen Antworten könnte der Abstand Zufall sein. Reicht für eine Entscheidung mit wenig Risiko.
- Niedrig: Der Vorsprung ist klein für diese Zahl von Antworten. Behandle die Optionen als knapp beieinander.
Wie wir sie berechnen
Wir vergleichen den Abstand zwischen den beiden besten Optionen damit, wie stark dieser Abstand bei dieser Zahl von Antworten zufällig schwanken könnte. Das ist der Standardfehler der Differenz zwischen den beiden Anteilen.
Ein Abstand von etwa dem Zweieinhalbfachen davon oder mehr ist Hoch. Etwa das Doppelte ist Mittel. Alles darunter ist Niedrig.
Bei Fragen mit einer Skala von 1 bis 5 nutzen wir eine einfachere Regel, die nur auf der Zahl der Antworten beruht: 30 oder mehr ist Hoch, 15 bis 29 ist Mittel, weniger ist Niedrig.
Die Konfidenz festigt sich, je mehr Antworten kommen.
Bei niedriger Konfidenz
- Frag mehr heads. Mehr Antworten können das Ergebnis klarer machen. Frag mehr Leute, wenn du mehr Sicherheit brauchst.
- Streich die schwächste Option. Weniger Optionen verteilen die Antworten weniger dünn.
- Frag nach dem Warum. Eine Freitext-Nachfrage an 20 heads auf Stufe 2 erklärt oft, warum die Meinungen auseinandergehen.
- Akzeptier den Gleichstand. Manchmal lautet die ehrliche Antwort, dass es den Leuten egal ist.
Konfidenz und eine Go-Linie
Wenn du bei einer Ja-/Nein-Frage eine Go-Linie setzt, nutzt das Urteil nicht die Konfidenzstufe. Es vergleicht den 95-%-Bereich des Ja-Anteils mit deiner Linie. Ein Vorsprung kann deutlich sein, während Ja noch unter deiner Linie liegt. Für die Entscheidung zählt also das Urteil. Siehe Ergebnisse lesen.
Was Konfidenz nicht sagt
Sie sagt nichts darüber, ob deine Frage gut war. Eine suggestive Frage kann einen deutlichen Vorsprung für das Falsche liefern. Sie sagt auch nicht, dass die Führende bei einer anderen Gruppe von Menschen gewinnen würde. Siehe Gute Fragen schreiben.