La confiance indique la force avec laquelle les réponses obtenues favorisent l’option en tête, pour ce nombre de réponses. Ce n’est pas la certitude que l’option en tête est objectivement la meilleure. Elle décrit ce que ce groupe a choisi pour cette question.
Avec peu de réponses, une petite avance peut être due au hasard. Une forte avance s’explique difficilement par le seul hasard pour un échantillon de cette taille.
Les trois niveaux
- Élevée : l’avance est grande pour ce nombre de réponses. Le hasard seul est une explication peu probable. Vous pouvez agir.
- Moyenne : l’option en tête est devant, mais avec ce nombre de réponses l’écart pourrait être dû au hasard. Cela suffit pour un choix peu risqué.
- Faible : l’avance est petite pour ce nombre de réponses. Considérez les options comme proches.
Comment nous la calculons
Nous comparons l’écart entre les deux premières options avec la variation que cet écart pourrait avoir par hasard pour ce nombre de réponses. C’est l’erreur type de la différence entre les deux parts.
Un écart d’environ deux fois et demie cette valeur ou plus donne Élevée. Environ deux fois donne Moyenne. Tout écart plus petit donne Faible.
Pour les questions sur une échelle de 1 à 5, nous utilisons une règle plus simple fondée uniquement sur le nombre de réponses : 30 ou plus donne Élevée, de 15 à 29 Moyenne, et moins Faible.
La confiance se précise à mesure que les réponses arrivent.
Quand la confiance est faible
- Interrogez plus de heads. Davantage de réponses peuvent rendre le résultat plus clair. Interrogez plus de personnes si vous avez besoin de plus de certitude.
- Retirez l’option la plus faible. Moins d’options dispersent moins les réponses.
- Demandez pourquoi. Une question de suivi en texte libre à 20 heads de niveau 2 explique souvent pourquoi les avis divergent.
- Acceptez l’égalité. Parfois, la réponse honnête est que les gens n’ont pas de préférence.
Confiance et seuil de go
Si vous fixez un seuil de go sur une question Oui / non, le verdict n’utilise pas le niveau de confiance. Il compare la fourchette à 95 % de la part de Oui avec votre seuil. Une avance peut être nette alors que le Oui reste sous votre seuil : pour la décision, fiez-vous au verdict. Voir lire vos résultats.
Ce que la confiance ne dit pas
Elle ne dit rien sur la qualité de votre question. Une question orientée peut produire une forte avance pour la mauvaise chose. Elle ne dit pas non plus que l’option en tête gagnerait avec un autre groupe de personnes. Voir bien rédiger ses questions.