Calculateur de significativité des tests A/B

Comment utiliser cet outil

Suivez ces étapes pour calculer la signification statistique de votre test A/B :

1. Saisissez le nombre total de visiteurs pour la variante A et la variante B dans les champs de saisie correspondants.
2. Saisissez le nombre de conversions (ventes, inscriptions, clics) pour chaque variante.
3. Sélectionnez votre niveau de confiance souhaité : 90 %, 95 % ou 99 % (95 % est la norme pour la plupart des tests commerciaux).
4. Choisissez votre type de test : bilatéral (vérifie si les variantes diffèrent) ou unilatéral (vérifie si la variante B surpasse A).
5. Cliquez sur le bouton Calculer pour afficher les résultats, ou sur Réinitialiser pour effacer tous les champs.
6. Utilisez le bouton Copier les résultats pour enregistrer vos conclusions dans votre presse-papiers.

Formule et logique

Ce calculateur utilise la méthodologie standard du test z pour deux proportions dans les tests A/B :

• Taux de conversion par variante : calculé comme (Conversions / Visiteurs) * 100
• Proportion combinée : taux de conversion global des deux variantes, utilisé pour calculer l'erreur type
• Score Z : mesure de l'écart type entre la différence des variantes et zéro
• Valeur P : probabilité d'observer les résultats du test s'il n'existe aucune différence réelle entre les variantes
• Intervalle de confiance : plage dans laquelle la différence réelle des taux de conversion est susceptible de se situer, en fonction du niveau de confiance sélectionné

Pour les tests unilatéraux, nous vérifions uniquement si la variante B est plus performante que A. Pour les tests bilatéraux, nous vérifions toute différence entre les variantes.

Remarques pratiques

Appliquez ces directives spécifiques à votre activité lors de l'interprétation des résultats :

• Un niveau de confiance de 95 % est la référence standard pour les tests de commerce électronique et de marketing, équilibrant risque et rapidité. Utilisez 99 % pour les changements à fort enjeu comme les ajustements de prix ou de processus de paiement.
• Un minimum de 1000 visiteurs par variante est recommandé pour garantir des résultats fiables, selon les références courantes du secteur du commerce électronique.
• L'amélioration relative montre le pourcentage d'amélioration de B par rapport à A : utilisez-la pour calculer l'impact potentiel sur les revenus (par exemple, une amélioration de 10 % sur un revenu mensuel de 10 000 $ = 1 000 $ de revenus supplémentaires).
• Des résultats non significatifs ne signifient pas que le changement n'a aucun effet : cela signifie que vous avez besoin d'un échantillon plus important pour détecter une différence. Utilisez cela pour justifier la prolongation de la durée du test.
• Pour les tests de prix, assurez-vous que la différence de taux de conversion dépasse votre seuil de marge bénéficiaire pour justifier le changement (par exemple, une marge de 5 % nécessite au moins 5 % d'amélioration de la conversion pour atteindre le seuil de rentabilité).

Pourquoi cet outil est utile

Les propriétaires de petites entreprises, les spécialistes du marketing et les vendeurs en ligne utilisent cet outil pour :

• Éviter de déployer des changements qui nuisent aux taux de conversion, réduisant ainsi les dépenses publicitaires gaspillées et les pertes de revenus.
• Valider les ajustements de pages d'atterrissage, les changements de créations publicitaires et les ajustements de prix avec des données plutôt que par intuition.
• Prioriser les tests à fort impact en comparant le potentiel d'amélioration aux coûts de mise en œuvre.
• Répondre aux exigences internes de reporting pour une prise de décision fondée sur les données, courante dans les équipes commerciales et marketing.

Questions fréquemment posées

Quelle taille d'échantillon me faut-il pour des résultats fiables ?

La plupart des références du secteur recommandent au moins 1000 visiteurs par variante, mais cela dépend de votre taux de conversion de base. Des taux de base plus faibles (par exemple, 1 % pour les campagnes d'e-mails à froid) nécessitent des échantillons plus importants pour détecter de petites différences.

Quelle est la différence entre les tests unilatéraux et bilatéraux ?

Utilisez un test bilatéral si vous voulez savoir si les variantes sont différentes (A meilleur que B ou vice versa). Utilisez un test unilatéral si vous vous intéressez uniquement à savoir si votre nouvelle variante (B) est meilleure que l'originale (A), ce qui est courant pour les tests d'optimisation où vous ne déploierez pas B s'il est moins performant.

Puis-je utiliser cet outil pour des tests avec des métriques non liées aux conversions ?

Oui, tant que la métrique est un résultat binaire (par exemple, clic ou non-clic, inscription ou non-inscription). Pour les métriques continues (par exemple, la valeur moyenne des commandes), utilisez un calculateur de test t différent.

Conseils supplémentaires

Lorsque vous réalisez des tests A/B pour votre entreprise :

• Ne testez qu'une seule variable à la fois (par exemple, uniquement le titre, et non le titre et l'image) pour isoler l'impact de chaque changement.
• Réalisez les tests sur des cycles commerciaux complets (par exemple, 7 jours pour les schémas de ventes hebdomadaires) pour éviter des résultats faussés par les différences de trafic entre week-ends et jours de semaine.
• Documentez les paramètres et les résultats des tests pour référence future, en particulier pour les tests récurrents comme les ajustements de promotions saisonnières.
• Combinez la signification statistique avec la signification pratique : une amélioration de 0,1 % peut être statistiquement significative avec de grands échantillons, mais ne vaut peut-être pas l'effort de mise en œuvre pour les petites entreprises.