La concurrence exacerbée qui s’observe dans le monde commercial impose aux différents acteurs d’affirmer leurs propres différentiants pour capter et consolider leurs parts de marché. Pour cela, le recours au marketing est devenu presque indispensable, permettant de s’adresser à tous les consommateurs ciblés et de développer avec eux un lien particulier. Mais ces démarches ont un coût, et il est fondamental de vérifier l’efficacité des campagnes marketing afin d’optimiser la rentabilité de ces projets. À cette fin, il faut bien souvent s’appuyer sur des études statistiques, qui doivent être conduites avec méticulosité et esprit critique.

En effet, il existe de nombreux risques pouvant fausser les conclusions de telles études. Cet article présente ainsi un cas usage des statistiques pour mesurer la performance d’une campagne de marketing opérationnelle. Elle est réalisée en deux temps : d’abord une analyse comparative avec contrôle, puis une modélisation afin de mesurer l’impact d’un biais de sélection dans les résultats précédents. En fin d’article, la méthode de rééchantillonnage correspondante est décrite accompagnée du code Python correspondant, afin de remédier à ce biais.

Cet article s’adresse tant à des responsables marketing qui souhaitent parfaire leur culture statistique, qu’à des Data Analysts / Data Scientists qui apprécient l’inspiration que peut apporter une étude de cas pour leurs activités.

#1 Cas d’usage des statistiques en marketing opérationnel : clienteling et mesure de performance

Dans le retail, le clienteling est une pratique du marketing opérationnel visant à assurer une plus grande proximité avec le client en magasin, avec une approche la plus personnalisée possible. Une des stratégies de clienteling d’une enseigne renommée a été de mettre à disposition, sur les bons supports, au bon moment du parcours client, les bonnes data « actionnables » (produit et client) par les conseillers de vente afin d’améliorer le CA par client identifié. Voici deux exemples d’incitation client-centrique que peuvent formuler les vendeurs :

• À un très bon client : s’assurer qu’il a l’application mobile de l’enseigne ou l’inciter à la télécharger.
• À un client achetant principalement un type de produits : proposer des produits identifiés comme connexes et disponibles en magasin.

Une étude fut menée dans différents magasins pour évaluer l’impact de cette campagne de clienteling sur le comportement d’achat des clients. Ces comportements étant mus par de très nombreuses variables, il est indispensable d’écarter les éventuels facteurs confondants pour éviter des conclusions hâtives sur les effets de la campagne. Il a donc fallu déterminer une méthodologie d’analyse robuste. Pour cela, l’enseigne a été accompagnée de l’expertise de Saegus pour mener à bien cette étude qui est décrite dans le présent article.

#2 Méthodologie : l’importance des contrôles comme garde-fous

Déterminer une méthodologie d’analyses robuste commence par la détermination des KPIs (Key Performance Indicators) d’intérêts. Le plus important d’entre eux est le Chiffre d’Affaires (CA) généré par chaque client sur la période associée. Mais le CA se décompose en au moins deux autres variables : le Panier Moyen (PM) et la fréquence d’achat. Pour une plus grande précision dans la compréhension des éventuels effets de la campagne, ce sont ces deux KPIs qui sont retenus.

Afin de mesurer les éventuels effets de la campagne, nous avons procédé à une double vérification sur les deux KPIs étudiés : « 1) ont-ils progressé d’une année sur l’autre pour les clients ciblés ? 2) Les éventuelles progressions observées sur les clients ciblés se distinguent-elles des possibles progressions observées chez un groupe de clients non-ciblés ? ». Ces contrôles croisés sont fondamentaux puisqu’il faut pouvoir rapporter les éventuels effets (point 1) à une tendance de références (point 2) permettant d’exclure les effets contextuels (inflation, particularité des collections d’une année sur l’autre, particularités inopinées des clients ciblés, etc.).

En pratique, pour le 2e point, une cohorte de clients non-ciblés — dite “témoin” ou encore “contrôle” — issus du même magasin a été constituée a posteriori, reflétant avec la plus grande fidélité le groupe de clients ciblés. Pour cela, un groupe de clients n’ayant pas bénéficié de la campagne de clienteling a été constitué à partir de la population de façon à correspondre le plus fidèlement au groupe cible (données socio-démographiques, scores variés, comportement d’achat, etc.). Concrètement, pour construire ce groupe contrôle, nous avons utilisé la librairie Python pymatch. Le groupe cible compte 3622 clients, le groupe témoin 2039 clients, pour une population de clients de 20323.

#3 Résultats : évaluation de la significativité statistique de la progression des KPIs

Dans le tableau ci-dessous se trouvent les résultats pour les 2 KPIs, confrontés entre l’année N-1 et l’année N, sur le groupe cible et le groupe témoin. La significativité statistique des différences d’une année sur l’autre, ainsi qu’entre les deux groupes (dernière ligne “Diff. T – C”) est indiquée par un code couleur : un fond vert exprime une différence significative contrairement à un fond rouge.

Cette significativité exprimée par la p-value est aisément calculée grâce à des tests statistiques via le module stats de la librairie scipy :

• t-test à deux échantillons appariés pour les tests appliqués à un même groupe sur les deux années consécutives pour mesurer la progression du KPI
• t-test à deux échantillons non-appariés pour comparer la progression du KPI chez les deux groupes

Cette p-value mesure la probabilité que cette différence soit fortuite : si elle est inférieure à 0.05, nous pourrons conclure avec un risque d’erreur de moins de 5% qu’il y a effectivement un effet. Autrement dit, dans ce cas, l’affirmation « la différence est notable » est associée à un indice de certitude d’au moins 95%. Il est important de noter qu’a priori, un résultat significatif n’exclue donc pas la possibilité qu’il s’agisse en fait d’une coïncidence statistique (mais d’autant moins probable que la p-value est proche de 0).

L’étude de la significativité est fondamentale dans le cadre de petits échantillons car elle permet de donner du relief aux chiffres, avec des conclusions quantitatives. Elle n’est pas une fin en soi et a ses limites – par exemple elle ne dit rien de l’intensité de l’effet qui est également crucial – mais facilite l’interprétation, comme nous le montrons dans la suite de l’article. Nous pouvons notamment constater que le PM présente une contraction significative d’une année sur l’autre pour les deux groupes, mais la différence d’amplitude entre les deux groupes n’est pas statistiquement significative : les résultats ne permettent pas de conclure que les missions de clienteling influent le PM (mais n’exclue pas non plus en l’état cette éventualité). En ce qui concerne l’autre KPI relatif à la fréquence d’achat, alors que le groupe témoin voit sa fréquence diminuer significativement, ce KPI progresse nettement dans le sens inverse pour le groupe cible, celui de l’augmentation. La différence de tendance entre les deux groupes est extrêmement significative. Ce résultat en apparence concluant va être analysé plus finement dans la suite de l’article.

#4 Rectification des résultats en estimant l’impact du biais de sélection

Après toutes les précautions prises, nous pourrions nous targuer d’un résultat positif : les campagnes semblent doper la fréquence d’achat des clients. Mais une telle conclusion n’est-elle pas trop prématurée ? Il semblerait que si, puisqu’il y a ce qu’on appelle un biais de sélection du groupe cible : plus un client vient au magasin, plus il a de chances de se voir solliciter par une incitation liée à la campagne. Ainsi, le groupe cible risque fortement de ne pas refléter fidèlement la population sur ce KPI puisque la fréquence moyenne de ce groupe aura tendance à être plus élevée. Mais comment distinguer les effets de ce biais de sélection avec les éventuels effets de la campagne de clienteling ?

Il faut pour cela faire appel à la technique du bootstrap. Cette méthode de rééchantillonage permet d’estimer la valeur moyenne de fréquence d’achat sur un sous-groupe de la population en tenant compte du seul biais de sélection. Concrètement, on effectue de nombreuses fois une attribution aléatoire des 5032 missions réalisées au cours de la campagne auprès de la population des clients du magasin. Pour simuler ces attributions, il faut pouvoir représenter la population de clients. La table des effectifs de ces derniers et de leurs fréquences d’achat sur la durée de la campagne est présentée ci-dessous.

En effectuant cette attribution aléatoire de missions auprès de cette population un très grand nombre de fois (ici, le processus est répété 1000 fois), il est possible de visualiser la distribution statistique de la moyenne d’échantillon de la fréquence d’achat. Dans ces conditions, cette distribution permet de refléter le biais de sélection mentionné précédemment. Cette distribution et sa moyenne sont donc ensuite comparées aux valeurs moyennes de la population, du groupe témoin et du groupe cible. Pour faciliter la discussion, ces valeurs sont représentées sur le graphique ci-dessous.

Sur le graphique, la distribution des moyennes d’échantillon présente une moyenne à 3.15 (en rouge). Il y est également représenté (voir légende) : la moyenne de fréquence d’achat du groupe cible, celle du groupe témoin et celle de la population de laquelle sont extraits les groupes cibles et témoins. Il est à noter sans trop de surprise que la moyenne de fréquence d’achat du groupe témoin – qui est à 2.08 – est très proche de celle de la population (2.12). Par ailleurs, la moyenne des échantillons liés au bootstrap est largement supérieure à celle de la population et du groupe témoin, mettant en exergue la réalité du biais de sélection.

En ce qui concerne le groupe cible, il apparaît que sa moyenne est très nettement au-dessus de la distribution de moyennes d’échantillons liée au seul biais de sélection. Un test statistique (t-test à un échantillon appliqué à la distribution vis-à-vis de la moyenne du groupe cible) révèle la significativité majeure de cet écart (p << 0.001). Ce biais de sélection ne suffit donc pas à lui seul à expliquer l’écart de la fréquence d’achat moyenne du groupe cible au groupe témoin. Ainsi, seulement après toutes ces vérifications et ces nombreux contrôles, nous pouvons finalement conclure que les missions de clienteling semblent accroître la fréquence d’achat des clients.

#5 Présentation du code Python associé à la méthode de bootstrap

Nous présentons ici l’implémentation de ce qui a été décrit précédemment concernant l’usage du bootstrap pour estimer l’effet du biais de sélection. Cette partie du projet, singulière et spécifique, a été codée “à la main” pour garantir une analyse sur-mesure. Le code correspondant est détaillé ci-dessous, et vous permet de répliquer et d’adapter la démarche. Si cet aspect technique vous parle moins, vous pouvez directement passer à la conclusion ci-bas.

La première section de code présentée ci-dessous permet de charger les données liées aux effectifs de clients par fréquence d’achat (autrement dit la table présentée précédemment). Par ailleurs, deux listes sont créées :

• clients_visit : cette liste énumère exhaustivement chacune des visites de tous les clients de la population, ces dernières étant référencées par le numéro du client (de 1 à 20323, ordonnés par ordre ascendant de fréquence d’achat). Par exemple, si le client numéro 1515 est venu 3 fois sur la période, son identifiant (1515) apparaîtra 3 fois dans la liste.
• clients_freq : cette liste associe à chaque identifiant client encodé par l’index dans le tableau la fréquence d’achat de ce dernier sur la période (en valeur). Ainsi, la 100e valeur du tableau correspond à la fréquence d’achat du client 99 (la numérotation des clients commencent à 1, rendant la première valeur d’index 0 du tableau “silencieuse”).

La section de code ci-dessous permet de définir la fonction get_sampled_mean_freq qui attribue aléatoirement les 5032 missions de clienteling à l’ensemble des visites représenté par le paramètre clients_visit. Pour refléter au mieux la réalité terrain, un même client étant venu de nombreuses fois au magasin peut se voir solliciter plusieurs fois dans le cadre de cette campagne. Il est cependant important de ne les compter qu’une seule fois au moment de calculer la moyenne de la fréquence d’achat de l’échantillon (d’où l’usage de la fonction unique). Une fois l’échantillonnage effectué, les fréquences d’achat des clients sélectionnés sont récupérées (grâce au paramètre clients_freq). Cela permet ainsi le calcul de la moyenne correspondante qui est retournée par la fonction.

Grâce aux sections précédentes, il suffit désormais d’appliquer 1000 fois la fonction get_sampled_mean_freq afin d’obtenir 1000 moyennes de fréquence d’achat associées chacunes à différents échantillons. Elles sont stockées dans la liste sampled_mean_freqs qui permettra de décrire la distribution de ces moyennes. C’est précisémment l’histogramme de sampled_mean_freqs qui est représenté sur la figure ci-haut.

Et voilà comment en quelques lignes de code et grâce à la méthode de bootstrap, il est possible de révéler la contribution du biais de sélection à la valeur moyenne d’un KPI, ici la fréquence d’achat.

Conclusion

Pour résumer, mesurer l’impact du clienteling sur le comportement d’achat des clients s’est avéré moins trivial qu’il n’y paraissait, avec de nombreuses étapes d’analyses. Il aura fallu notamment :

• Appliquer une méthodologie rigoureuse et systématique afin de définir clairement les objets d’étude
• Mettre en place les contrôles nécessaires à l’exclusion d’effets contextuels biaisant les résultats
• Mesurer quantitativement les effets d’intérêts
• Prendre de la hauteur sur le résultat ce qui permit d’identifier un autre biais caché lié à la “sélection” des cibles
• Mesurer l’effet isolé de ce biais pour pouvoir préciser l’impact de la campagne de clienteling
• Communiquer les résultats aux métiers et les convertir en action (phase essentielle non retranscrite dans cet article)

L’usage des statistiques se révèle donc indispensable à la bonne compréhension de certains phénomènes, et garantissent des histoires à rebondissements palpitantes. Et vous, quelle est votre histoire ? N’hésitez pas à venir nous la partager en prenant contact avec nous !

Rédigé par Clément Moutard, Consultant Data Driven Business.

Notes
Thanks to Eliot Moll.