Les Oui mais Non de l’analyse sémantique

Le langage est vivant, évolutif, ambigu et les combinaisons possibles entre les mots sont quasi infinies. Il restera donc toujours, quelles que soient les optimisations apportées, une partie des informations contenues dans les verbatim clients qui sera non (ou mal) détectée.
Cela dit, il faut garder à l’esprit que la catégorisation humaine est loin d’être aussi fiable que ce que l’on imagine a priori.

Quiconque a déjà comparé les annotations de deux collaborateurs sur un même corpus de verbatim a pu le constater : la sensibilité personnelle, la capacité à conserver sa concentration sur une longue période, le temps alloué à cette tâche, sont autant de paramètres qui influencent les résultats d’une catégorisation manuelle. Ainsi, si les résultats d’un individu à l’autre ne seront jamais identiques, il est inévitable que les résultats d’un même analyste différeront également d’un jour à l’autre.

Sans compter que l’analyse manuelle d’un volume de données important entraîne à coup sûr des oublis et des erreurs. Lorsque l’on évalue les résultats d’une analyse sémantique automatique, on ne devrait donc pas les comparer à une analyse parfaite, mais à une analyse humaine forcément imparfaite.

Un plan de classement pertinent est à la base d’un bon processus d’écoute client via l’analyse des verbatim. Son adaptabilité aux besoins de l’entreprise impactera fortement l’utilisation de la solution et les bénéfices qui pourront en être tirés.

Confier ce paramétrage initial à des algorithmes, c’est s’exposer à des déceptions et à la remise en question de la pérennité du projet.

A l’inverse, lorsque le linguiste définit ce plan de classement en se basant sur un corpus réel de verbatim clients, il s’assure que les thématiques ne sont pas redondantes, qu’elles sont précises, que l’ensemble des sujets abordés par les clients sont recensés, et que les besoins des interlocuteurs métiers en matière d’exploitation des feedbacks clients sont entièrement couverts.

Identifier, grâce à une analyse automatique, les thématiques précises sur lesquelles les clients s’expriment est une tâche complexe mais réalisable.
En revanche, un système automatisé ne pourra pas détecter autre chose que ce qui est écrit ou dit. L’implicite, les sous-entendus et l’ironie restent inaccessibles à la machine. Ces subtilités échappent régulièrement à nos semblables, alors aux ordinateurs… 😉

La dimension stratégique permet de dégager les tendances de fond et de définir des plans d’actions.
Le volet opérationnel correspond quant à lui à la détection des alertes (risque d’attrition, risque juridique, relance du client…). La fiabilité de l’analyse est primordiale ici afin d’être en capacité de remonter uniquement les alertes réelles, et ne pas « polluer » les destinataires avec des faux positifs.

De nombreuses années d’expérience et des millions de messages analysés nous permettent de l’affirmer : il est inutile d’espérer interpréter la ponctuation ou les émoticônes.

En effet, les points d’exclamation et d’interrogation ne sont pas toujours utilisés en adéquation avec ce que le client veut exprimer. De même, juger de l’implication émotionnelle du client selon qu’il a inséré ou non un smiley dans son message est pour le moins hasardeux.

En littérature, la syntaxe est porteuse de sens, c’est un élément de langage à part entière. Dans le verbatim d’un client, ce qui compte est ce qu’il écrit, pas la façon dont il l’écrit.

Les attentes liées à un outil d’analyse de verbatim clients vont au-delà de la simple visualisation du poids de chaque thématique et de leur évolution dans le temps. Aujourd’hui, les utilisateurs souhaitent et peuvent obtenir instantanément des insights pertinents, tels que :
• quelles sont les raisons pour lesquelles les clients résilient / partent vers la concurrence ?
• quels sont les moments stratégiques dans la relation de l’entreprise avec ses clients, ceux qui ont le plus d’impact sur leur satisfaction et leur recommandation ? (L.I.S.)

L’analyse automatique des verbatim, aussi perfectionnée soit elle, ne pourra jamais remplacer l’humain et sa capacité de réflexion, de corrélation avec sa connaissance de l’entreprise et des spécificités de son marché (ex. saisonnalité). Ainsi, il faut attendre d’une telle solution qu’elle soit capable de pointer les faits remarquables, mais l’interprétation de ces faits, et les conclusions à en tirer (plans d’action), nécessiteront toujours une expertise humaine.

De même, lorsqu’un élément notable est identifié, il est essentiel qu’un expert métier lise une partie des verbatim clients correspondants, afin de s’assurer qu’il interprète correctement cet insight.

Un des avantages majeurs de l’analyse des verbatim en continu est de permettre un suivi sur plusieurs semaines (mois ou années) des problématiques exprimées par les clients.
Ainsi, on pourra :
• d’une part, identifier des « pics » ou des « creux » et/ou une tendance à la hausse ou à la baisse sur un motif de satisfaction/insatisfaction particulier,
• d’autre part, après la mise en place d’un plan d’action, vérifier son effet sur la perception des clients.

Un exemple pour illustrer ce deuxième point :
Une enseigne d’habillement a changé la façon dont elle présente sa nouvelle collection sur quelques « magasins tests ». Il est alors possible de faire un focus sur ces points de vente et sur la thématique de l’organisation en magasin, pour évaluer le « ROI qualitatif ». En corrélant ces données avec l’évolution du chiffre d’affaires, on calcule aisément le « ROI quantitatif » du plan d’action.

Une remarque fréquente après la mise en place d’une solution d’analyse automatique, est que la teneur des propos des clients est « trop constante ». En effet, on peut avoir le sentiment que la représentativité des sujets abordés par les clients évolue très peu.
Nous ferons deux remarques à ce sujet :
• Oui, les clients sont en effet constants dans leur ressenti, et heureusement ! S’ils avaient des attentes différentes chaque semaine, il serait impossible de mener une quelconque action corrective. Ce ressenti peut cependant évoluer suite à la mise en place de plans d’actions.
• Même avec des plans d’action efficaces, l’impact sur le ressenti client devra être mesuré « sur la longueur » et l’amplitude des évolutions sera la plupart du temps assez modeste.
Par ailleurs, nous encourageons nos clients à garder à l’esprit que chaque hausse de la fréquence d’un motif de satisfaction, comme chaque baisse de la fréquence d’un motif d’insatisfaction, aussi légère soit-elle, correspond à des centaines voire des milliers de clients dont le niveau de satisfaction a augmenté.

Contrairement à l’humain qui se focalisera la plupart du temps sur la thématique principale exprimée par le client (en général la critique principale), une analyse sémantique automatique de qualité va permettre d’extraire l’ensemble des informations pertinentes, positives et négatives, que ce soit d’un point de vue stratégique ou opérationnel.

Nous avons pu constater que certains ont l’espoir de découvrir, grâce à l’analyse sémantique automatique, des thématiques qu’ils n’auraient pas su identifier en lisant eux-mêmes les verbatim de leurs clients. Nous ne parlons pas ici du fait que l’analyse automatique est plus exhaustive que l’analyse humaine, car comme nous l’avons évoqué dans la partie « Oui » ci-dessus, l’avantage est sur ce point, clairement en faveur de la machine.
Non, ce dont il est question ici, c’est de l’idée qu’un analyste qui aurait déjà lu des milliers de verbatim pourrait découvrir de nouveaux sujets grâce à l’analyse sémantique automatique.

Identifier les différents sujets sur lesquels les clients s’expriment est une tâche tout à fait réalisable par un humain. Chez ERDIL, nous pensons d’ailleurs qu’elle doit être réalisée par un expert et non par un algorithme, afin de garantir la mise en place d’un plan de classement totalement adapté et pertinent (cf #2).

En revanche, ce qui est impossible via une analyse humaine, mais tout à fait réalisable par l’analyse sémantique automatique, c’est de quantifier l’importance de ces sujets, d’en tirer des insights précis en les croisant avec les données structurées, de suivre leur évolution dans le temps, de mesurer leur impact sur la fidélité des clients… et ce sur des millions de verbatim, en temps réel et avec une impartialité totale.