En juin 2024, notre CPO France Wang est invitée à partager son avis sur l’impact de l’IA dans la recherche utilisateur dans le podcast Futuristes d’Estelle Motte.
On vous partage ici tout ce qui a été dit lors de cet épisode passionnant! Et on vous encourage aussi à découvrir les autres épisodes du podcast!
Retranscription
[Estelle] Futuristes, c'est un podcast qui part à la rencontre d'UX researchers et qui ouvre le dialogue sur les IA et l'impact qu'elles ont et qu'elles vont avoir sur nos métiers. J'ai retrouvé France Wang, CPO et co-fondatrice de Tandemz à la Station F. J'ai voulu savoir ce que l'arrivée des IA signifiait pour son outil. Elle me partage dans cet épisode ses inquiétudes, les limites qu'elle perçoit aujourd'hui et sa vision pour la suite.
Bonjour France.
[France] Bonjour Estelle.
[Estelle] Merci d'être avec moi aujourd'hui pour ce nouvel épisode du podcast Futuristes.
[France] Avec plaisir, merci pour l'invitation !
[Estelle] Avec plaisir. Et du coup, pour démarrer, si ça te va, j'aimerais bien que tu me parles un peu de ton parcours, ce que tu fais.
[France] Donc moi, je m'appelle France. Aujourd'hui, je suis CPO, co-fondatrice de Tandemz. A l'origine, je suis UX designer, j'ai fait mes armes en agence. J'étais parmi les premiers designers de l'agence. J'ai aidé la Head of Design de l'époque à monter tous les process du pôle. Et dans les process en question, je m'intéressais particulièrement à tout ce qui était design system, collaboration dev / développeur etc. Mais j'ai aussi fait un peu tout : du recrutement de juniors, de la formation, des talks... Un de mes chevaux de bataille, c'était l’UX research parce que c'était pour moi primordial d'en faire pour mieux accompagner nos clients.
A peu près trois ans après être arrivée chez BAM, tous les autres process que j'avais mis en place fonctionnaient à peu près, mais la UX research, ça ne marchait toujours pas. Je n'arrivais pas ni à convaincre mes collègues, ni à convaincre mes clients.
C’est pas que je n'arrivais pas à convaincre mes collègues, c'est plutôt qu'ils étaient bien convaincus, mais ils n'arrivaient pas à le vendre. On n'arrivait pas à passer du temps dessus, à en faire. Et donc, je me suis dit qu'en fait, il faut que ce soit plus simple, je pense qu'on peut faire quelque chose pour simplifier tout ça.
Donc, en 2019, j'ai quitté BAM pour monter Tandemz avec mes deux associés co-fondateurs. Je ne vais pas faire tout le détail, mais en gros, sur la recherche, il y avait plein de sujets qui nous intéressaient.
Il y avait le sujet de comment la faire, il y avait le sujet de comment recruter les bonnes personnes avec qui la faire, et il y avait le sujet de comment la restituer, etc. On a testé plusieurs trucs et à la fin, on s'est dit qu'il y a un gros gros problème sur le recrutement. Tout le reste peut fonctionner très bien, il y a plein d'outils qui existent, mais sur le recrutement, il y a un manque et les gens sont dans le besoin, donc essayons de les aider là-dessus.
Du coup, c'est comme ça qu'en 2020, Tandemz s'est créé en tant que plateforme de recrutement pour la recherche.
[Estelle] Ok, ça marche. Et aujourd'hui, il y a combien de personnes qui bossent chez Tandemz ?
[France] On reste une équipe assez petite, on est quatre, on s'est bootstrapés et on n'a pas fait de levée de fond, donc pour l'instant, on est toujours quatre.
[Estelle] Et donc toi, pourquoi est-ce que tu t'intéressais particulièrement à l'UX Research ?
[France] Parce que pour moi, pour faire une bonne UX, donc une expérience qui soit à la hauteur des attentes des utilisateurs, qui leur simplifie la vie, qui les aide à atteindre leurs objectifs, c'est impossible de le faire si on n'a pas une bonne connaissance de leurs besoins, deleurs problématiques.
Et pour faire ça, il ne faut pas aller deviner ce qu'ils veulent. Moi, j'ai vubeaucoup de clients à BAM qui arrivent et qui te disent “non, mais moi je les connais par cœur, mes utilisateurs”. En fait, ils sont plein de biais et ils prennent des décisions sur des choses qui ne sont ni de la donnée ni de l'insight, mais qui sont vraiment que de l'intuition. Moi, je suis entrepreneure aussi, donc je comprends la force de l'intuition, je pense que c'est important d'avoir une bonne intuition en tant qu'entrepreneur, ceci dit, on ne peut pas que faire de l'intuition, c'est important de nuancer, et pour le nuancer, il faut le faire avec de l'UX Research.
[Estelle] Je comprends. Merci déjà pour cette présentation de toi.
[France] De rien, j'espère que c'était clair.
[Estelle] Oui, c'était super clair et c'est vrai que je connaissais déjà l'outil Tandemz. Ca me parle beaucoup le recrutement et je sais que c'est quelque chose qui est très fastidieux comme tu dis, donc très intéressant d'avoir un outil là-dessus. Du coup, je t'ai approchée en te disant justement que moi, ça m'intéressait beaucoup d'avoir l'avis de personnes autour de l'UX Research sur l'arrivée massive des IA.
C'est vrai qu'aujourd'hui, ça s'est quand même vachement démocratisé dans notre milieu et du coup, je voulais savoir déjà si toi, tu avais un avis dessus et connaître ta vision sur la suite.
[France] Vaste sujet. On en avait un peu parlé avant que tu m'invites sur le podcast. Je pense qu'aujourd'hui, tout le monde a un avis sur l'IA et c'est vrai qu'en UX Research, dans le digital de manière générale, on sent que c'est un outil technologique qui va chambouler nos milieux. Je pense que ça, c'est vrai.
Je pense que l'IA va peut-être pas changer la face du monde entier mais la face de notre monde à nous autres personnes en produit et digital, c'est sûr, c'est déjà en train de le faire. Je pense que l'IA est arrivé et c'est là pour rester, ça ne va que aller en amélioration et en démocratisation de plus en plus forte. Ce serait une erreur de se dire que l'IA, c'est que une trend et que dans 5 ans, on n'en parlera plus.
Après, une fois qu'on a accepté ça, la question de savoir c'est est-ce que l'IA, ça va êtrerévolutionnaire et 100% positif, révolutionnaire et 100% négatif ou quelque part entre les deux et je trouve que je vois beaucoup (peut-être que c'est un biais de sélection sur LinkedIn tout simplement), mais je vois beaucoup de gens qui disent que c'est 100% positif. Je pense qu'il y a aussi des gens qui pensent que c'est 100% négatif.
Moi, où est-ce que je suis dans ce curseur-là ? Je ne sais pas encore, je sais que je ne suis pas dans le 100% positif, je sais que j'attends encore de voir beaucoup de choses. Je pense qu'on est tellement encore au début de la technologie que c'est trop facile et trop tôt et trop naïf de tout de suite se dire “ça y est, c'est le Messie, ça va venir nous sauver la vie sur un million de choses”.Je pense qu'il y a encore beaucoup d'usages qu'on n'a pas compris, il y a encore beaucoup d'usages qu'on n'a pas découvert et il y a beaucoup d'usages qu'on en fait maintenant qui ne sont pas adaptés et qui ne nous mènent pas forcément vers des fins positives.
[Estelle] Et justement, toute cette partie négative, toi tu la vois par rapport à quoi en particulier ?
[France] Je pense que je ne la vois pas dans l'outil en lui-même, je pense que l'outil c'est comme toute question de tout outil: c'est comment est-ce qu'on l'utilise ? Et du coup je le vois plutôt dans le mindset que les gens ont.
Comme je t'ai dit, j'ai l'impression qu'il y a une forme d'affect pour l'IA qui dit un peu “c'est le Messie qu'on attendait, c'est l'outil révolutionnaire qui va supplanter tous les autres outils,on n'aura plus besoin de rien faire d'autre à part d'avoir une IA”.
Et moi c'est un peu ce mindset là que je trouve dangereux, d'une part parce qu'encore une fois l'IA (générative) est encore à ses débuts, il y a encore beaucoup d'avancées technologiques à faire et il y a aussi encore beaucoup de choses qui fonctionnent tellement en boîte noire qu'on ne sait pas comment ça va évoluer.
On l'a vu avec des problèmes de biais qui ont été induits dans les IA par rapport aux données qui ont été utilisées pour nourrir et entraîner l'IA, on l'a vu avec des problèmes de droit d'auteur surles IA d'animation, d'images, de textes, avec les scénaristes artistes et aussi avec les musiciens. Et ça ce serait, je pense, la vision optimiste c'est de se dire oui mais ça c'est les cafouillages du début mais on va améliorer ça et ça va aller de mieux en mieux.
Mais, aujourd'hui, tant que le cafouillage est là, je pense que c'est une erreur de se dire “attends, ça va forcément aller en mieux”, parce que ça peut aussi encore aller en pire, on estvraiment au tipping point où c'est pas décidé encore.
Donc il y a un peu cet aspect-là que je regarde avec un petit peu… j'essaie de rester critique vis-à-vis de ça.
Et l'autre aspect, même s'il n'y avait pas ces problèmes-là, il y a le côté, en tout cas si je regarde vraiment l'UX research qui est mon milieu quand même, c'est que l'IA va remplacer un tas de choses. Je pense que l'IA va vraiment aider sur un tas de sujets mais là où j'ai peur qu'on va vouloir aller, et parce que j'ai vu des gens faire ce raccourci-là, c'est que l'IA va remplacer l'humain qui est dans l'UX research.
Et quand je dis l'humain, je ne dis pas l'UX researcher, son métier, son boulot. Je ne suis pas en train de dire l'IA va nous voler tous nos boulots, on va tous finir au chômage. C'est plus que, le fondamental de l'UX research c'est l'humain, c'est créer de l'empathie, c'estcomprendre, c'est être la voix de l'utilisateur, de ses besoins. Sauf que c'est fatigant, c'estcontraignant, que ce soit dans la partie il faut recruter, que ce soit dans la partie il faut la faire, ce n'est pas donné à tout le monde d'aller voir des gens, des inconnus, et de leur demander leur avis sur des choses et qu’ils nous expliquent comment ils ont fait leur dernier voyage, etc. C'est du travail, vraiment, c'est éreintant de faire de l'UX research quand tu la fais bien.
Et donc du coup on a envie de simplifier ça et de ne pas avoir ça, sauf que ne plus avoir ça, dans le contexte de l'IA, ce que j'ai pu voir c'est “on n'aura plus besoin de recruter des participants, on va demander à une IA et c’est elle qui va le faire et elle va juste nous donner les insights.” Et en fait ce qu'on fait c'est que l'UX research qui est censé être cette interface entre deux personnes ou entre une entreprise et une personne pour qu'on puisse créer cet espace d'empathie, et bien ça va devenir une interface entre un participant en humain et une IA, et une IA et un humain de l'autre côté. Et cet effet boîte noire il va juste retirer tout l'aspect humain, et du coup quel va être le sens de la recherche utilisateur ? ça va plus être de la recherche utilisateur, ça va être de l'insight creation, et quand je dis creation c'est vraiment parce que on pourrait aussi, vu tous les problèmes d'hallucination de l'IA etc, et bien ça va être ça, ça va être de l'insight creation.
Et maintenant bon courage pour savoir ce qui est vrai, ce qui est faux, ce qui est à moitié vrai, voilà. Donc c'est un peu là dessus sur l'UX research où je pense qu'il faut rester critique, je pense ça peut aider sur plein de sujets, notamment tout ce qui est analyse etc, je suis convaincue qu'il y a un grand créneau sur de l'IA là dessus, parce que c'est effectivement chronophage. Même pour aider à garder la connaissance utilisateur une fois qu'elle a été gagnée avec les sujets de répositories etc, c'est à dire l'objectif c'est de se dire si j'ai déjà eu cette connaissance, j'ai pas envie de devoir la réapprendre, ne pas réinventer la roue - je pense que l'IA peut être très très forte à ça, puisqu'elle a une mémoire meilleure que la mémoire d'un humain.
Par contre tout ce qui va toucher à essayer de remplacer la partie humaine qui est en réalitéune partie fastidieuse (et du coup c'est fastidieux, et du coup on veut la remplacer) et bien je pense que ça ce serait une erreur.
[Estelle] Ouais je comprends ce que tu dis, et puis j'avais vu justement des outils qu'ils utilisent de l'IA qui proposait d'aller pas remplacer ton utilisateur final, mais au moins venir commencer à poser des questions à des IA avant d'aller tester auprès de vrais utilisateurs, donc je comprends aussi ce que tu émets comme probabilité qu'à la fin on soit devant de l'IA qui parle à une IA, et en fait qu'on se perde un peu sur des insights qui ne sont pas forcément vérifiés.
Et pour revenir sur la partie hallucination, je sais pas si tu as vu ça, mais en gros Google ils ont déployé AIOverview. C'est les premiers liens quand tu fais une recherche, plutôt que de mettre de la partie sponsorisée, ils vont te mettre des réponses mais via de l'IA, et en gros justement il y a eu des hallucinations de dingue. Pour te donner des exemples, en termes de bénéfices pour la santé, ils proposaient de prendre un bain avec un grille-pain, de courir avec des ciseaux dans les mains, ou d'ajouter de la super glue dans la pizza pour maintenir sa consistance.
Du coup voilà, c'est vrai qu'aujourd'hui, comme tu dis, on n'est pas sur des IA qui sont à 100% performantes, donc ouais, quand on voit que c'est Google qui lance un produit, qui est en train de remplacer du coup ces top links qui étaient des liens commerciaux, mais c'est vrai qu'on se dit qu'aujourd'hui c'est pas hyper fiable.
[France] Oui, il y a la question de la fiabilité. Je me souviens, j'avais vu cette histoire de super glue dans la pizza, ça choque un peu, et ce qui est bien là tout de suite, c'est que l'IA fait encore des erreurs qui sont évidentes pour un humain, donc on peut facilement dire “ah ah ah regarde ce que Google m'a sorti, c'est n'importe quoi”, c'est rigolo, ça fait un meme, etc. C'est cool.
Ce qu'il faut se rendre compte aussi, c'est que ben ça c'est évident, mais il y a plein d'erreurs non évidentes que l'IA va faire, et maintenant comment est-ce qu'on va faire pour les réduire ? Je pense que c'est clair que le problème d'hallucination c'est un gros truc, qu'ils travaillent, que ça va pas rester comme ça, que ça va aller que en s'améliorant, mais bon tant que c'est pas 100% sûr que ça s'est amélioré, il faut rester vigilant. Et aussi comme l'apprentissage de l'IA ça reste une boîte noire, ça se trouve on va avoir l'impression d'avoir réglé les problèmes évidents et ne pas avoir les problèmes moins évidents, parce qu'en fait c'est pas aussi cause à effet, aussi simple.
[Estelle] Je comprends ce que tu dis. Mais c'est vrai que c'est un sujet de savoir, c'est ça ce qui va être vérifié avec de l'IA, de pouvoir, on voit là en ce moment il y a beaucoup d'affiches qui sontgénérées par de l'IA, c'est écrit, j'ai vu récemment une campagne Monoprix où ils mettent desanimaux en avant, tu vois dans les gares, et ils le taguent bien, ils le flaguent bien que ça a été généré par une IA, mais du coup c'est aussi là où, en fait je sais pas ce que t'en penses, mais j'ail'impression que pour vivre une expérience utilisateur fluide, l'idée ce serait de, en tout cas sur des produits, de pas forcément voir qu'il y a de l'IA, mais en même temps il y a une problématique de transparence aussi.
[France] Il y a un vrai sujet sur l'IA que je pense peut aider le monde du produit, c'est une bonne expérience utilisateur, c'est une expérience utilisateur qui est personnalisée, c'est bien connu, et je pense que l'IA peut faire le meilleur job du monde pour personnaliser. Mais à quel moment est-ce que cette personnalisation elle est faite dans l'objectif de rendre l'expérience d'utilisateur agréable, mais quand même de le garder maître de son expérience? Et à quel moment est-ce que l'utilisateur, on lui fait un truc sur mesure pour un peu le manipuler et le garder coincé dans des patterns qui sont négatifs ?
C'est comment l'IA va être construite, va être utilisée par les entreprises, et je pense que tant qu'on n'aura pas, (encore une fois c'est une question de mindset) parce qu'au delà de l'IA, en UX design, moi je vois des boîtes ou des clients qui sont plus ou moins mûrs en UX design.
Les boîtes qui sont un peu plus mûres, elles considèrent l'UX design comme un pilier de leur stratégie, mais parce qu'elles savent qu'une bonne UX c’est un client satisfait etc, et donc du coup il y aura des principes de vision produit forts, qui vont être centrés autour de valeur produit, comme, je sais pas, la transparence, l'inclusivité, ce genre de choses, et ça, ça va les pousser à créer une expérience qui est sur mesure, mais qui permet à l'utilisateur de rester maître de sa propre expérience.
Et après je vais avoir des personnes moins mûres qui vont venir me voir me dire “ah tu veux pas regarder un peu mon produit, mettre un peu d'UX pour que les gens ils payent plus, ou pour que ça convertisse plus”, et là on est on est dans un mindset où en fait on utilise l'UX pour manipuler, ce problème il existe sur l'usage de l'UX fait par des humains, ce serait le même problème avec de l'UX ou avec de la research faite par de l'IA, et la question ça va être : qu'est ce que nous on lui a dit à l'IA de faire ?
[Estelle] Je comprends ce que tu dis, c'est en fait ça dépend qui est derrière l'IA, et c'est quoi les intentions qui sont derrière, et qui vont être un peu orchestré. C'est vrai que l'IA c'est un sujet, et je sais qu'Emmanuel Macron en a parlé récemment comme l'objectif pour les années à venir, donc notamment, l'idée c'est de former plus de 100 000 talents à l'IA.
Ca c'est quand même un premier chiffre qui est assez gros, mais aussi doublement du budget consacré à l'IA d'ici la fin du programme, donc je crois que c'est sur l'année à venir, et l'idée de former dès la classe de sixième les élèves à de l'IA, donc ça, ça a vraiment ce côté, on est en train de se développer avec, comme tu disais, c'est clairement pas une passade l'IA, en tout cas c'est en train d'être intégré sur un écosystème plus grand, parce que ça veut aussi dire rayonnement pour les différents pays, et que c'est un peu un sujet dont on parle sur une plus petite échelle, mais sur tout ce qui va être compétition avec de l'IA, donc là un peu cette course de tout le monde veut en utiliser, l'intégrer dans ses outils, parce qu'aussi il y a un enjeu de visibilité, et si tu n'as pas utilisé de l'IA dans ton produit, c'est que...
[France] C'est de la visibilité, mais c'est aussi du FOMO, moi je vois dans certaines discussions de designers où je suis, ou de temps en temps, il y a quelqu'un qui va envoyer un message pour dire “les amis, vous, vous utilisez quoi comme outil basé sur de l'IA, parce que moi on m'a dit, ou mon manager m'a dit, il faut qu'on utilise plus d'IA, donc je cherche des moyens d'utiliser”
C’est ce que je disais quand je pense que dans les usages, il y a encore des choses qui sont pas claires, c'est à dire qu'il y a un champ des possibles qui est énorme, et ça je ne le nie pas du tout, mais aujourd'hui nous en tant que société, que ce soit en tant que micro société de l’ux-design, (quand même on n'est pas représentif du monde entier) ou en tant que société en général c'est pas encore très clair quelle sera la place de l'IA, et donc du coup on est aussi dans une phase où on teste plein de trucs, on l'essaye dans tous les endroits, puis on essaie de voir ce que ça donne. Je pense que c'est une phase naturelle, je pense que c'est normal, j'ai vu la même avec la crypto, quand on a sorti le metaverse, tout le monde voulait faire du metaverse juste au cas où, bon ben voilà pour l'instant ça s'est pas fait.
Et pour répondre à ce que tu disais sur ce que Macron disait, former à l'IA, moi je trouve cetteformulation toujours hyper intéressante, parce que ça veut dire quoi former à l'IA ? Est-ce que ça veut dire on va leur montrer l'interface de ChatGPT, on va leur montrer que si tu poses des questions ça te répond, et que du coup voilà pour avoir des bonnes réponses il faut avoir posé ces questions comme ça, ou est-ce que ça va être comprendre aussi d'où ça vient ces réponses, comment c'est fait, parce que moi des fois je suis en mode “mais ça veut dire quoi”?
[Estelle] Et c'est vrai, il y a une pédagogie à avoir autour de ce que c'est, comment tu peux t'en servir à bon escient aussi, et puis je pense il y a de la responsabilité aussi de chacun sur, attention parce que c'est très énergivore, du coup ça a une responsabilité de chacun de venir l'utiliser à bon escient d'une certaine manière, c'est de venir chercher des modèles qui seront un peu moins puissants si tu n'en as pas vraiment besoin, peut-être qu'on peut être aussi formé à ce genre de choses.
[France] Je suis d'accord, je pense que c'est intéressant, mais c'est vrai que quand j'entends former à l'IA je trouve que c'est tellement vague, je ne suis pas sûre qu'on parle de ça.
[Estelle] Je crois pas, j'avoue, je pense que l'idée en fait c'est la productivité, je pense que là on est vraiment sur comment est-ce qu'on est plus productif, comment est-ce que, il y avait aussi l'idée de comment est-ce qu'on va accompagner les entreprises dans l'usage de l'IA parce qu'en fait il va y avoir beaucoup de requalifications, beaucoup de métiers qui vont être impactés, et comment est-ce qu'on réussit à chacun peut-être retrouver sa place avec cet arrivée d'IA.
[France] Après je pense qu'on n'est pas encore au moment où on va tous finir au chômage à cause de l'IA. Je pense que l'IA est encore à un niveau, comme elle est encore naissante, balbutiante, pas toujours très précise dans ses réponses, elle a encore besoin d'un humain pour la guider et pour vérifier qu'elle ne te sort pas n'importe quoi. C'est plus sur de manière générale quelle place on trouve à l'IA dans la société.
Par exemple, je pense que de l'IA dans l'UX, on en parle beaucoup sur comment est-ce que l'IA peut améliorer déjà le travail des designers, les aider à aller plus vite, mais on parle aussi de comment est-ce qu'on peut mettre des produits basés sur de l'IA à disposition des utilisateurs pour que ce soit plus personnalisé
Mais moi je pense que le vrai travail de l'UX designer sur le sujet de l'IA, justement, c'est de mettre le périmètre de où est-ce que l'IA apporte une plus-value à mon utilisateur et où est-ce que l'IA n'apporte pas de plus-value à mon utilisateur. Je pense qu'il y a un vrai changement de paradigme du point de vue de la pensée du produit.
Aujourd'hui, globalement, faire des sites et des apps sur plein de choses, c'est juste faire desformulaires. Tout comme on a appris à faire des formulaires peut-être plus découpées, pluspersonnalisées, pas partout, pas genre en pop-up à toutes les trois secondes, je pense qu'il y aura un truc aussi sur l'IA qui va être de comment est-ce qu'on l'utilise avec parcimonie, au bon endroit, pour le bon usage, pour répondre à la question que se pose la personne, l'utilisateur à ce moment-là. Je pense qu'aujourd'hui, cette réflexion-là n'est pas encore très présente.
[Estelle] Oui, je pense que tu as raison. C'est vrai qu'aujourd'hui, il y a la responsabilité, en plus pour nous UX designers, UX researchers, de se dire quel est le besoin et repartir de là pour proposer l'expérience enrichie, plus fluide, avec ou sans l'IA, mais que ce soit réfléchi de cette manière-là. Du coup, ça me vient un peu à cette question, est-ce que vous, chez Tandemz, c'est quelque chose que vous avez envisagé d'intégrer l'IA ou pas ?
[France] C'est quelque chose dont on a un peu discuté en interne.
Mon CTO était intéressé pour faire quelques tests, etc. Après, pour l'instant, on n'a encore rien mis en place. Par exemple, un truc que chez nous qui paraissait assez logique pour l'IA, ce serait de générer des questionnaires de screening pour mieux cibler les profils, parce qu'on voit des clients qui ont du mal quand ils viennent sur Tandemz.
Ils disent « je veux tel type de personne », mais pour bien trouver les personnes, il faut réussir à bien la cibler et bien la screener aussi. Donc avec des questionnaires, ça c'est un peu la façontraditionnelle de faire et on s'est demandé si l'IA pouvait nous aider là-dessus. Moi, je suis convaincue qu'il y a quelque chose potentiellement assez puissant à faire là.
D'une part parce que c'est notre métier le recrutement, donc c'est vraiment améliorer la qualité du recrutement, et d'autre part parce qu'aujourd'hui Tandemz n'est pas forcément très légitime pour proposer une IA plus du type « faire l'étude à ta place » et « analyse des retours », puisque comme on ne stocke pas de retours, on n'a rien à analysé. Donc voilà, qu'on n'était pas forcément légitime sur ces autres points-là. Mais sur comment est-ce que l'IA peut nous aider à améliorer le recrutement, ça c'est la question qui s'est posée.
Il y a plein de choses possibles. Ça pourrait être du vérifier, avoir une IA qui vérifie les profils desparticipants, qui détecte des moments d'incohérence pour éviter les cas de fraude ou les cas departicipants pas sérieux. Et puis il y a effectivement comment mieux accompagner le client pour qu'il puisse être confiant dans la qualité des participants qu'il recrute au moment de lui paramètre.
Sauf que les quelques tests qu'on a fait, derrière on s'est dit que le client aurait fait moins bien que ce que l'IA a fait, mais ce que l'IA a fait n'est quand même pas assez de bonne qualité. Ce ne serait pas un gage de qualité. C'est-à-dire que nous derrière, un humain, on aurait quand même dû aller voir et dire que ce que tu proposes, ça ne marche pas.
Et après, on s'est un peu arrêtés là. On n'est pas allé chercher beaucoup plus loin que ça. On s'est dit bon, il faudrait passer beaucoup de temps pour entraîner notre modèle, etc. Peut-être qu'on pourrait, mais là on avait envie de passer à d'autres sujets, donc on n'est pas allé plus loin.
[Estelle] En fait, ce qui est vachement intéressant, c'est qu'on est en phase de test et qu'il y a vraiment des études à sortir. Parce que si on se dit juste, je le teste, mais du coup, je suis toujours un peu derrière, on n'a pas vraiment de stats claires sur en fait, est-ce que ça vaut le coût aujourd'hui ?
[France] Je pense qu'il y a effectivement une sorte de benchmark minimum de qualité que l'IA doit atteindre.
Et si elle ne l'atteint pas, même si ça te fait gagner du temps, est-ce que ça vaut le coût ? Ou est-ce que l'IA te fait gagner du temps sur les premiers 80%, mais pour atteindre ton benchmark qualité, tu as quand même besoin de 20% d'humains ? C'est entendable, mais en tout cas, pour nous, c'était important de se dire, si on remplace... Parce que d'habitude, ce qu'on fait, c'est qu'on forme un peu les clients, c'est-à-dire quand on voit que leur screener n'est pas terrible, on leur explique pourquoi, etc. Pour le coup, je pourrais imaginer une IA qui explique pourquoi est-ce que c'est pas bien.
Le problème, c'est qu'aujourd'hui encore, je trouve que ces explications sont rarement les meilleures et que ça laisse passer des erreurs qu'il ne faudrait pas laisser passer. Est-ce que ça a du sens pour nous de remplacer cette chose qu'on fait, qui est un peu plus manuelle, par une IA, si on ne peut pas être 100% confiants que l'IA va le faire ? Est-ce que c'est moi qui suis trop exigeante ?
Je ne sais pas, c'est possible. Est-ce que c'est pas... Il y a beaucoup aussi aujourd'hui de trucs d'IA où c'est, “regarde, teste-le et puis clique sur le bouton, ok, c'était bien ou non, non, c'était nul.”
Et comme ça, ça fait une boucle rétroactive de feedback et nous, on améliore nos modèles enfonction de ça. Oui, c'est vrai, peut-être qu'on aurait pu faire ça, mais ça n'a pas correspondu, en tout cas, à ce que nous, on voulait faire sur le coup, donc on s'est dit peut-être plus tard.
[Estelle] Et par rapport aux clients, justement, tu penses qu'ils accueilleraient ce côté IA comment ?
[France] Je ne sais pas, c'est une bonne question. Je sais que dans la communauté, il y a beaucoup d'attentes vis-à-vis de l'IA, donc comme je disais, beaucoup de gens qui demandent «qu'est-ce que vous utilisez comme outil IA ? J'aimerais bien utiliser plus d'IA, etc.» que je trouve que je comprends, parce que comme je dis, il y a du FOMO. Je pense que si nous, demain, on dit “Tandemz IA, c'est parti, testez-le », les gens seraient ravis de le tester. Est-ce que pour autant, ça va améliorer tout de suite la qualité du recrutement qui est en fin de compte notre objectif ?
Je ne sais pas. Après, on pourrait aussi me dire « mais justement, tu aurais dû tester, et comme ça, tu aurais vu si ça avait amélioré la qualité de ton recrutement, et tu saurais. » C'est vrai, mais ce n'est pas ce qu'on a fait.
[Estelle] Et après, je vois qu'il y a beaucoup d'outils, justement, qu'en tant que UX Researcher, on utilise, qui sont en train de développer des fonctionnalités qui utilisent de l'IA. Donc, tu vois un peu ce même schéma, mais qu'en fait, aujourd'hui, il y a aussi beaucoup de déceptions par rapport à ces outils, notamment sur tout l'aspect retravail derrière. Donc, ça vient peut-être faciliter sur une première...
Il y a beaucoup d'outils qui utilisent des fonctions de summarise, justement, pour avoir un premier aperçu pendant de l'analyse, par exemple. Mais qu'aujourd'hui, ça a un côté un peu déceptif, parce que ça ne répond pas forcément à nos besoins.
[France] Je suis plutôt d'accord aujourd'hui. Je n'ai encore rencontré personne qui m'ait dit « j'ai testé ça avec de l'IA et c'était mind-blowing. Vraiment, tout le monde devrait utiliser ça ». Je trouve que les retours sont globalement assez mitigés. Il y a toujours l'intérêt et je pense que ça vient aussi du fait qu'encore une fois que c'est naissant et on voit tout le champ des possibles et on sait que la limite, elle vient de la limite du fait que c'est nouveau et que les modèles peuvent encore être entraînés, etc. Et je n'ai pas encore regardé ChatGPT 4.0, alors que c'est déjà sorti.
[
Estelle] Oui, mais ça a l'air assez bluffant. J'ai vu une vidéo de deux IA qui se parlent et je sais que ça va être vraiment dans tout ce qui est détection d'émotions, ce genre de choses. Je pense qu'il y a du potentiel, mais tu dis ça comme si tu étais passé à côté. En réalité, ça date d'il y a un mois à peine.
[France] Mais tu vois, il y a vraiment cette forme de FOMO dans le truc de l'IA. C'est genre il faut être tout le temps à la pointe du truc et tout. Moi, je ne suis pas là.
J'ai regardé le truc avec intérêt de loin et puis je me dis un jour quand j'aurai l'occasion, je testerai. Donc je sais que les avancées à chaque fois, elles sont toujours hyper impressionnantes. C'est pareil avec les trucs de vidéos, avec Sora, où on est passé il y a un an dans le truc qui faisait péniblement une vidéo que tu ne pouvais même pas regarder jusqu'au bout tellement elle était un peu horrible, à un truc vraiment bluffant maintenant et ça ne va aller qu'en améliorant.
Oui, donc du coup, dans les outils qu'on utilise, pareil, je pense qu'à un moment, on aura unavant-après et donc on attend toujours cet avant-après, pour l'instant les retours sont encore mitigés, mais tant que les évolutions sont toujours aussi bluffantes dans les tech-demo, on continuera à espérer, donc on continuera à être ok pour tester et dire non mais là c'est pas encore ça, mais ça va venir, ça va venir. Et je comprends, mais du coup je pense aussi qu'il faut continuer, c'est pas une raison pour arrêter de consolider ses propres connaissances et que c'est le moment aussi pour se poser des questions justement, encore une fois, de mindset, de valeur, de vision, parce que quel que soit l'avancée technologique à la fin de l'IA, à la fin ce sera un outil, il faudra l'appliquer, il faudra lui dire de faire des choses, et la qualité de ce que ça va faire ça dépendra de toi, humain, le prompt que t'as mis, et du coup les intentions que t'as mises derrière.
[Estelle] Ouais, je suis carrément d'accord avec ce que tu dis, et je sais pas si t'as vu passer, il y a une infographie trop chouette qui représente un peu tout l'IA génératif, qu'est-ce que c'est, comment les utiliser, et qui disait, un peu ce que tu dis aussi, c'est qu'en fait l'idée c'est vraiment le voir comme ton compagnon qui t'aide à effectuer certaines tâches, voilà, c'est l'infographie de Henrik Kniberg, et il disait que l'idée de faire des bons prompts c'est aussi d'une certaine manière toi t'apprendre à mieux contextualiser, en gros il le répartit en trois, tu donnes la tâche à effectuer, tu rajoutes beaucoup de contexte pour vraiment qu'il essaye de comprendre pourquoi il doit faire cette tâche, et chose que je n'avais jamais essayé de faire avant, mais il te dit aussi, dis-lui que s'il a besoin d'informations supplémentaires qu'il n'hésite pas à te poser des questions, peut- être qu'on peut aussi le voir comme ce genre d'outil qui nous fait évoluer dans cette manière-là.
[France] Ouais je trouve ça intéressant, je pense que l'approche effectivement où tu le prends plus comme un collègue que tu peux challenger, qui doit essayer aussi de comprendre toi tes attentes, parce qu'effectivement sur ChatGPT tu poses une question, il va tout de suite te sortir une réponse, il va pas te demander “mais qu'est-ce que tu voulais dire, mais c'est quoi que tu cherches à obtenir derrière”, ce qui est un des gros problèmes de pourquoi est-ce que l'IA en tant que modérateur de recherche parce que nous on a la flemme d'aller voir des êtres humains, j'y crois moyen, parce qu'en fait on peut lui apprendre les bonnes pratiques de comment rebondir, donc il simulera très bien de rebondir, mais en fait il rebondira pas toujours sur les bonnes choses, pour les bonnes raisons, etc. Il va faire le bon modérateur, ça veut pas dire que c'est un bon modérateur. Après je sais qu'il y a des boîtes spécialisées qui ont fait des IA à partir de... qu'ils ont entraîné sur leurs propres données et comme ils ont beaucoup beaucoup de données et qu'ils savent exactement ce que fait un bon modérateur, bah ça rend des choses plus convaincantes déjà.
**[Estelle]**Je comprends ce que tu veux dire, et comme tu disais avant, je pense qu'il y a vraiment moyen de partager les bonnes practices, de voir un petit peu comment chacun les utilise, et d'ailleurs par rapport à ça, j'ai vu qu'il y avait des événements qui avaient lieu à la station F prochainement autour de l'IA, bah ça renforce aussi cet aspect communauté autour de la tech, et de voir un peu comment chacun s'empare de ce sujet ou pas, mais en tout cas d'en parler. Toi par rapport à ça, comment est-ce que tu te renseignes ? Est-ce que tu en avais parlé avant avec des personnes ?
[France] Après moi c'est effectivement plus dans des discussions un peu comme ce qu'on a là, où je vais discuter avec des gens qui justement par exemple testent des choses plus avancées sur l'IA dans le repository, construire son propre repository grâce à l'aide de l'IA plutôt que de passer par un outil ou autre, etc. Et c'est souvent ça qui vient nourrir mes réflexions. Je suis pas mal ce que fait NN group et donc sur leurs derniers mois ils ont fait pas mal d'articles sur l'IA et j'aime bien leur positionnement parce que c'est à la fois un peu...c'est nuancé, c'est-à-dire qu'à la fois il y a le côté comment l'utiliser dans son travail pour aller plus loin et il y a aussi des bonnes pratiques de comment éviter tel biais ou telle hallucination, etc. Mais ils ont aussi je crois commencé, en tout cas ils ont sorti un petit article où ils ont comparé sur une même étude de recherche utilisateur, celle faite par des humains et celle plutôt réalisée par de l'IA et leur conclusion pour l'instant c'était de dire en fait pour l'instant ça marche pas très bien. Voilà donc ça j'aime bien leur approche qui est on se renseigne à fond, on fait nos tests, on publie ce qu'on apprend, on n'est pas complètement négatif non plus, on montre des façons de faire, des bonnes pratiques, etc. que j'aime bien.
[Estelle] Ok bah écoute merci beaucoup. Je ne sais pas si tu as d'autres choses que tu voulaispartager autour de ce sujet.
[France] Non pas particulièrement. Moi je sais que j'ai une vision qui est moins sur la technicité de l'outil. Je me pose beaucoup plus de questions sur la place qu'on va lui donner dans nos métiers, dans la société et vraiment sur un peu le mindset que nous en tant qu'humains on va avoir pour utiliser l'IA.
Donc aujourd'hui je trouve qu'il y a un très fort engouement qui fait que je me sens forcée d'adopter une position un peu plus critique parce que j'ai pas envie encore une fois qu'on applaudisse tout de suite ce messie technologique que je pense qu'il a encore des preuves à faire avant qu'on puisse en arriver là. J'espère que cette position est intéressante.
[Estelle] Franchement c'est hyper cool d'avoir un regard comme ça aussi critique en revenant au besoin, se dire que voilà c'est pas forcément quelque chose que vous allez intégrer s'il n'y en a pas le besoin. Et puis même je pense que toi tu côtoies beaucoup de personnes, tes clients, les gens ici à Station F, il y a plusieurs sources de communauté et c'est intéressant d'avoir ton point de vue aussi. C'était très cool de discuter avec toi.
[France] C'est un super échange, merci encore.
[Estelle] Merci à toi et puis à très vite alors.
Merci pour votre écoute, on se retrouve pour un prochain épisode, restez connectés.
