Toutes les équipes qui utilisent un assistant IA finissent par essayer : on colle une user story, on demande une estimation, et la réponse tombe avec aplomb : « 5 points ». Ce chiffre vaut-il quelque chose ? Les chercheurs se posent la question depuis bientôt dix ans, bien avant les chatbots, en entraînant des modèles sur des milliers de tickets déjà estimés. Cet article fait partie de notre guide Planning Poker et IA et dresse un état des lieux à novembre 2026.
Nous verrons comment fonctionnent ces études, ce qu'elles ont trouvé, pourquoi plusieurs résultats ont fondu quand d'autres chercheurs les ont vérifiés, et ce que cela change pour une équipe qui estime en story points. Notre position ne bouge pas : l'équipe vote d'abord, l'IA vient ensuite.
L'IA peut-elle estimer des story points ?
En partie. La recherche montre que des modèles d'IA prédisent les story points avec une précision honorable sur des jeux de données publics, mais pas assez fiable pour remplacer le vote d'une équipe. Depuis 2016, les chercheurs entraînent des modèles sur des milliers de tickets open source et comparent leurs prédictions aux points que ces équipes avaient réellement donnés. Les modèles d'apprentissage profond comme Deep-SE et GPT2SP sont venus en premier ; les grands modèles de langage font désormais aussi bien ou mieux, avec peu d'exemples ou aucun. Mais des réplications indépendantes ont réduit plusieurs résultats phares, les études récentes sont souvent des prépublications, et toutes les données viennent de backlogs open source publics, pas du vôtre. Une estimation d'IA est une supposition statistique fondée sur le texte du ticket. Elle ignore votre code, votre dette technique et qui sera en congés la semaine prochaine. Montrée après le premier vote, elle peut servir de second avis. Montrée avant, elle devient une ancre qui attire toutes les cartes.
Comment les chercheurs testent-ils l'estimation par l'IA ?
Presque toutes les études suivent la même recette, et la connaître aide à lire les résultats.
- Rassembler des tickets estimés. Les chercheurs récupèrent les tickets des Jira publics de projets open source, avec leur titre, leur description et les story points donnés par l'équipe. Le jeu de données de référence, publié en 2016, compte 23 313 tickets issus de 16 projets.
- Entraîner ou interroger un modèle. Les premières approches entraînent un modèle sur une partie des tickets. Les plus récentes donnent le texte du ticket à un grand modèle de langage, parfois avec quelques exemples déjà estimés dans la consigne.
- Comparer avec les points de l'équipe. La mesure habituelle est l'erreur absolue moyenne : combien de points, en moyenne, séparent la prédiction de l'estimation de l'équipe. Le modèle est aussi comparé à des références très simples, comme prédire toujours la médiane des estimations passées.
- Tester sur le même projet ou sur un autre. On peut évaluer un modèle sur de nouveaux tickets du projet qui l'a nourri, ou sur un projet qu'il n'a jamais vu. Le second cas ressemble davantage à ce qui se passe quand une IA généraliste découvre votre backlog.
Attention à ce que cela mesure : l'accord avec les points donnés par une équipe, pas avec l'effort réellement fourni. Un modèle qui reproduirait parfaitement les estimations de l'équipe reproduirait aussi ses biais.
Que montrent les principales études ?
Le tableau reprend les études les plus citées, du premier modèle d'apprentissage profond aux travaux récents sur les grands modèles de langage.
| Étude | Approche | Données | Résultat principal | Statut |
|---|---|---|---|---|
| Choetkiertikul et al., 2016, IEEE TSE 2019 (Deep-SE) | Modèle d'apprentissage profond entraîné sur le texte des tickets | 23 313 tickets, 16 projets | Meilleur que trois références courantes et deux alternatives | Revue à comité de lecture |
| Tawosi, Moussa et Sarro, IEEE TSE 2022 | Réplication de Deep-SE, avec 31 960 tickets supplémentaires | Jeu d'origine et un nouveau jeu | Meilleur que la médiane, de façon statistiquement significative, dans 8 cas sur 42 seulement | Revue à comité de lecture |
| Fu et Tantithamthavorn, IEEE TSE 2023 (GPT2SP) | Modèle transformeur fondé sur GPT-2 | Les 16 mêmes projets | Erreur annoncée en baisse de 6 à 47 % sur un même projet, de 3 à 46 % d'un projet à l'autre | Revue à comité de lecture |
| Tawosi, Moussa et Sarro, rapport 2022, SANER 2024 | Réplication de GPT2SP | Les 16 mêmes projets | Un bogue dans le calcul de l'erreur gonflait la précision annoncée de GPT2SP | Conférence à comité de lecture |
| Tawosi, Alamir et Liu, SSBSE 2023 | GPT-4 avec des exemples choisis par un algorithme de recherche | 3 jeux de données | Erreur réduite de 59,34 % en moyenne par rapport à une consigne sans exemple | Résultats préliminaires |
| Bui, Dam et Hoda, septembre 2025 | Plusieurs agents IA qui discutent d'une story entre eux et avec les développeurs | Un jeu de données réel | Meilleur que les techniques antérieures dans la majorité des cas ; retours très positifs des praticiens | Prépublication |
| Büyük et Nizam, ECEASST 2025 | Modèle BERT doté d'agents spécialisés | 12 014 enregistrements, 8 projets | 70,81 % de précision contre 42,62 % pour un BERT standard | Revue à comité de lecture |
| Shetty et al., mars 2026 | Quatre grands modèles de langage, avec et sans exemples | 16 projets | Sans aucune donnée d'entraînement, les modèles battent des réseaux entraînés sur 80 % des données ; quelques exemples améliorent encore le résultat | Prépublication |
| Maha, Rahman et Roy, ICPC 2026 | Génération augmentée par recherche (RAG) avec un petit modèle Llama | 23 projets | Parfois meilleur que les références, mais sans régularité ni différence significative | Conférence, session des résultats négatifs |
Deux tendances se dégagent. Les grands modèles de langage ont fait baisser le coût de l'essai : plus besoin d'entraîner un modèle sur des années d'historique pour obtenir une estimation plausible. Et les résultats les plus enthousiastes viennent souvent des premières publications, alors que les réplications et les articles de résultats négatifs se montrent plus prudents.
Pourquoi lire ces résultats avec prudence ?
Les réplications rabotent les gains. Quand Tawosi, Moussa et Sarro ont relancé Deep-SE sur davantage de projets, le modèle n'a battu une simple médiane de façon significative que dans 8 cas sur 42. Leur réplication de GPT2SP a mis au jour un bogue dans le calcul de l'erreur, corrigé depuis dans le code d'origine, qui gonflait la précision annoncée. Ces modèles ne sont pas inutiles pour autant, mais un chiffre isolé se révèle fragile.
Les études récentes ne sont pas des acquis. Plusieurs des résultats les plus prometteurs sur les grands modèles de langage sont des prépublications, pas encore relues par des pairs. L'article sur la génération augmentée présenté à ICPC 2026 a d'ailleurs été publié comme résultat négatif : l'approche n'apportait pas de gain régulier.
Les données sont publiques, et les modèles les ont peut-être vues. Tous les bancs d'essai utilisent des tickets open source en ligne depuis des années. Les grands modèles de langage sont entraînés sur d'immenses collectes du web : certains tickets, ou des discussions à leur sujet, font peut-être partie de ce qu'ils ont appris. C'est un risque connu du domaine, pas un défaut démontré d'une étude en particulier.
Les story points sont propres à chaque équipe. Un 5 chez les uns n'est pas un 5 chez les autres, car chaque équipe construit son échelle à partir de ses propres stories de référence. Un modèle peut apprendre les habitudes d'un projet ; il ne connaît pas l'échelle de votre équipe sans votre historique. C'est pourquoi les résultats d'un projet à l'autre, les plus proches de votre situation, méritent le plus d'attention.
Une erreur moyenne cache les stories qui comptent. Un modèle juste sur les tickets de routine mais très loin sur les tickets risqués peut afficher une bonne moyenne. Or en Planning Poker, c'est justement sur les stories risquées que la discussion rapporte le plus.
Que manque une estimation d'IA que l'équipe connaît ?
Un modèle ne voit que le texte qu'on lui donne. L'équipe en sait beaucoup plus.
| Information | Connue de l'IA | Connue de l'équipe |
|---|---|---|
| Titre et description du ticket | Oui | Oui |
| Critères d'acceptation, s'ils sont écrits | Oui | Oui, et elle peut les contester |
| État du code, modules fragiles, dette technique | Non, sauf si on colle le code | Oui |
| Qui est disponible et qui connaît le domaine | Non | Oui |
| Dépendances envers d'autres équipes ou des fournisseurs | Seulement si c'est écrit dans le ticket | Oui |
| Stories de référence et échelle de l'équipe | Seulement si on les donne en exemple | Oui |
| Mauvaises surprises passées sur un travail similaire | Non | Oui, par expérience |
Donner plus de contexte à l'assistant réduit l'écart, mais soulève une autre question : la confidentialité. Ne collez jamais de tickets confidentiels, de données clients ou de code source dans un assistant IA que votre entreprise n'a pas validé.
Le plus grand écart ne tient d'ailleurs pas à l'information mais au désaccord. Quand deux Developers révèlent un 2 et un 13, l'écart signale que quelqu'un voit un risque que les autres ont manqué. Nos données d'usage montrent à quelle fréquence les premiers votes divergent sur les stories estimées avec Planning Poker Online. Un chiffre unique produit par une IA ne fait pas émerger ce genre d'information : il ajoute seulement un avis de plus.
Comment utiliser une estimation d'IA sans perdre le vote ?
La recherche plaide pour un rôle modeste : un second avis, pas un remplaçant. Voici un protocole qui garde le jugement de l'équipe en premier.
- Avant la séance, servez-vous de l'IA pour clarifier, pas pour estimer. Demandez à un assistant de reformuler la story, de lister les critères d'acceptation manquants et de repérer les dépendances. Notre guide du refinement du backlog explique comment mener cette étape.
- Votez avant de voir le moindre chiffre d'IA. Chaque Developer choisit sa carte en secret, puis toutes les cartes sont révélées ensemble. Une estimation d'IA affichée plus tôt agit comme une ancre, comme l'explique notre article sur le biais d'ancrage.
- Faites intervenir l'IA après la première révélation. Si les votes divergent, une estimation d'IA peut relancer une discussion bloquée ou rappeler une story passée similaire. S'ils convergent, elle n'apporte pas grand-chose.
- Traitez un gros écart avec l'IA comme une question. Si l'équipe dit 3 et l'IA 13, demandez-vous ce que l'IA a pu lire dans le ticket. Parfois la story est floue ; parfois l'IA se trompe, tout simplement.
- Recalibrez quand votre façon de travailler change. Si des agents de code écrivent désormais une partie du code, lisez notre article sur les story points et les agents IA avant de comparer anciennes et nouvelles estimations.
Certains outils de Planning Poker affichent désormais une suggestion d'IA ; notre comparatif des outils gratuits recense ce que proposent les principaux. Planning Poker Online n'a aucune fonction d'IA : les votes restent secrets jusqu'à la révélation, et rien de ce que vous saisissez n'est envoyé à un modèle d'IA.
Questions fréquentes
L'IA est-elle précise pour estimer des story points ? L'estimation de story points par l'IA est assez précise sur les jeux de données open source, et les grands modèles de langage s'en sortent bien même sans exemple. La précision varie toutefois beaucoup selon les projets, et les réplications ont trouvé des gains plus faibles qu'annoncé. Aucun modèle publié n'a prouvé sa fiabilité sur le backlog d'une nouvelle équipe.
ChatGPT peut-il estimer des story points ? ChatGPT et les assistants similaires peuvent proposer une estimation en story points à partir du texte d'un ticket, et la recherche montre que ces suppositions peuvent approcher celles d'une équipe. Mais un assistant généraliste ignore l'échelle, le code et les contraintes de votre équipe. Utilisez son estimation comme un second avis, une fois que l'équipe a voté.
L'IA va-t-elle remplacer le Planning Poker ? L'IA a peu de chances de remplacer le Planning Poker, car la valeur de la méthode tient à la discussion que déclenchent des votes indépendants, pas au chiffre final. La recherche mesure à quel point les modèles reproduisent les estimations passées, biais compris. Une estimation d'IA peut nourrir l'échange après la révélation, sans remplacer ce que sait chaque Developer.
Pourquoi une estimation d'IA ancre-t-elle l'équipe ? Une estimation d'IA ancre l'équipe parce que tout chiffre montré avant le vote attire les estimations suivantes vers lui : c'est le biais d'ancrage, un effet bien documenté. Un chiffre produit par une machine avec assurance n'y échappe pas. Ne le montrer qu'après la première révélation garde chaque carte indépendante et préserve la valeur du désaccord.
Sources
- Morakot Choetkiertikul, Hoa Khanh Dam, Truyen Tran, Trang Pham, Aditya Ghose et Tim Menzies, A deep learning model for estimating story points, 2016, publié dans IEEE Transactions on Software Engineering, 2019
- Vali Tawosi, Rebecca Moussa et Federica Sarro, Agile Effort Estimation: Have We Solved the Problem Yet? Insights From A Replication Study, IEEE Transactions on Software Engineering, 2022
- Michael Fu et Chakkrit Tantithamthavorn, GPT2SP: A Transformer-Based Agile Story Point Estimation Approach, IEEE Transactions on Software Engineering, 2023
- Vali Tawosi, Rebecca Moussa et Federica Sarro, Agile Effort Estimation: Have We Solved the Problem Yet? Insights From A Second Replication Study (GPT2SP Replication Report), 2022, publié à SANER 2024
- Vali Tawosi, Salwa Alamir et Xiaomo Liu, Search-based Optimisation of LLM Learning Shots for Story Point Estimation, SSBSE 2023
- Thanh-Long Bui, Hoa Khanh Dam et Rashina Hoda, An LLM-based multi-agent framework for agile effort estimation, arXiv, septembre 2025
- Oğuzhan Oktay Büyük et Ali Nizam, Story Point Estimation Using Transformer Based Agents, Electronic Communications of the EASST, vol. 85, 2025
- Pranam Prakash Shetty, Adarsh Balakrishnan, Mengqiao Xu, Xiaoyin Xi et Zhe Yu, Story Point Estimation Using Large Language Models, arXiv, mars 2026
- Lamyea Maha, Tajmilur Rahman et Chanchal Roy, Agile Story-Point Estimation: Is RAG a Better Way to Go?, ICPC 2026
Laissez l'équipe voter d'abord
L'IA peut préparer une story et challenger une estimation, mais la recherche ne justifie pas de lui confier le vote. Créez une session de Planning Poker gratuite : chaque carte reste cachée jusqu'à la révélation, et le jugement de l'équipe passe avant celui de n'importe quelle machine. Sans inscription.




