Agents IA : mesurer les gains sans oublier la qualité

Évaluez les agents de code sur un projet Symfony : effort humain, coût par changement accepté, qualité et limites des mesures de productivité.

Un correctif généré en cinq minutes peut demander une heure de relecture. À l’inverse, une session assez longue peut débloquer un changement qui aurait autrement été abandonné. Pour décider comment utiliser un agent de code, il faut regarder le travail livré, l’effort humain et les conséquences après livraison.

Le AI Coding Radar de Theodo inclut la confiance, la qualité et une mise en garde sur le choix d’un agent à partir d’un classement. Cette piste conduit ici à une question pratique pour une équipe ou un freelance : comment vérifier qu’un outil améliore réellement la livraison de son application Symfony ?

Sources consultées le . Les outils évoluent ; les exemples ci-dessous proposent une méthode de travail à adapter au dépôt.

Choisir une unité de travail comparable

Je propose de partir de changements assez petits pour être relus indépendamment : corriger un filtre, ajouter un export ou renforcer un test sur une anomalie connue. Évitez de comparer une correction de texte assistée par IA à une refonte métier réalisée sans assistance. La technologie, la connaissance du dépôt et le niveau d’exigence influencent le résultat.

Avant l’essai, fixez la définition de « terminé » : critères d’acceptation satisfaits, contrôles pertinents passés et revue achevée. Conservez les tentatives abandonnées et les reprises. Les supprimer du relevé reviendrait à mesurer seulement les réussites visibles.

Séparer durée écoulée et effort humain

La durée entre le début d’une tâche et sa livraison intéresse le client. L’effort consacré par les personnes intéresse l’équipe. Ce sont deux mesures distinctes : un agent peut calculer pendant qu’un développeur avance sur un autre dossier, mais le temps de reprise et de revue doit rester compté.

La mise à jour de METR du 24 février 2026 décrit justement les difficultés de mesure quand plusieurs agents travaillent en parallèle, ainsi que des biais de sélection dans les tâches et participants. Une mesure locale doit donc préciser son protocole au lieu de présenter une estimation spontanée comme un chronométrage.

Par changement, relever :
- famille de tâche et critères de fin ;
- outil, modèle disponible et date de l'essai ;
- minutes humaines de cadrage, implémentation, revue et correction ;
- durée écoulée totale, relevée séparément ;
- coût variable et part d'abonnement attribuée ;
- résultat : accepté, repris ou abandonné ;
- défauts découverts pendant une période de suivi définie.

Lire les études avec leur date et leur périmètre

Dans son essai randomisé publié le 10 juillet 2025, METR a observé un temps de réalisation supérieur de 19 % avec les outils étudiés, sur 246 tâches proposées par 16 développeurs expérimentés de grands projets open source. Ce résultat porte sur un contexte et des outils du début de 2025 ; il ne démontre pas que les agents actuels ralentissent tous les développeurs.

Une autre enquête METR publiée le 11 mai 2026 interroge 349 travailleurs techniques sur leurs gains déclarés. Elle distingue la vitesse et la valeur du travail et discute les limites de ces estimations. Une enquête de perception et une expérimentation chronométrée apportent des informations différentes. Les rapprocher exige de conserver cette distinction.

Compter le coût du résultat accepté

Voici un exemple fictif, uniquement destiné à expliquer le calcul. Pour une tâche sans IA, le développeur consacre 90 minutes à l’implémentation, 20 à la revue et 10 aux corrections : 120 minutes au total. Avec un agent, il passe 15 minutes au cadrage, 25 à l’implémentation accompagnée, 35 à la revue et 15 aux corrections : 90 minutes.

Hypothèses fictives : coût humain interne de 60 €/h.
Sans IA : 120 min × 1 €/min = 120 €.
Avec IA :  90 min × 1 €/min + 3 € d'outillage attribués = 93 €.
Écart apparent : 27 €, sous réserve d'une qualité et d'un périmètre comparables.

Ces montants ne sont ni un tarif de mission ni une promesse d’économie. Dans un pilote réel, attribuez aussi le coût de préparation du dépôt, de formation et des essais échoués. Divisez le coût du lot par ses changements acceptés, tout en gardant des familles de tâches comparables. Si la qualité diffère, expliquez cette différence avant de conclure au gain.

Ajouter des indicateurs de qualité après livraison

Pour un projet Symfony, surveillez les anomalies rouvertes, les retours de recette et les corrections urgentes liées aux changements observés. La qualité des tests compte davantage que le nombre de tests ajoutés : une assertion sur le mauvais résultat peut simplement stabiliser une erreur.

À l’échelle d’une application, le cadre de mesure DORA complète ce suivi avec le délai entre commit et production, la fréquence de déploiement, le temps de récupération après un déploiement échoué, le taux d’échec des changements et la proportion de déploiements de reprise non planifiés. Ce sont des mesures du système de livraison ; elles n’isolent pas à elles seules l’effet causal de l’IA.

Un meilleur délai de PR peut coïncider avec une file de revue qui grossit ou davantage de retours après mise en production. Regardez ces signaux ensemble. Documentez également les changements d’équipe, de CI ou de périmètre qui pourraient expliquer l’évolution. Un simple avant/après ne suffit pas à attribuer le résultat au nouvel agent.

Décider à partir d’un pilote borné

Définissez une période et quelques familles de tâches, puis examinez les résultats avec les développeurs et les relecteurs. Un petit lot révèle des frictions utiles, mais ne permet pas une estimation universelle de productivité. Rapporter la dispersion et les échecs est plus instructif qu’un unique pourcentage commercial.

À l’issue du pilote, conservez les usages qui réduisent une difficulté identifiée, adaptez ceux qui déplacent l’effort vers la revue et retestez après un changement important de modèle ou de contexte. Pour une mission freelance, ce relevé nourrit surtout une discussion concrète avec le client : ce qui est livré, comment c’est vérifié et à quel coût de maintenance.

← Tous les articles