Symfony Messenger : fiabiliser les traitements IA en arrière-plan
Files dédiées, états des tâches, retries et idempotence : une méthode pour exécuter vos générations IA avec Symfony Messenger.
Un bouton « Générer un résumé » peut immobiliser une requête HTTP pendant plusieurs secondes. Un fournisseur lent finit alors par dicter le temps de réponse de toute la page. Avec Messenger, l’application peut accepter la demande, afficher son état et exécuter la génération dans un worker. Il reste toutefois à décider ce qui se passe lorsque le même travail arrive deux fois ou que le fournisseur répond trop tard.
Repères vérifiés le . Les exemples de configuration visent Symfony 7.4 et PHP 8.4. Le fournisseur IA reste derrière un service applicatif : ce découpage fonctionne aussi bien avec Symfony AI qu’avec un client HTTP spécialisé.
Enregistrer une demande avant de la mettre en file
Pour ce scénario éditorial, je conserve un travail en base avec son identifiant, le document concerné, sa version et les états queued, running, succeeded ou failed. La page peut lire cet état sans attendre le modèle. Le résultat est une proposition à relire, sans publication automatique.
Le message transporte un identifiant stable. Le worker recharge le texte autorisé et la version attendue : un ancien message ne doit pas résumer silencieusement une nouvelle révision. Le contrôle d’accès intervient à la création du travail puis lors de l’accès à son résultat. Un identifiant de travail n’est pas une autorisation.
<?php
declare(strict_types=1);
namespace App\Message;
final readonly class GenerateSummary
{
public function __construct(public string $jobId)
{
}
}
Une fois le travail enregistré, le contrôleur peut appeler le bus :
$bus->dispatch(new \App\Message\GenerateSummary($jobId));
Attention à la frontière entre la transaction SQL et l’envoi du message. Un commit réussi suivi d’un envoi échoué laisse un travail sans consommateur. Pour une livraison fiable, j’utilise une boîte d’envoi transactionnelle, puis un relais qui remet les messages en file. Un bouton de relance ne corrige pas à lui seul cette incohérence.
Configurer une file dédiée
composer require symfony/messenger:"7.4.*" symfony/doctrine-messenger:"7.4.*"
Dans une application disposant déjà de Doctrine, ce fragment réserve une file aux demandes IA et une autre aux échecs. Adaptez la connexion, la sérialisation et le délai de redistribution à votre infrastructure ; préparez les tables de transport lors du déploiement.
# Fragment à fusionner avec config/packages/messenger.yaml.
framework:
messenger:
failure_transport: failed_ai
transports:
ai:
dsn: 'doctrine://default?queue_name=ai'
retry_strategy:
max_retries: 3
delay: 2000
multiplier: 2
max_delay: 30000
failed_ai:
dsn: 'doctrine://default?queue_name=failed_ai'
routing:
'App\Message\GenerateSummary': ai
Le routage est ce qui rend ce message asynchrone. Le worker doit tourner sous un superviseur, avec une politique de redémarrage et des limites adaptées au budget de génération. La documentation Messenger 7.4 détaille les transports, la consommation et le traitement des échecs.
php bin/console messenger:setup-transports
php bin/console messenger:consume ai --time-limit=3600 --memory-limit=256M
php bin/console messenger:failed:show --transport=failed_ai
Un retry ne doit pas créer une deuxième publication
Le traitement doit tolérer une nouvelle livraison du même message. Je conserve une clé métier unique, par exemple documentId + révision + versionDuPrompt. Si un résultat existe déjà pour cette clé, le worker le réutilise. Une action volontaire « Régénérer » doit créer une nouvelle tentative identifiable, afin de ne pas se confondre avec une répétition technique.
Deux workers peuvent néanmoins lire le même état avant que l’un l’actualise. Pour éviter cette course, la prise en charge doit être atomique : mise à jour conditionnelle en SQL, ou verrou partagé entre les workers. Un verrou à expiration doit couvrir le traitement et être renouvelé si nécessaire. Le composant Lock fournit les mécanismes ; la durée, le stockage et la récupération après panne restent à concevoir.
Le résultat doit être validé puis enregistré avec sa clé unique avant de marquer le travail comme terminé. Cette discipline évite les doublons dans notre base. Elle ne garantit pas une seule facturation distante : si le modèle termine mais que la connexion coupe avant la sauvegarde, une reprise peut provoquer un nouvel appel. Vérifiez séparément les garanties d’idempotence du fournisseur.
Limiter les reprises et garder une trace utile
Je distingue les erreurs temporaires — surcharge, indisponibilité — des erreurs qui exigent une correction, comme une entrée invalide. Le délai HTTP, les reprises internes du client et celles du transport doivent partager un budget cohérent. Trois retries représentent jusqu’à quatre tentatives au niveau de Messenger ; des reprises supplémentaires dans le client peuvent multiplier les appels.
Journalisez l’identifiant du travail, le modèle, la version du prompt, la durée et la catégorie d’échec. Évitez de recopier systématiquement les textes reçus dans les journaux : ils peuvent contenir des informations privées. Sur l’interface, affichez une attente explicite et une erreur compréhensible plutôt qu’un chargement sans fin.
Les tests qui révèlent les vraies erreurs
- Livrer deux fois le même identifiant : un seul résultat doit être exposé au lecteur.
- Lancer deux workers sur la même clé : un seul doit pouvoir prendre en charge le travail.
- Simuler un timeout après réponse distante : vérifier le comportement de reprise et la visibilité de l’échec.
- Modifier le document pendant l’attente : refuser le résultat périmé ou l’associer clairement à l’ancienne version.
- Redémarrer un worker en plein traitement : un travail ne doit pas rester indéfiniment dans l’état running.
Commencez avec un faux fournisseur déterministe. Les tests de file, de concurrence et de transaction doivent utiliser le transport et la base retenus en production ; un transport en mémoire ne démontre pas ces garanties. Un test ponctuel chez le fournisseur vient ensuite, avec un contenu sans données sensibles et un budget explicite.