Je suis confronté au même problème que vous. Il y a environ 2 à 3 secondes de retard lors du traitement du premier travail.
Après avoir cherché, j'ai trouvé que laravel file workerdefault 3 secondes de sommeil.
Ce qui signifie que le premier travail retardera de 3 secondes dans le pire des cas.
Pour le résoudre, spécifiez simplement --sleep=0 lors de l'exécution du worker. J'espère que ça aide.
php artisan queue:worker --sleep=0