Votre idée initiale est tout à fait réalisable. Démarrez simplement 10 threads de travail qui attendent une entrée sur une seule et même file d'attente. Ensuite, votre processus de messagerie place les URL dans cette file d'attente. L'équilibrage de charge se fera automatiquement.
Si vos liaisons SQL sont thread-safe, vous pouvez effectuer les opérations INSERT ou UPDATE dans les threads de travail. Sinon, j'ajouterais un thread supplémentaire pour les éléments SQL, en attendant une entrée sur une file d'attente différente. Ensuite, vos threads de travail placeraient la requête dans cette file d'attente et le thread SQL l'exécuterait.
Si vous recherchez "file d'attente des threads de travail python" sur Google, vous trouverez quelques exemples.
