Ihre ursprüngliche Idee ist absolut umsetzbar. Starten Sie einfach 10 Worker-Threads, die in ein und derselben Warteschlange auf Eingaben warten. Dann stellt Ihr E-Mail-Prozess die URLs in diese Warteschlange. Der Lastenausgleich erfolgt automatisch.
Wenn Ihre SQL-Bindungen Thread-sicher sind, können Sie die INSERT- oder UPDATE-Sachen in den Worker-Threads ausführen. Andernfalls würde ich einen weiteren Thread für das SQL-Zeug hinzufügen und auf Eingaben in einer anderen Warteschlange warten. Dann würden Ihre Worker-Threads die Abfrage in diese Warteschlange stellen und der SQL-Thread würde sie ausführen.
Wenn Sie nach "python worker threads queue" googeln, finden Sie einige Beispiele.
