Si toutes les requêtes sont lentes, SET NAMES peut avoir une très faible priorité sur le serveur, et donc attendre que la charge diminue. Si vous avez beaucoup d'autres requêtes qui prennent beaucoup de temps à s'exécuter, vous voudrez peut-être essayer de les optimiser en premier.
Une autre solution à ce "problème", pourrait être d'ajouter ceci à votre my.cnf sur le serveur :
[mysqld]
init-connect = 'SET NAMES utf8'
Cela garantit que le jeu de caractères est défini sur UTF-8 lorsqu'un client se connecte, afin que le client n'ait pas à attendre le résultat de cette "requête". Vous souhaitez probablement désactiver la requête SET NAMES dans votre logiciel.
Surtout, je ne m'inquiéterais pas trop à moins que vous n'ayez vraiment BEAUCOUP de NOMS DE SET qui prennent autant de temps.
