Vous devez configurer l'encodage client de Psycopg2. Voir la documentation SQLAlchemy :
Le client_encoding
Le paramètre peut être spécifié en tant que chaîne de requête dans l'URL du moteur :
postgresql://user:[email protected]/dbname?client_encoding=utf8