Vous devez configurer l'encodage client de Psycopg2. Voir la documentation SQLAlchemy :
Le client_encoding Le paramètre peut être spécifié en tant que chaîne de requête dans l'URL du moteur :
postgresql://user:example@sqldat.com/dbname?client_encoding=utf8