Après avoir passé des heures à essayer toutes sortes de paramètres dans les fichiers de configuration et à redémarrer mysql des dizaines de fois, j'ai trouvé ceci qui semble résoudre le problème (je ne l'ai trouvé nulle part dans la documentation)
MySQLdb.connect(server, username, password, database, local_infile = 1)