Récupérer des données de MySQL par lots via Python

Premier point :un python db-api.cursor est un itérateur, donc à moins que vous n'ayez vraiment besoin pour charger un lot entier en mémoire en une seule fois, vous pouvez commencer par utiliser cette fonctionnalité, c'est-à-dire au lieu de :

cursor.execute("SELECT * FROM mytable")
rows = cursor.fetchall()
for row in rows:
   do_something_with(row)

vous pourriez simplement :

cursor.execute("SELECT * FROM mytable")
for row in cursor:
   do_something_with(row)

Ensuite, si l'implémentation de votre connecteur de base de données n'utilise toujours pas correctement cette fonctionnalité, il sera temps d'ajouter LIMIT et OFFSET au mélange :

# py2 / py3 compat
try:
    # xrange is defined in py2 only
    xrange
except NameError:
    # py3 range is actually p2 xrange
    xrange = range

cursor.execute("SELECT count(*) FROM mytable")
count = cursor.fetchone()[0]
batch_size = 42 # whatever

for offset in xrange(0, count, batch_size):
    cursor.execute(
        "SELECT * FROM mytable LIMIT %s OFFSET %s", 
        (batch_size, offset))
   for row in cursor:
       do_something_with(row)