Mysql
 sql >> Base de données >  >> RDS >> Mysql

Accélérez l'insertion de grands ensembles de données à partir d'un fichier txt dans mySQL à l'aide de python

Deux options à envisager :

1) le plus simple est d'inclure plusieurs lignes de valeurs sur un insert. C'est beaucoup plus rapide que de faire plusieurs indserts.

Au lieu de faire INSERT INTO tbl ( cols ) VALUES ( vals ) , faites quelque chose comme INSERT INTO tbl ( cols ) VALUES ( vals ), ( vals ), ( vals )

La quantité de lignes que vous pouvez insérer à la fois dépend de la taille de paquet maximale du serveur mysql, mais vous pouvez probablement faire 100, 1000, peut-être 10000 lignes en toute sécurité et cela devrait vous donner une augmentation des performances d'un ordre de grandeur ou plus.

Voir http://dev.mysql.com/doc/ refman/5.5/en/insert-speed.html

2) CHARGER LE FICHIER DE DONNEES est un peu différent, nécessite plus de travail et a ses propres exigences, mais est très très rapide.