Mysql
 sql >> Base de données >  >> RDS >> Mysql

Chargement de 5 millions de lignes dans Pandas depuis MySQL

La meilleure façon de charger tous les données d'une table hors de la base de données -any-SQL dans pandas sont :

  1. Vider les données hors de la base de données en utilisant COPY pour PostgreSQL, SELECT INTO OUTFILE pour MySQL ou similaire pour d'autres dialectes.
  2. Lire le fichier csv avec pandas en utilisant le pandas.read_csv fonction

Utilisez le connecteur uniquement pour lire quelques lignes . La puissance d'une base de données SQL réside dans sa capacité à fournir de petits blocs de données basés sur des indices.

La livraison de tables entières est quelque chose que vous faites avec les dumps.