Un moyen efficace d'insérer une trame de données de R à SQL

TL;DR : LOAD DATA INFILE est un ordre de grandeur plus rapide que plusieurs INSERT instructions, qui sont elles-mêmes un ordre de grandeur plus rapides qu'un seul INSERT déclarations.

Je compare ci-dessous les trois principales stratégies d'importation de données de R vers Mysql :

1. unique insert déclarations , comme dans la question :

   INSERT INTO test (col1,col2,col3) VALUES (1,2,3)

2. plusieurs insert déclarations , formaté comme suit :

   INSERT INTO test (col1,col2,col3) VALUES (1,2,3),(4,5,6),(7,8,9)

3. load data infile déclaration , c'est-à-dire charger un fichier CSV précédemment écrit dans mysql :

   LOAD DATA INFILE 'the_dump.csv' INTO TABLE test

J'utilise RMySQL ici, mais tout autre pilote mysql devrait conduire à des résultats similaires. La table SQL a été instanciée avec :

CREATE TABLE `test` (
  `col1` double, `col2` double, `col3` double, `col4` double, `col5` double
) ENGINE=MyISAM;

Les données de connexion et de test ont été créées en R avec :

library(RMySQL)
con = dbConnect(MySQL(),
                user = 'the_user',
                password = 'the_password',
                host = '127.0.0.1',
                dbname='test')

n_rows = 1000000 # number of tuples
n_cols = 5 # number of fields
dump = matrix(runif(n_rows*n_cols), ncol=n_cols, nrow=n_rows)
colnames(dump) = paste0('col',1:n_cols)

Analyse comparative unique insert déclarations :

before = Sys.time()
for (i in 1:nrow(dump)) {
  query = paste0('INSERT INTO test (',paste0(colnames(dump),collapse = ','),') VALUES (',paste0(dump[i,],collapse = ','),');')
  dbExecute(con, query)
}
time_naive = Sys.time() - before 

=> cela prend environ 4 minutes sur mon ordinateur

Analyse comparative de plusieurs insert déclarations :

before = Sys.time()
chunksize = 10000 # arbitrary chunk size
for (i in 1:ceiling(nrow(dump)/chunksize)) {
  query = paste0('INSERT INTO test (',paste0(colnames(dump),collapse = ','),') VALUES ')
  vals = NULL
  for (j in 1:chunksize) {
    k = (i-1)*chunksize+j
    if (k <= nrow(dump)) {
      vals[j] = paste0('(', paste0(dump[k,],collapse = ','), ')')
    }
  }
  query = paste0(query, paste0(vals,collapse=','))
  dbExecute(con, query)
}
time_chunked = Sys.time() - before 

=> cela prend environ 40 secondes sur mon ordinateur

Analyse comparative load data infile déclaration :

before = Sys.time()
write.table(dump, 'the_dump.csv',
          row.names = F, col.names=F, sep='\t')
query = "LOAD DATA INFILE 'the_dump.csv' INTO TABLE test"
dbSendStatement(con, query)
time_infile = Sys.time() - before 

=> cela prend environ 4 secondes sur mon ordinateur

Concevoir votre requête SQL pour gérer de nombreuses valeurs d'insertion est le moyen le plus simple d'améliorer les performances. Transition vers LOAD DATA INFILE conduira à des résultats optimaux. De bons conseils de performance peuvent être trouvés dans cette page de documentation mysql .