MongoDB
 sql >> Base de données >  >> NoSQL >> MongoDB

MongoDB :mongoimport perd la connexion lors de l'importation de gros fichiers

Je suppose que le problème concerne les performances, quelle que soit la manière dont vous pouvez le résoudre :

vous pouvez utiliser l'option mongoimport -j . Essayez d'incrémenter si vous ne travaillez pas avec 4. c'est-à-dire 4,8,16, cela dépend du nombre de cœurs que vous avez dans votre processeur.

mongoimport --help

-j, --numInsertionWorkers=nombre d'opérations d'insertion à exécuter simultanément (par défaut à 1)

mongoimport -d mietscraping -c mails -j 4

ou vous pouvez diviser le fichier et importer tous les fichiers.

J'espère que cela vous aidera.

en regardant un peu plus, c'est un bug dans certaines versionhttps://jira.mongodb.org/browse/TOOLS-939ici une autre solution vous pouvez changer le batchSize, par défaut c'est 10000, réduisez la valeur et testez :

mongoimport -d mietscraping -c mails