MongoDB
 sql >> Base de données >  >> NoSQL >> MongoDB

Importation d'un très grand jeu d'enregistrements dans MongoDB à l'aide de nodejs

Pas une réponse à votre situation exacte d'importation à partir d'un fichier .csv, mais à la place, sur l'insertion en masse

-> Tout d'abord, il n'y a pas d'opérations spéciales d'insertion "en masse", c'est tout un forEach à la fin.

-> si vous essayez de lire un gros fichier de manière asynchrone, ce qui serait beaucoup plus rapide que le processus d'écriture, alors vous devriez envisager de changer votre approche, tout d'abord déterminer combien votre configuration peut gérer (ou simplement frapper-n -essai).

---> Après cela, changez la façon dont vous lisez à partir du fichier, vous n'avez pas besoin de lire chaque ligne du fichier, async-ly, apprenez à attendre, utilisez forEach, forEachSeries de Async.js pour réduire vos lectures près de mongodb write niveau, et vous êtes prêt à partir.