MongoDB
 sql >> Base de données >  >> NoSQL >> MongoDB

Comment charger 100 millions d'enregistrements dans MongoDB avec Scala pour tester les performances ?

Quelques conseils :

  1. N'indexez pas votre collection avant de l'insérer , car les insertions modifient l'index qui est un surcoût. Insérez tout, puis créez l'index .

  2. au lieu de "save", utilisez mongoDB "batchinsert" qui peut insérer plusieurs enregistrements en une seule opération. Ayez donc environ 5000 documents insérés par lot. Vous constaterez un gain de performances remarquable .

    voir la méthode n ° 2 d'insertion ici, il faut un tableau de documents à insérer au lieu d'un seul document. Voir également la discussion dans ce fil

    Et si vous voulez comparer davantage -

  3. Ce n'est qu'une supposition, essayez d'utiliser une collection limitée d'une grande taille prédéfinie pour stocker toutes vos données. La collection plafonnée sans index a de très bonnes performances d'insertion.