MongoDB
 sql >> Base de données >  >> NoSQL >> MongoDB

Sortie Hadoop HDFS MapReduce dans MongoDb

Vous voulez « Connecteur MongoDB pour Hadoop » . Les exemples .

Il est tentant d'ajouter simplement du code dans votre réducteur qui, comme effet secondaire, insère des données dans votre base de données. Évitez cette tentation. L'une des raisons d'utiliser un connecteur plutôt que d'insérer simplement des données comme effet secondaire de votre classe de réducteur est l'exécution spéculative :Hadoop peut parfois exécuter deux des mêmes tâches de réduction en parallèle, ce qui peut entraîner des insertions superflues et des données en double.