MongoDB
 sql >> Base de données >  >> NoSQL >> MongoDB

Le connecteur source officiel Mongodb Kafka distribué avec plusieurs tâches ne fonctionne pas

Il semble que ce soit le comportement du connecteur source officiel de MongoDB Kafka. Voici la réponse que j'ai obtenue sur un autre forum de Ross Lawley (développeur MongoDB) :

Avant la version 1.2.0, une seule tâche était prise en charge par le connecteur Sink. Le connecteur Source ne prend toujours en charge qu'une seule tâche, car il utilise un seul curseur Change Stream. Cela suffit pour surveiller et publier les modifications à l'échelle du cluster, de la base de données ou d'une seule collection.

J'ai créé ce ticket :https://jira.mongodb.org/browse/KAFKA-121 J'ai obtenu la réponse suivante :Le connecteur source ne produira qu'une seule tâche. C'est par conception, car le connecteur source est soutenu par un flux de modifications. Les flux de modifications utilisent en interne les mêmes données que celles utilisées par le moteur de réplication et, en tant que tels, devraient pouvoir évoluer comme la base de données. Il n'est pas prévu d'autoriser plusieurs curseurs, cependant, si vous pensez que cela ne répond pas à vos besoins, vous pouvez configurez plusieurs connecteurs et chacun aura son propre curseur de flux de modification.