MongoDB
 sql >> Base de données >  >> NoSQL >> MongoDB

Kafka peut-il se connecter - la source mongo s'exécute en tant que cluster (max.tasks> 1)

Mongo-source ne prend pas en charge les tâches.max> 1. Même si vous le définissez supérieur à 1, seulement un tâche consistera à extraire des données de mongo vers Kafka.

Le nombre de tâches créées dépend du connecteur particulier. Fonction List<Map<String, String>> Connector::taskConfigs(int maxTasks) , (qui devrait être remplacé lors de la mise en œuvre de votre connecteur) renvoie la liste, dont la taille détermine le nombre de tâches. Si vous cochez le connecteur source mongo-kafka, vous verrez qu'il s'agit d'une singletonList.

https://github.com/mongodb/mongo-kafka/blob/master/src/main/java/com/mongodb/kafka/connect/MongoSourceConnector.java#L47