MongoDB
 sql >> Datenbank >  >> NoSQL >> MongoDB

Verteilter offizieller Mongodb Kafka Source Connector mit mehreren Aufgaben Funktioniert nicht

Es scheint, dass dies das Verhalten des offiziellen MongoDB Kafka Source Connectors ist. Dies ist die Antwort, die ich in einem anderen Forum von Ross Lawley (MongoDB-Entwickler) erhalten habe:

Vor 1.2.0 wurde vom Sink-Konnektor nur eine einzige Aufgabe unterstützt. Der Quell-Konnektor unterstützt immer noch nur eine einzige Aufgabe, weil er einen einzelnen Change Stream-Cursor verwendet. Dies reicht aus, um Änderungen clusterweit, datenbankweit oder bis hinunter zu einer einzelnen Sammlung zu beobachten und zu veröffentlichen.

Ich habe dieses Ticket erstellt:https://jira.mongodb.org/browse/KAFKA-121 Folgende Antwort erhalten:Der Quellconnector erzeugt immer nur eine einzige Aufgabe. Dies ist beabsichtigt, da der Quellconnector durch einen Änderungsstrom unterstützt wird. Änderungsströme verwenden intern die gleichen Daten wie die Replikations-Engine und sollten daher wie die Datenbank skaliert werden können Konfigurieren Sie mehrere Konnektoren und jeder hätte seinen eigenen Change-Stream-Cursor.