MongoDB
 sql >> Datenbank >  >> NoSQL >> MongoDB

Kann kafka connect - mongo source als Cluster ausgeführt werden (max.tasks> 1)

Mongo-Quelle unterstützt nicht task.max> 1. Selbst wenn Sie es größer als 1 setzen, nur eins Aufgabe wird es sein, Daten von Mongo nach Kafka zu ziehen.

Wie viele Tasks erstellt werden, hängt vom jeweiligen Connector ab. Funktion List<Map<String, String>> Connector::taskConfigs(int maxTasks) , (das sollte während der Implementierung Ihres Connectors überschrieben werden) gibt die Liste zurück, deren Größe die Anzahl der Aufgaben bestimmt. Wenn Sie den Mongo-Kafka-Quellconnector überprüfen, werden Sie sehen, dass es sich um eine SingletonList handelt.

https://github.com/mongodb/mongo-kafka/blob/master/src/main/java/com/mongodb/kafka/connect/MongoSourceConnector.java#L47