MongoDB
 sql >> Datenbank >  >> NoSQL >> MongoDB

Spark Mongo-Konnektor, MongoShardedPartitioner funktioniert nicht

Es tut uns leid, dass Sie ein Problem mit dem Connector haben.

Informationen zu Partitionierern finden Sie auf der Spark-Connector-Dokumentationsseite . Bitte erstellen Sie ein Ticket im Docs-Jira-Projekt Wenn Sie das Gefühl haben, dass etwas fehlt oder unklar ist, könnte dies zukünftigen Benutzern wirklich helfen!

Der Standardpartitionierer ist ein dünner Wrapper um den MongoSamplePartitioner . Es teilt eine Sammlung in große Partitionen auf, basierend auf statistischen Stichproben der Sammlung.

Der MongoShardedPartitioner verwendet den shardKey um die Partitionen zu erzeugen. Standardmäßig wird _id verwendet als Schlüssel. Möglicherweise müssen Sie diesen Wert konfigurieren.

Hinweis: Hash-Shardkeys sind nicht unterstützt von MongoShardedPartitioner da es derzeit keine Möglichkeit gibt, eine Sammlung anhand des Hash-Werts abzufragen, werden beim Abrufen von Partitionen keine Ergebnisse zurückgegeben. Ich habe DOCS-12345 hinzugefügt um die Dokumentation zu aktualisieren.

Anscheinend gibt es ein Problem in Ihrem Setup, bei dem MongoShardedPartitioner kann die Sammlung nicht wie erwartet partitionieren und gibt 0 Ergebnisse zurück. Der Schemarückschluss funktioniert weiterhin, da er die Sammlung abfragt. Wenn es sich nicht um ein Konfigurations-/gehashtes Shardkey-Problem handelt, melden Sie bitte einen Fehler im Spark-Jira-Projekt und ich kann Ihnen helfen, die Ursache zu identifizieren und eine Lösung für Sie freizugeben.