MongoDB
 sql >> Datenbank >  >> NoSQL >> MongoDB

Spark - Wie erstellt man eine Variable, die für jeden Executor-Kontext unterschiedlich ist?

Sie sollten den MongoConnector .

Es übernimmt die Erstellung einer Sammlung und wird von einem Cache unterstützt, der das Herunterfahren aller MongoClients effizient handhabt. Es ist serialisierbar, sodass es ein Broadcast sein kann und Optionen, eine readConfig oder den Spark-Kontext verwenden kann, um zu konfigurieren, wohin eine Verbindung hergestellt werden soll.

MongoConnector verwendet das Darlehensmuster, um die Referenzverwaltung der zugrunde liegenden Verbindung zu MongoDB zu handhaben, und ermöglicht den Zugriff auf MongoClient , MongoDatabase oder die MongoCollection Stufe.