MongoDB
 sql >> Datenbank >  >> NoSQL >> MongoDB

Spark- und MongoDB-Anwendung in Scala 2.10 Maven-Built-Fehler

Entfernen Sie die Mongo-Scala-Treiber-Abhängigkeit, die nicht für Scala 2.10 kompiliert und daher nicht kompatibel ist.

Die gute Nachricht ist MongoDB Spark Connector ist ein eigenständiger Konnektor. Es verwendet den synchronen Mongo Java Driver weil Spark für CPU-intensive synchrone Aufgaben ausgelegt ist. Es wurde entwickelt, um Spark-Idiomen zu folgen, und ist alles, was benötigt wird, um MongoDB mit Spark zu verbinden.

Andererseits der Mongo-Scala-Treiber ist idiomatisch für moderne Scala-Konventionen; alle IO sind vollständig asynchron. Dies eignet sich hervorragend für Webanwendungen und zur Verbesserung der Skalierbarkeit eines einzelnen Computers.