MongoDB
 sql >> Datenbank >  >> NoSQL >> MongoDB

Übergeben zusätzlicher Gläser an Spark über spark-submit

Das Problem ist, dass CLASSPATH sollte durch Doppelpunkte getrennt werden, während JARS sollte durch Kommas getrennt werden:

$SPARK_HOME/bin/spark-submit \
--driver-class-path /usr/local/share/mongo-hadoop/build/libs/mongo-hadoop-1.5.0-SNAPSHOT.jar:/usr/local/share/mongo-hadoop/spark/build/libs/mongo-hadoop-spark-1.5.0-SNAPSHOT.jar \
--jars /usr/local/share/mongo-hadoop/build/libs/mongo-hadoop-1.5.0-SNAPSHOT.jar,/usr/local/share/mongo-hadoop/spark/build/libs/mongo-hadoop-spark-1.5.0-SNAPSHOT.jar my_application.py