Ihre Nutzung der --packages Argument ist falsch:
--packages com.mongodb.spark:hdfs:///user/liac/package/jars/mongo-spark-connector_2.11-1.0.0-assembly.jar:1.0.0
Es muss die Form groupId:artifactId:version haben wie die Ausgabe vermuten lässt. Sie können damit keine URL verwenden.
Ein Beispiel für die Verwendung von MongoDB mit Spark mit der eingebauten Repository-Unterstützung:
$SPARK_HOME/bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
Wenn Sie darauf bestehen, Ihr eigenes JAR zu verwenden, können Sie es über --repositories bereitstellen . Der Wert des Arguments ist
In Ihrem Fall könnte dies beispielsweise
sein--repositories hdfs:///user/liac/package/jars/ --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
