Ich habe die Antwort auf meine Frage herausgefunden. Dies war ein Kompatibilitätsproblem mit dem Mongo-Spark-Connector und der Version von Spark, auf die ich aktualisiert habe. Insbesondere wurde der Wert findTightestCommonTypeOfTwo in PR:
umbenannthttps://github.com/apache/spark/pull/16786/files
Für Spark 2.2.0 ist der kompatible Mongo-Spark-Konnektor auch 2.2.0, daher würde das Paket in meinem Beispiel so geladen werden:
--packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0\
Dies könnte sich in Zukunft ändern, daher sollten Sie bei Verwendung des Konnektors die Kompatibilität mit der verwendeten Version von Spark überprüfen.
