Sqoop on Dataproc kann keine Daten in das Avro-Format exportieren

Das Problem kann in verschiedenen Avro-Versionen in Dataprocs Hadoop (Avro 1.7.7) und Sqoop 1.4.7 (Avro 1.8.1) auftreten.

Sie können versuchen, Sqoop auf 1.4.6 herunterzustufen, das von Avro 1.7 abhängt, und avro-tools-1.7.7.jar verwenden während der Auftragsübermittlung.

Bearbeitet:

Um das Problem mit dem Laden von Klassen zu lösen, müssen Sie mapreduce.job.classloader=true festlegen beim Senden des Dataproc-Jobs:

gcloud dataproc jobs submit hadoop --cluster=<CLUSTER_NAME> \
    --class=org.apache.sqoop.Sqoop \
    --jars=gs://<BUCKET>/sqoop-1.4.7-hadoop260.jar \
    --properties=mapreduce.job.classloader=true \
    -- \
    . . .