Bin mit AWS Glue und Postgres darauf gestoßen. Es gab einen Fehler in Spark 2.1.0, der ihn für die meisten Leute behoben hat, aber jemand hat in den Kommentaren eine Problemumgehung über die Verwendung eines customSchema-Option .
Ich hatte ein ähnliches Problem mit AWS Glue und Spark SQL:Ich habe einen Währungsbetrag berechnet, also war das Ergebnis ein Float. Glue hat den Fehler Decimal precision 1 exceeds max precision -1 ausgegeben obwohl der Glue Data Catalog die Spalte als Dezimalzahl definiert hat. Hat eine Seite aus der obigen customSchema-Lösung genommen, indem die Spalte explizit als NUMERIC(10,2) gecastet wurde, und Spark hat aufgehört, sich zu beschweren.
