Wenn Sie die tatsächliche Datenquelle ändern (Datensätze löschen) möchten, dh Tabellen in Postgres, wäre Spark keine gute Möglichkeit. Sie können den jdbc-Client direkt verwenden, um dasselbe zu erreichen.
Wenn Sie dies trotzdem tun möchten (auf verteilte Weise basierend auf einigen Hinweisen, die Sie als Teil von Datenrahmen berechnen); Sie können den gleichen jdbc-Client-Code in Übereinstimmung mit dem Datenrahmen schreiben lassen, der Logik-/Trigger-Informationen zum Löschen von Datensätzen enthält und der auf mehreren Workern parallel ausgeführt werden kann.
