PostgreSQL
 sql >> Datenbank >  >> RDS >> PostgreSQL

Leistungsprobleme beim Masseneinfügen von PostgreSQL/JooQ beim Laden aus CSV; Wie verbessere ich den Prozess?

Der schnellste Weg zum Masseneinfügen aus einer CSV-Datei in PostgreSQL ist mit Kopieren . Der COPY-Befehl ist für das Einfügen einer großen Anzahl von Zeilen optimiert.

Mit Java können Sie die Copy-Implementierung für den PostgreSQL-JDBC-Treiber

Hier ist ein nettes kleines Beispiel, wie man es benutzt:Wie kopiert man Daten mit JDBC aus einer Datei nach PostgreSQL?

Wenn Sie eine CSV-Datei mit Kopfzeilen haben, sollten Sie einen ähnlichen Befehl wie diesen ausführen:

\COPY mytable FROM '/tmp/mydata.csv' DELIMITER ';' CSV HEADER

Eine weitere Leistungssteigerung beim Hinzufügen großer Datenmengen zu einer vorhandenen Tabelle besteht darin, die Indizes zu löschen, die Daten einzufügen und dann die Indizes neu zu erstellen.