Postgresql ON CONFLICT in sqlalchemy

Bei Verwendung von Postgres 9.6.1, sqlachemy 1.1.4 und psycopg2 2.6.2:

1. Wandeln Sie Ihre Datenstruktur in ein Wörterbuch um. Von Pandas ist es

   import pandas
   from sqlalchemy import MetaData
   from sqlalchemy.dialects.postgresql import insert
   import psycopg2
   
   # The dictionary should include all the values including index values
   insrt_vals = df.to_dict(orient='records')
   

2. Stellen Sie über sqlalchemy eine Verbindung zur Datenbank her. Probieren Sie stattdessen den darunter liegenden psycog2-Treiber und die native COPY-Funktion aus, die die gesamte Postgres-Indizierung umgeht.

   csv_data = os.path.realpath('test.csv')
   con = psycopg2.connect(database = 'db01', user = 'postgres')
   cur = con.cursor()
   cur.execute("\copy stamm_data from '%s' DELIMITER ';' csv header" % csv_data)
   con.commit()
   

3. Ausführen

   results = engine.execute(do_nothing_stmt)
   # Get number of rows inserted
   rowcount = results.rowcount
   

Warnung:

Diese Methode funktioniert nicht mit NaT ist sofort einsatzbereit.

Alles zusammen

tst_df = pd.DataFrame({'colA':['a','b','c','a','z', 'q'],
              'colB': pd.date_range(end=datetime.datetime.now() , periods=6),
              'colC' : ['a1','b2','c3','a4','z5', 'q6']})


insrt_vals = tst_df.to_dict(orient='records')
engine =      sqlalchemy.create_engine("postgresql://user:[email protected]/postgres")
connect = engine.connect()
meta = MetaData(bind=engine)
meta.reflect(bind=engine)
table = meta.tables['tstbl']
insrt_stmnt = insert(table).values(insrt_vals)

do_nothing_stmt  = insrt_stmnt.on_conflict_do_nothing(index_elements=['colA','colB'])
results = engine.execute(do_nothing_stmt)

Verwenden Sie anstelle von Schritt 2 und 3 psycog2 Der Treiber mit dem Kopierbefehl in Postgres ist schneller für größere Dateien (nähert sich einem Gig), da er die gesamte Tabellenindizierung ausschaltet.

csv_data = os.path.realpath('test.csv')