Wie füge ich Huge Pandas Dataframe in eine MySQL-Tabelle mit Parallel Insert Statement ein?

Sie können ein paar Dinge tun, um das zu erreichen.

Eine Möglichkeit besteht darin, beim Schreiben in sql.

df.to_sql(method = 'multi')

Gemäß dieser Dokumentation , das Übergeben von 'multi' an das Methodenargument ermöglicht Ihnen das Masseneinfügen.

Eine andere Lösung besteht darin, eine benutzerdefinierte Einfügefunktion mit multiprocessing.dummy zu erstellen. Hier ist der Link zur Dokumentation:https://docs.python.org/2/library/multiprocessing.html#module-multiprocessing.dummy

import math
from multiprocessing.dummy import Pool as ThreadPool

...

def insert_df(df, *args, **kwargs):
    nworkers = 4 # number of workers that executes insert in parallel fashion

    chunk = math.floor(df.shape[0] / nworkers) # number of chunks
    chunks = [(chunk * i, (chunk * i) + chunk) for i in range(nworkers)]
    chunks.append((chunk * nworkers, df.shape[0]))
    pool = ThreadPool(nworkers)

    def worker(chunk):
        i, j = chunk
        df.iloc[i:j, :].to_sql(*args, **kwargs)

    pool.map(worker, chunks)
    pool.close()
    pool.join()

....

insert_df(df, "foo_bar", engine, if_exists='append')

Die zweite Methode wurde unter https://stackoverflow.com/a/42164138/5614132 vorgeschlagen .