Laden von 5 Millionen Zeilen in Pandas von MySQL

Die beste Art, alle zu laden Daten aus einer Tabelle aus einer -any-SQL-Datenbank in Pandas sind:

1. Dumping der Daten aus der Datenbank mit COPY für PostgreSQL SELECT INTO OUTFILE für MySQL oder ähnlich für andere Dialekte.
2. Lesen der CSV-Datei mit Pandas unter Verwendung von dem pandas.read_csv Funktion

Verwenden Sie den Konnektor nur zum Lesen von einigen Zeilen . Die Stärke einer SQL-Datenbank liegt in ihrer Fähigkeit, kleine Datenblöcke basierend auf Indizes bereitzustellen.

Das Ausliefern ganzer Tabellen ist etwas, was Sie mit Dumps machen.