MongoDB
 sql >> Datenbank >  >> NoSQL >> MongoDB

MongoDB:mongoimport verliert die Verbindung beim Importieren großer Dateien

Ich denke, das Problem liegt in der Leistung, wie Sie es auch lösen können:

Sie können Mongoimport-Option -j verwenden . Versuchen Sie es mit Inkrement, wenn Sie nicht mit 4 arbeiten, dh 4,8,16, abhängig von der Anzahl der Kerne, die Sie in Ihrer CPU haben.

mongoimport --help

-j, --numInsertionWorkers=Anzahl der Einfügeoperationen, die gleichzeitig ausgeführt werden sollen (standardmäßig 1)

mongoimport -d mietscraping -c mails -j 4

oder Sie können die Datei aufteilen und alle Dateien importieren.

Ich hoffe, das hilft Ihnen.

Wenn Sie ein wenig mehr suchen, ist ein Fehler in einigen Versionenhttps://jira.mongodb.org/browse/TOOLS-939hier eine andere Lösung, Sie können die BatchSize ändern, standardmäßig ist 10000, reduzieren Sie den Wert und testen Sie:

mongoimport -d mietscraping -c mails