MongoDB
 sql >> Datenbank >  >> NoSQL >> MongoDB

Importieren eines sehr großen Datensatzes in MongoDB mit nodejs

Keine Antwort auf Ihre genaue Situation beim Importieren aus einer CSV-Datei, sondern beim Ausführen von Masseneinfügungen

-> Zunächst einmal gibt es keine speziellen 'Bulk'-Einfügungsoperationen, es ist alles ein forEach am Ende.

-> Wenn Sie versuchen, eine große Datei asynchron zu lesen, was viel schneller wäre als der Schreibvorgang, dann sollten Sie in Betracht ziehen, Ihren Ansatz zu ändern, zuerst herausfinden, wie viel Ihr Setup verarbeiten kann (oder einfach n drücken -Studie).

---> Ändern Sie danach die Art und Weise, wie Sie aus der Datei lesen, Sie müssen nicht jede Zeile aus der Datei lesen, asynchron, lernen Sie zu warten, verwenden Sie forEach, forEachSeries von Async.js, um Ihre Lesevorgänge in die Nähe von mongodb write zu bringen Stufe, und Sie können loslegen.