MongoDB
 sql >> Datenbank >  >> NoSQL >> MongoDB

Wie lädt man 100 Millionen Datensätze in MongoDB mit Scala für Leistungstests?

Einige Tipps :

  1. Indizieren Sie Ihre Sammlung nicht vor dem Einfügen , da Einfügungen den Index ändern, was ein Overhead ist. Alles einfügen, dann Index erstellen .

  2. Anstelle von "save" verwenden Sie mongoDB "batchinsert" die viele Datensätze in 1 Operation einfügen kann. Lassen Sie also etwa 5000 Dokumente pro Stapel einfügen. Sie werden eine bemerkenswerte Leistungssteigerung feststellen .

    siehe die Methode Nr. 2 des Einfügens hier, es braucht ein Array von Dokumenten zum Einfügen anstelle eines einzelnen Dokuments. Siehe auch die Diskussion in diesem Thread

    Und wenn Sie mehr Benchmarking durchführen möchten -

  3. Dies ist nur eine Vermutung, versuchen Sie es mit einer begrenzten Sammlung einer vordefinierten Größe um alle Ihre Daten zu speichern. Gedeckelte Sammlung ohne Index hat eine sehr gute Einfügeleistung.