MongoDB
 sql >> Datenbank >  >> NoSQL >> MongoDB

Hadoop HDFS MapReduce-Ausgabe in MongoDb

Sie möchten «MongoDB Connector for Hadoop» . Die Beispiele .

Es ist verlockend, einfach Code in Ihren Reducer einzufügen, der als Nebeneffekt Daten in Ihre Datenbank einfügt. Vermeiden Sie diese Versuchung. Ein Grund, einen Konnektor zu verwenden, anstatt nur Daten als Nebeneffekt Ihrer Reducer-Klasse einzufügen, ist die spekulative Ausführung:Hadoop kann manchmal zwei der exakt gleichen Reduce-Aufgaben parallel ausführen, was zu irrelevanten Einfügungen und doppelten Daten führen kann. P>