Sie verwenden derzeit eine Entwicklungsversion von MongoDB, in der einige Funktionen aktiviert sind, die voraussichtlich mit MongoDB 4.0 als offizielle Version veröffentlicht werden. Beachten Sie, dass einige Funktionen vor der endgültigen Veröffentlichung geändert werden können, daher sollte sich der Produktionscode dessen bewusst sein, bevor Sie sich darauf festlegen.
Warum $convert hier fehlschlägt
Der wahrscheinlich beste Weg, dies zu erklären, besteht darin, sich Ihr geändertes Beispiel anzusehen, aber durch ObjectId zu ersetzen Werte für _id und "Strings" für die unter den Arrays:
{
"_id" : ObjectId("5afe5763419503c46544e272"),
"name" : "cinco",
"children" : [ { "_id" : "5afe5763419503c46544e273" } ]
},
{
"_id" : ObjectId("5afe5763419503c46544e273"),
"name" : "quatro",
"ancestors" : [ { "_id" : "5afe5763419503c46544e272" } ],
"children" : [ { "_id" : "5afe5763419503c46544e277" } ]
},
{
"_id" : ObjectId("5afe5763419503c46544e274"),
"name" : "seis",
"children" : [ { "_id" : "5afe5763419503c46544e277" } ]
},
{
"_id" : ObjectId("5afe5763419503c46544e275"),
"name" : "um",
"children" : [ { "_id" : "5afe5763419503c46544e276" } ]
}
{
"_id" : ObjectId("5afe5763419503c46544e276"),
"name" : "dois",
"ancestors" : [ { "_id" : "5afe5763419503c46544e275" } ],
"children" : [ { "_id" : "5afe5763419503c46544e277" } ]
},
{
"_id" : ObjectId("5afe5763419503c46544e277"),
"name" : "três",
"ancestors" : [
{ "_id" : "5afe5763419503c46544e273" },
{ "_id" : "5afe5763419503c46544e274" },
{ "_id" : "5afe5763419503c46544e276" }
]
},
{
"_id" : ObjectId("5afe5764419503c46544e278"),
"name" : "sete",
"children" : [ { "_id" : "5afe5763419503c46544e272" } ]
}
Das sollte eine allgemeine Simulation dessen geben, womit Sie arbeiten wollten.
Sie haben versucht, die _id zu konvertieren Wert in einen "String" über $project bevor Sie $graphLookup eingeben Bühne. Der Grund dafür ist, dass Sie ein anfängliches $project durchgeführt haben "innerhalb" dieser Pipeline besteht das Problem darin, dass die Quelle für $graphLookup im "from" Die Option ist immer noch die unveränderte Sammlung und daher erhalten Sie bei den nachfolgenden "Lookup"-Iterationen nicht die richtigen Details.
db.strcoll.aggregate([
{ "$match": { "name": "três" } },
{ "$addFields": {
"_id": { "$toString": "$_id" }
}},
{ "$graphLookup": {
"from": "strcoll",
"startWith": "$ancestors._id",
"connectFromField": "ancestors._id",
"connectToField": "_id",
"as": "ANCESTORS_FROM_BEGINNING"
}},
{ "$project": {
"name": 1,
"ANCESTORS_FROM_BEGINNING": "$ANCESTORS_FROM_BEGINNING._id"
}}
])
Stimmt bei der "Suche" nicht überein, daher:
{
"_id" : "5afe5763419503c46544e277",
"name" : "três",
"ANCESTORS_FROM_BEGINNING" : [ ]
}
"Patching" des Problems
Das ist jedoch das Kernproblem und kein Fehler von $convert oder es ist Aliase selbst. Damit dies tatsächlich funktioniert, können wir stattdessen eine "Ansicht" erstellen, die sich aus Gründen der Eingabe als Sammlung darstellt.
Ich mache es umgekehrt und konvertiere die "Strings" in ObjectId über $toObjectId :
db.createView("idview","strcoll",[
{ "$addFields": {
"ancestors": {
"$ifNull": [
{ "$map": {
"input": "$ancestors",
"in": { "_id": { "$toObjectId": "$$this._id" } }
}},
"$$REMOVE"
]
},
"children": {
"$ifNull": [
{ "$map": {
"input": "$children",
"in": { "_id": { "$toObjectId": "$$this._id" } }
}},
"$$REMOVE"
]
}
}}
])
Die Verwendung der "Ansicht" bedeutet jedoch, dass die Daten konsistent mit den konvertierten Werten angezeigt werden. Also die folgende Aggregation mit der Ansicht:
db.idview.aggregate([
{ "$match": { "name": "três" } },
{ "$graphLookup": {
"from": "idview",
"startWith": "$ancestors._id",
"connectFromField": "ancestors._id",
"connectToField": "_id",
"as": "ANCESTORS_FROM_BEGINNING"
}},
{ "$project": {
"name": 1,
"ANCESTORS_FROM_BEGINNING": "$ANCESTORS_FROM_BEGINNING._id"
}}
])
Gibt die erwartete Ausgabe zurück:
{
"_id" : ObjectId("5afe5763419503c46544e277"),
"name" : "três",
"ANCESTORS_FROM_BEGINNING" : [
ObjectId("5afe5763419503c46544e275"),
ObjectId("5afe5763419503c46544e273"),
ObjectId("5afe5763419503c46544e274"),
ObjectId("5afe5763419503c46544e276"),
ObjectId("5afe5763419503c46544e272")
]
}
Problem beheben
Nach alledem besteht das eigentliche Problem hier darin, dass Sie einige Daten haben, die wie eine ObjectId "aussehen". Wert und ist tatsächlich als ObjectId gültig , wurde jedoch als "String" aufgezeichnet. Das grundlegende Problem für alles, was so funktioniert, wie es sollte, ist, dass die beiden "Typen" nicht identisch sind und dies zu einem Gleichheitskonflikt führt, wenn die "Joins" versucht werden.
Die eigentliche Lösung ist also immer noch die gleiche wie immer, nämlich die Daten durchzugehen und sie so zu korrigieren, dass die "Strings" tatsächlich auch ObjectId sind Werte. Diese stimmen dann mit der _id überein Schlüssel, auf die sie sich beziehen sollen, und Sie sparen erheblich Speicherplatz seit einer ObjectId benötigt viel weniger Platz zum Speichern als die String-Darstellung in hexadezimalen Zeichen.
Mit MongoDB 4.0-Methoden "könnten" Sie Verwenden Sie tatsächlich die "$toObjectId" um eine neue Sammlung zu schreiben, genau so, wie wir zuvor die "Ansicht" erstellt haben:
db.strcoll.aggregate([
{ "$addFields": {
"ancestors": {
"$ifNull": [
{ "$map": {
"input": "$ancestors",
"in": { "_id": { "$toObjectId": "$$this._id" } }
}},
"$$REMOVE"
]
},
"children": {
"$ifNull": [
{ "$map": {
"input": "$children",
"in": { "_id": { "$toObjectId": "$$this._id" } }
}},
"$$REMOVE"
]
}
}}
{ "$out": "fixedcol" }
])
Oder natürlich, wo Sie dieselbe Sammlung behalten "müssen", dann bleibt das traditionelle "Loop and Update" dasselbe, was immer erforderlich war:
var updates = [];
db.strcoll.find().forEach(doc => {
var update = { '$set': {} };
if ( doc.hasOwnProperty('children') )
update.$set.children = doc.children.map(e => ({ _id: new ObjectId(e._id) }));
if ( doc.hasOwnProperty('ancestors') )
update.$set.ancestors = doc.ancestors.map(e => ({ _id: new ObjectId(e._id) }));
updates.push({
"updateOne": {
"filter": { "_id": doc._id },
update
}
});
if ( updates.length > 1000 ) {
db.strcoll.bulkWrite(updates);
updates = [];
}
})
if ( updates.length > 0 ) {
db.strcoll.bulkWrite(updates);
updates = [];
}
Was eigentlich ein bisschen wie ein "Vorschlaghammer" ist, da tatsächlich das gesamte Array auf einmal überschrieben wird. Keine gute Idee für eine Produktionsumgebung, aber genug als Demonstration für die Zwecke dieser Übung.
Schlussfolgerung
Während also MongoDB 4.0 diese „Casting“-Funktionen hinzufügen wird, die in der Tat sehr nützlich sein können, ist ihre eigentliche Absicht nicht wirklich für Fälle wie diesen. Sie sind in der Tat viel nützlicher, wie die "Konvertierung" in eine neue Sammlung unter Verwendung einer Aggregationspipeline zeigt, als die meisten anderen möglichen Verwendungen.
Während wir "können" Erstellen Sie eine "Ansicht", die die Datentypen umwandelt, um Dinge wie $lookup zu ermöglichen und $graphLookup zu arbeiten, wo die tatsächlichen Erfassungsdaten abweichen, ist dies wirklich nur ein "Pflaster" zum eigentlichen Problem, da sich die Datentypen eigentlich nicht unterscheiden sollten, sondern dauerhaft konvertiert werden sollten.
Die Verwendung einer "Ansicht" bedeutet tatsächlich, dass die Aggregationspipeline für die Konstruktion effektiv alle ausführen muss Zeit, zu der auf die "Sammlung" (eigentlich eine "Ansicht") zugegriffen wird, was einen echten Overhead erzeugt.
Das Vermeiden von Overhead ist normalerweise ein Designziel, daher ist das Korrigieren solcher Datenspeicherfehler unerlässlich, um echte Leistung aus Ihrer Anwendung herauszuholen, anstatt nur mit "brutaler Gewalt" zu arbeiten, die die Dinge nur verlangsamt.
Ein viel sichereres "Konvertierungs"-Skript, das "übereinstimmende" Aktualisierungen auf jedes Array-Element anwendet. Der Code hier erfordert NodeJS v10.x und einen MongoDB-Knotentreiber der neuesten Version 3.1.x:
const { MongoClient, ObjectID: ObjectId } = require('mongodb');
const EJSON = require('mongodb-extended-json');
const uri = 'mongodb://localhost/';
const log = data => console.log(EJSON.stringify(data, undefined, 2));
(async function() {
try {
const client = await MongoClient.connect(uri);
let db = client.db('test');
let coll = db.collection('strcoll');
let fields = ["ancestors", "children"];
let cursor = coll.find({
$or: fields.map(f => ({ [`${f}._id`]: { "$type": "string" } }))
}).project(fields.reduce((o,f) => ({ ...o, [f]: 1 }),{}));
let batch = [];
for await ( let { _id, ...doc } of cursor ) {
let $set = {};
let arrayFilters = [];
for ( const f of fields ) {
if ( doc.hasOwnProperty(f) ) {
$set = { ...$set,
...doc[f].reduce((o,{ _id },i) =>
({ ...o, [`${f}.$[${f.substr(0,1)}${i}]._id`]: ObjectId(_id) }),
{})
};
arrayFilters = [ ...arrayFilters,
...doc[f].map(({ _id },i) =>
({ [`${f.substr(0,1)}${i}._id`]: _id }))
];
}
}
if (arrayFilters.length > 0)
batch = [ ...batch,
{ updateOne: { filter: { _id }, update: { $set }, arrayFilters } }
];
if ( batch.length > 1000 ) {
let result = await coll.bulkWrite(batch);
batch = [];
}
}
if ( batch.length > 0 ) {
log({ batch });
let result = await coll.bulkWrite(batch);
log({ result });
}
await client.close();
} catch(e) {
console.error(e)
} finally {
process.exit()
}
})()
Erzeugt und führt Massenoperationen wie diese für die sieben Dokumente aus:
{
"updateOne": {
"filter": {
"_id": {
"$oid": "5afe5763419503c46544e272"
}
},
"update": {
"$set": {
"children.$[c0]._id": {
"$oid": "5afe5763419503c46544e273"
}
}
},
"arrayFilters": [
{
"c0._id": "5afe5763419503c46544e273"
}
]
}
},
{
"updateOne": {
"filter": {
"_id": {
"$oid": "5afe5763419503c46544e273"
}
},
"update": {
"$set": {
"ancestors.$[a0]._id": {
"$oid": "5afe5763419503c46544e272"
},
"children.$[c0]._id": {
"$oid": "5afe5763419503c46544e277"
}
}
},
"arrayFilters": [
{
"a0._id": "5afe5763419503c46544e272"
},
{
"c0._id": "5afe5763419503c46544e277"
}
]
}
},
{
"updateOne": {
"filter": {
"_id": {
"$oid": "5afe5763419503c46544e274"
}
},
"update": {
"$set": {
"children.$[c0]._id": {
"$oid": "5afe5763419503c46544e277"
}
}
},
"arrayFilters": [
{
"c0._id": "5afe5763419503c46544e277"
}
]
}
},
{
"updateOne": {
"filter": {
"_id": {
"$oid": "5afe5763419503c46544e275"
}
},
"update": {
"$set": {
"children.$[c0]._id": {
"$oid": "5afe5763419503c46544e276"
}
}
},
"arrayFilters": [
{
"c0._id": "5afe5763419503c46544e276"
}
]
}
},
{
"updateOne": {
"filter": {
"_id": {
"$oid": "5afe5763419503c46544e276"
}
},
"update": {
"$set": {
"ancestors.$[a0]._id": {
"$oid": "5afe5763419503c46544e275"
},
"children.$[c0]._id": {
"$oid": "5afe5763419503c46544e277"
}
}
},
"arrayFilters": [
{
"a0._id": "5afe5763419503c46544e275"
},
{
"c0._id": "5afe5763419503c46544e277"
}
]
}
},
{
"updateOne": {
"filter": {
"_id": {
"$oid": "5afe5763419503c46544e277"
}
},
"update": {
"$set": {
"ancestors.$[a0]._id": {
"$oid": "5afe5763419503c46544e273"
},
"ancestors.$[a1]._id": {
"$oid": "5afe5763419503c46544e274"
},
"ancestors.$[a2]._id": {
"$oid": "5afe5763419503c46544e276"
}
}
},
"arrayFilters": [
{
"a0._id": "5afe5763419503c46544e273"
},
{
"a1._id": "5afe5763419503c46544e274"
},
{
"a2._id": "5afe5763419503c46544e276"
}
]
}
},
{
"updateOne": {
"filter": {
"_id": {
"$oid": "5afe5764419503c46544e278"
}
},
"update": {
"$set": {
"children.$[c0]._id": {
"$oid": "5afe5763419503c46544e272"
}
}
},
"arrayFilters": [
{
"c0._id": "5afe5763419503c46544e272"
}
]
}
}
