MongoDB
 sql >> Datenbank >  >> NoSQL >> MongoDB

Warum drückt der Spark Mongo-Anschluss Filter nicht herunter?

Es ist nicht das GreaterThan Das verursacht Ihr Problem, es ist die Tatsache, dass sich der Filter auf einem verschachtelten Feld befindet. Ihr Filter auf doc_type funktioniert, weil es nicht verschachtelt ist. Dies ist anscheinend ein Problem mit der Catalyst-Engine in Spark, nicht mit dem Mongo-Anschluss. Es wirkt sich beispielsweise auch auf Prädikat-Pushdowns in Parquet aus.

Weitere Einzelheiten finden Sie in den folgenden Diskussionen in Spark Jira.

Spark 19638

Spark 17636