Ich habe das hier Massendatenmigration durch Spark SQL
Der dbname-Parameter kann eine beliebige Abfrage sein, die in Klammern mit einem Alias eingeschlossen ist. In meinem Fall muss ich also Folgendes tun:
val query = """
(select dl.DialogLineID, dlwim.Sequence, wi.WordRootID from Dialog as d
join DialogLine as dl on dl.DialogID=d.DialogID
join DialogLineWordInstanceMatch as dlwim on dlwim.DialogLineID=dl.DialogLineID
join WordInstance as wi on wi.WordInstanceID=dlwim.WordInstanceID
join WordRoot as wr on wr.WordRootID=wi.WordRootID
where d.InSite=1 and dl.Active=1
limit 100) foo
"""
val df = sqlContext.format("jdbc").
option("url", "jdbc:mysql://localhost:3306/local_content").
option("driver", "com.mysql.jdbc.Driver").
option("useUnicode", "true").
option("continueBatchOnError","true").
option("useSSL", "false").
option("user", "root").
option("password", "").
option("dbtable",query).
load()
Wie erwartet war es sehr ineffizient, jede Tabelle als eigenen Datenrahmen zu laden und sie in Spark zu verbinden.
