Durch Verwendung von:
sc.parallelize(startDate to endDate)
Mit startData und endDate als Longs generiert aus Dates im Format:
("yyyy-MM-dd HH:mm:ss")
Ich habe Spark erstellt, um ein riesiges Array (mehr als 100.000 Objekte) zu erstellen, um es mit der C * -Tabelle zu verknüpfen, und es blieb überhaupt nicht hängen - C * hat hart daran gearbeitet, die Verknüpfung zu ermöglichen und die Daten zurückzugeben.
Schließlich habe ich meinen Bereich geändert in:
case class TableKey(created_dh: String)
val data = Array("2015-10-29 12:00:00", "2015-10-29 13:00:00", "2015-10-29 14:00:00", "2015-10-29 15:00:00")
val snapshotsFiltered = sc.parallelize(data, 2).map(TableKey(_)).joinWithCassandraTable("listener","snapshots_tnew")
Und es ist jetzt in Ordnung.
