Redis
 sql >> Datenbank >  >> NoSQL >> Redis

Gibt es eine Möglichkeit, PySpark-Datenrahmen für Redis in den Azure-Cache zu schreiben?

Sie müssen diese Bibliothek nutzen:https://github.com/RedisLabs/spark-redis zusammen mit dem zugehörigen benötigten JAR (je nachdem, welche Version von spark+scala Sie verwenden).

In meinem Fall habe ich 3 JAR-Dateien auf dem Spark-Cluster (Scala=2.12) installiert, dem neuesten Spark:

  1. spark_redis_2_12_2_6_0.jar
  2. commons_pool2_2_10_0.jar
  3. jedis_3_6_0.jar

Entlang der Konfiguration für die Verbindung zu redis:

Cluster-Konfiguration

spark.redis.auth PASSWORD
spark.redis.port 6379
spark.redis.host xxxx.xxx.cache.windows.net

Stellen Sie sicher, dass Sie über Azure Redis 4.0 verfügen, die Bibliothek könnte Probleme mit 6.0 haben. Beispielcode zum Pushen:

    from pyspark.sql.types import StructType, StructField, StringType
schema = StructType([
    StructField("id", StringType(), True),
    StructField("colA", StringType(), True),
    StructField("colB", StringType(), True)
])

data = [
    ['1', '8', '2'],
    ['2', '5', '3'],
    ['3', '3', '1'],
    ['4', '7', '2']
]
df = spark.createDataFrame(data, schema=schema)
df.show()
--------------
(
    df.
    write.
    format("org.apache.spark.sql.redis").
    option("table", "mytable").
    option("key.column", "id").
    save()
)