Eine Möglichkeit besteht darin, Spark-Redis nicht zu verwenden, sondern direkt in Redis nachzuschlagen. Dies kann mit df.mapPartitions erreicht werden Funktion. Einige Beispiele für Spark DStreams finden Sie hier https://blog.codecentric.de/de/2017/07/lookup-additional-data-in-spark-streaming/. Die Idee für Structural Streaming ist ähnlich. Achten Sie darauf, die Redis-Verbindung richtig zu handhaben.
