Redis
 sql >> Base de données >  >> NoSQL >> Redis

Recherche dynamique Spark Structured Streaming avec Redis

Une option consiste à ne pas utiliser spark-redis, mais plutôt à rechercher directement dans Redis. Ceci peut être réalisé avec df.mapPartitions une fonction. Vous pouvez trouver quelques exemples de Spark DStreams ici https://blog.codecentric.de/en/2017/07/lookup-additional-data-in-spark-streaming/. L'idée du streaming structurel est similaire. Attention à bien gérer la connexion Redis.