Spark redis的坑

2018-10-24 15:16:53 浏览数 (1)
  1. 对于用scala来写spark程序员来说，spark streaming连接redis spark-redis.jar肯定是首选，但有一个坑就是ssc.sparkContext.fromRedisKV 底层是通过scan来获取数据的，当redis中数据过多时，效率十分低下
  2. 设置并行度的时候，要注意不能大于redis的个数
spark 云数据库Redis scala jar

0 人点赞