Redis 批量查询 Set 别再用 smembers：sscan 游标遍历配 TaoToken 的 settings.json 骨架

1. 从一次线上卡顿说起smembers 为什么会把 Redis 拖住Redis 的 Set 结构用起来很顺手去重、交并差、标签集合都靠它。但很多人第一次遇到 Set 大 key 的坑都是在一个看似无害的smembers上。这个命令的语义是「把集合里所有成员一次性返回」听起来没问题可当集合里有几十万甚至上百万成员时Redis 单线程模型下这一次调用就要把全部元素序列化、打包、通过网络发回来期间其他命令只能排队等着。表现出来就是接口 RT 突然飙到几百毫秒甚至几秒监控上 Redis 的慢查询里躺着一条smembers。我处理过的场景是这样的一个用户标签集合平时只有几千个标签某次运营活动批量打标后膨胀到 80 万。业务代码里有个定时任务每隔几分钟就smembers全量拉一次做统计结果每次执行时整个 Redis 实例的 P99 都抖一下。问题不在于数据量本身而在于「一次性全量」这个动作。正确的做法是换成sscan用游标分批遍历。它每次只返回一小批元素和一个新的游标位置你拿着游标继续下一次直到游标回到0表示遍历结束。这样单次命令的耗时被切碎不会长时间占用主线程。这篇就把sscan的分页脚本、COUNT/MATCH参数怎么配、以及怎么用 TaoToken 统一 Key 通道在settings.json里把接入骨架搭好、跑通一次连通性验证完整走一遍。适合谁看正在被 Set 大 key 拖慢、想把手上的smembers改造成游标遍历的后端同学以及想把模型调用和 Redis 访问统一到一套配置里的工程同学。2. 前置准备TaoToken 统一 Key 通道与 settings.json 骨架在写sscan脚本之前先把「Key 从哪来」这件事理顺。很多项目里 Redis 密码、模型 API Key 散落在各个配置文件、环境变量里改一次要翻好几个地方。TaoToken 的思路是提供一个统一的 Key 通道把模型对话、编码计划、控制台这些入口的凭证集中管理工程侧只需要在settings.json里引用同一套骨架。先明确几个入口后面配置里会用到官网入口https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentAPI 基址https://taotoken.net/api模型对话https://taotoken.net/api/chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel_chatutm_campaignrewriteCoding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewrite控制台https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewriteAPI Keys 管理https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewritesettings.json的骨架我建议这样组织顶层分redis和taotoken两块redis放连接信息taotoken放统一通道的基址和 Key 引用。Key 本身不要硬编码进文件用占位符加环境变量注入避免提交到仓库。{ redis: { host: 127.0.0.1, port: 6379, password: ${REDIS_PASSWORD}, database: 0, timeoutMs: 2000, sscan: { count: 200, match: *, maxIterations: 10000 } }, taotoken: { baseUrl: https://taotoken.net/api, apiKey: ${TAOTOKEN_API_KEY}, channel: unified-key, timeoutMs: 15000 } }这里sscan.count默认给 200match给*表示不筛选。maxIterations是个保险丝防止游标异常时死循环。taotoken.channel标记走统一 Key 通道后面验证连通性时会读这个字段。注意${REDIS_PASSWORD}和${TAOTOKEN_API_KEY}是环境变量占位符实际加载时由配置解析层替换。不要把真实 Key 写进settings.json。3. 可复制配置sscan 分页脚本与 COUNT/MATCH 参数3.1 sscan 的返回结构与游标语义sscan的签名是SSCAN key cursor [MATCH pattern] [COUNT count]。返回两部分一个新的游标字符串和这一批的元素列表。游标从0开始每次把上一次返回的游标传进去直到返回的游标又是0表示遍历完成。关键点COUNT不是「返回这么多条」而是「每次扫描的桶数量提示」。Redis 内部是哈希表COUNT影响的是每次扫描多少个桶实际返回的元素数可能多也可能少甚至可能返回空列表但游标不为0。所以循环的终止条件必须是「游标回到 0」而不是「结果集为空」。3.2 Java 版分页脚本下面这段可以直接放进工具类JedisCluster和单机Jedis的sscan方法签名一致。import redis.clients.jedis.JedisCluster; import redis.clients.jedis.ScanParams; import redis.clients.jedis.ScanResult; import java.util.ArrayList; import java.util.List; public class SetScanHelper { private final JedisCluster jedis; private final int count; private final String match; private final int maxIterations; public SetScanHelper(JedisCluster jedis, int count, String match, int maxIterations) { this.jedis jedis; this.count count; this.match match; this.maxIterations maxIterations; } public ListString scanAll(String key) { ListString all new ArrayList(); String cursor ScanParams.SCAN_POINTER_START; // 0 ScanParams params new ScanParams().count(count).match(match); int iterations 0; do { ScanResultString result jedis.sscan(key, cursor, params); all.addAll(result.getResult()); cursor result.getCursor(); iterations; if (iterations maxIterations) { throw new IllegalStateException(sscan 迭代次数超过上限key key); } } while (!ScanParams.SCAN_POINTER_START.equals(cursor)); return all; } }调用时从配置读参数SetScanHelper helper new SetScanHelper( jedisCluster, config.getRedis().getSscan().getCount(), config.getRedis().getSscan().getMatch(), config.getRedis().getSscan().getMaxIterations() ); long start System.currentTimeMillis(); ListString members helper.scanAll(compid); System.out.println(总数 members.size() 耗时 (System.currentTimeMillis() - start) ms);3.3 COUNT 与 MATCH 怎么配COUNT的取值直接决定单次命令的耗时和总往返次数。给太小比如 1080 万元素要来回 8 万次网络 RTT 累加起来反而慢给太大比如 5000单次又接近smembers的阻塞效果。实测下来200 到 500 是比较稳的区间具体看元素平均大小和网络延迟。MATCH是模式过滤支持 glob 风格。如果你只关心带某个前缀的成员比如user:1001:*加上MATCH能显著减少返回数据量。但要注意MATCH是在服务端扫描时过滤被过滤掉的元素仍然消耗扫描成本所以它省的是网络传输和客户端内存不是 Redis 的 CPU。参数建议值作用踩坑点COUNT200–500每次扫描的桶数提示太小往返多太大单次阻塞MATCH按需默认*服务端模式过滤不减少扫描成本只减少返回量maxIterations10000防死循环保险丝设太小会误伤大集合注意sscan在遍历过程中如果集合被修改可能返回重复元素也可能漏掉部分元素。这是游标遍历的固有特性不是 bug。如果业务要求强一致快照需要在应用层去重或者改用其他方案。4. 验证请求跑通一次连通性并确认配置生效配置写完不能只看不跑。验证分两步先确认 Redis 侧sscan能正常分页再确认 TaoToken 统一 Key 通道的配置被正确加载。4.1 Redis 侧连通性验证先用redis-cli造一点测试数据避免直接在生产大 key 上试redis-cli -h 127.0.0.1 -p 6379 -a $REDIS_PASSWORD SADD test:compid a1 a2 a3 a4 a5 redis-cli -h 127.0.0.1 -p 6379 -a $REDIS_PASSWORD SSCAN test:compid 0 COUNT 2预期返回类似1) 2 2) 1) a1 2) a2游标是2说明还有后续。继续redis-cli -h 127.0.0.1 -p 6379 -a $REDIS_PASSWORD SSCAN test:compid 2 COUNT 2直到游标回到0。这一步确认了sscan的游标语义和COUNT生效。4.2 TaoToken 配置加载验证在应用启动时加一段自检读取settings.json里的taotoken块确认baseUrl和channel被正确解析并且apiKey占位符已被环境变量替换TaotokenConfig cfg config.getTaotoken(); if (cfg.getBaseUrl() null || cfg.getBaseUrl().isBlank()) { throw new IllegalStateException(taotoken.baseUrl 未配置); } if (cfg.getApiKey() null || cfg.getApiKey().startsWith(${)) { throw new IllegalStateException(taotoken.apiKey 未被环境变量替换); } System.out.println(TaoToken 通道就绪: cfg.getBaseUrl() channel cfg.getChannel());跑一次启动控制台输出TaoToken 通道就绪: https://taotoken.net/api channelunified-key说明配置生效。如果apiKey还是${TAOTOKEN_API_KEY}原样说明环境变量没注入去检查启动脚本里的export。4.3 端到端跑一次把scanAll(test:compid)跑一遍打印总数和耗时。测试集合只有 5 个元素COUNT2时应该迭代 3 次左右总数 5。这一步同时验证了 Redis 连接、sscan分页逻辑、配置读取三条链路。5. 本篇常见错排查5.1 游标用 int 接收导致解析失败sscan返回的游标是字符串虽然看起来是数字但不要用Integer.parseInt去转。Redis 的游标是无符号 64 位超过int范围会溢出。统一用String接收比较时和0比。5.2 循环终止条件写成「结果为空」前面强调过sscan可能返回空列表但游标不为0。如果写成while (!result.getResult().isEmpty())会在中途提前退出漏掉后面的元素。正确写法是while (!0.equals(cursor))。5.3 COUNT 设成 1 导致性能反而更差有人觉得「每次少拿点就不阻塞」把COUNT设成 1。结果 80 万元素要 80 万次往返网络开销爆炸总耗时比smembers还长。COUNT是桶数提示不是越小越好200 起步。5.4 settings.json 里 Key 没被替换最常见的是环境变量名拼错或者启动脚本里export的变量和占位符不一致。排查方法在配置加载后打印apiKey的前 4 位和后 4 位确认不是占位符原文。如果走的是 API Keys 管理入口生成的 Key确认复制时没有多余空格。5.5 大 key 上直接跑 sscan 仍然慢sscan解决的是单次阻塞不是总耗时。如果集合有 500 万成员即使COUNT500总往返也有上万次整体耗时依然可观。这种情况要考虑业务上是否真的需要全量遍历能不能改成增量维护、或者用其他数据结构。sscan是缓解手段不是万能药。6. 把配置沉淀下来统一通道与后续接入sscan的分页脚本和settings.json骨架跑通之后建议把SetScanHelper和配置加载逻辑沉淀成项目里的公共模块别每个业务类里复制一遍。COUNT、MATCH、maxIterations这些参数从配置读不同 key 可以在配置里覆盖。TaoToken 统一 Key 通道这块settings.json里的taotoken块就是后续所有模型调用的入口。如果你接下来要做的是长期编码任务或者 Agent 类的自动化可以走 Coding Plan 入口把编码场景的额度规划好如果只是验证某个模型对话效果用模型对话入口更直接。Key 的生成和管理在 API Keys 入口接入细节看接入文档。最后留一个实用习惯每次改完settings.json先跑一遍第 4 节的自检确认baseUrl和apiKey都解析正常再启动业务。这一步花不了几秒但能挡掉大部分「配置没生效」的低级问题。