feat(redis): 大 key 分页 + 流式导出(含票据鉴权)+ 查询行数上限默认 5000
=== 一、问题:大 key 会把内存打爆,且查询结果没有导出 ===
RedisGetKeyDetail 原来对每种类型都是全量读取:
string → GET list → LRANGE 0 -1 set → SMEMBERS
zset → ZRANGE 0 -1 hash → HGETALL
然后整包序列化返回。像 PERP:market:* 这类盘口/kline key,
一个 key 几十万条就会:Go 侧整值入内存 → JSON 序列化翻倍 → 浏览器渲染卡死。
=== 二、后端:键详情分页(统一令牌,兼容四种类型)===
GET /redis/:id/keys/:key?db=&count=&token=
count 默认 200,硬上限 2000
token 语义按类型区分,前端无感知:
list / zset → 十进制 offset(LRANGE / ZRANGE 区间)
hash / set → Redis SCAN 游标(HSCAN / SSCAN)
string → 忽略
返回 total / count / nextToken / truncated / previewCap
string 特殊处理:不能分页,改为预览上限 256KB
- 用 STRLEN 拿真实大小(O(1))
- 超过上限时用 GETRANGE 只取前 256KB,truncated=true
- 完整内容只能靠导出
新增 wrapper 方法:HScan / ZScan / HLen / ZCard / StrLen / GetRange
(HGETALL、SMEMBERS、ZRANGE 0 -1 一律不再用于详情读取)
=== 三、后端:流式导出(两段式票据,避免令牌进 URL 日志)===
① POST /redis/:id/keys/:key/export-ticket (走 Bearer 鉴权)
→ HMAC-SHA256(JWTSecret, instance|db|key|exp) 生成票据,2 分钟过期,
绑定具体 instance/db/key,不能跨 key 复用
② GET /redis/:id/keys/:key/export?db=&format=csv|jsonl&ticket=
→ 注册在鉴权组【之外】,靠票据校验
为什么这么做:浏览器原生下载(<a download>/window.open)带不了
Authorization 头;若前端用 axios 取 blob,整份导出会进浏览器内存,
与「大 key 不爆内存」的目标相悖。
导出实现全程流式(服务端内存 = 单批 + 64KB 缓冲):
string → GETRANGE 256KB 分块
list → LRANGE 每批 1000
zset → ZRANGE WITHSCORES 每批 1000
hash → HSCAN 游标每批 1000
set → SSCAN 游标每批 1000
单次上限 200 万行;CSV 带 UTF-8 BOM(Excel 直接打开不乱码);
列顺:hash(field,value) / list(index,value) / set(member) / zset(rank,member,score)
=== 四、前端:详情面板加分页条 + 4 个导出按钮 ===
RedisKeyDetailPanel:
- 「共 N 条 · 第 X 页 · 每页 [100/200/500/1000/2000]」+ 上一页/下一页
- SCAN 游标不可逆,上一页用令牌栈回放
- string 超预览上限时显示黄色提示「仅预览前 256KB,共 N 字节」
- 导出四档:当前页 CSV / 当前页 JSON(纯前端,瞬时)
导出全部 CSV / 导出全部 JSONL(服务端流式,边读边写)
顺带修掉头注释里「已知限制:大值不分页」的过时说明。
=== 五、查询行数上限:默认 1000 → 5000,并修掉硬编码 ===
用户要求:「默认设置里面有查询最大上限吧 比如 mysql pg 查询最大Limit限制 5000」
发现两个问题:
1. seed 默认值只有 1000(main.go query_limit_max)
2. ExecuteQuery 里还有一段硬编码:
if input.Limit <= 0 { input.Limit = maxLimit; if input.Limit > 1000 { input.Limit = 1000 } }
→ 管理员把设置改成 5000 也白搭,前端不传 limit 时永远被压回 1000
修复:
- seed 默认值 1000 → 5000(Value + DefaultValue)
- getSettingInt("query_limit_max", 1000) → 5000
- 删掉硬编码 1000 封顶,唯一口径就是设置值
- 线上已有记录的 value 已通过 PUT /settings 改成 5000(seed 只在缺失时插入,不会自动更新旧值)
对 MySQL / PostgreSQL / Redis / MongoDB 统一生效(ExecuteQuery 按 db_type 分发,
limit 在入口处统一 clamp)。
=== 六、实测结果(线上)===
分页:
zset PERP:market:kline:symbol_kline_12h_AAVEUSDT_PERP_MARK
total=83,count=5 → 第1页 5 条 nextToken=5 → 第2页 5 条 nextToken=10,数据不同 ✅
hash ST:market:ticker:symbol_ticker
total=27,count=3 → 第1页 3 字段 nextToken=24 → 第2页 3 字段(完全不同)✅
string PERP:market:depth:symbol_depth_BTCUSDT_PERP
STRLEN=14192 → 导出 14192 字节,完全一致 ✅(实时 key 两次采样有差异属正常)
导出:
zset CSV 200 / 30970 字节 / 84 行(header+83)✅
zset JSONL 200 / 84 行 ✅
string CSV 200 / 分块 GETRANGE 拼接完整 ✅
无票据 → 403 ✅ 伪造票据 → 403 ✅
查询上限:
limit=99999 → 5000 行 ✅ limit=0(默认)→ 5000 行 ✅
SQL 导出 CSV(原已存在 ExportQueryCSV,支持 mysql/pg/redis/mongo)200 / 101 行 ✅
镜像:lghost/opsxsql:latest + v0.1 = sha256:68fc996681c6
This commit is contained in:
1 parent
48c8fddbe9
commit
7dfbc0b680
7 files changed
+854
-22
No files matched your search
@@ -15,6 +15,11 @@ func Setup(r *gin.Engine) {
|
||||
api.POST("/auth/refresh", handler.RefreshToken)
|
||||
api.GET("/public/login-style", handler.GetPublicLoginStyle)
|
||||
|
||||
// Redis 大 Key 导出下载(浏览器原生下载带不了 Authorization 头,
|
||||
// 改由一次性短时效票据鉴权,票据绑定 instance/db/key 且 2 分钟过期)。
|
||||
// 必须注册在鉴权组之外,否则 <a download> 会被 401。
|
||||
api.GET("/redis/:id/keys/:key/export", handler.RedisExportKeyStream)
|
||||
|
||||
// Authenticated routes
|
||||
auth := api.Group("")
|
||||
auth.Use(middleware.AuthMiddleware())
|
||||
@@ -97,6 +102,8 @@ func Setup(r *gin.Engine) {
|
||||
auth.GET("/redis/:id/keys", handler.RedisScanKeysPaged)
|
||||
auth.POST("/redis/:id/keys/:key/field", handler.RedisUpdateKeyField)
|
||||
auth.GET("/redis/:id/keys/:key", handler.RedisGetKeyDetail)
|
||||
// 大 key 导出:先取一次性票据,再由浏览器原生下载 /export?ticket=...
|
||||
auth.POST("/redis/:id/keys/:key/export-ticket", handler.RedisCreateExportTicket)
|
||||
auth.GET("/redis/:id/slowlog", handler.RedisSlowlog)
|
||||
auth.GET("/redis/:id/clients", handler.RedisClients)
|
||||
auth.POST("/redis/:id/command", handler.RedisExecuteCommand)
|
||||
|
||||
Reference in new issue
Block a user