You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
boolPikaServer::readonly(const std::string& db_name) {
std::shared_lock l(state_protector_);
// pause_write is role-independent: it rejects writes even on a master. It is// used to stop writes on the old master during a codis master switch so the// new master can catch up before the switch completes.if (g_pika_conf->pause_write()) {
returntrue;
}
return ((role_ & PIKA_ROLE_SLAVE) != 0) && g_pika_conf->slave_read_only();
}
reacted with thumbs up emoji reacted with thumbs down emoji reacted with laugh emoji reacted with hooray emoji reacted with confused emoji reacted with heart emoji reacted with rocket emoji reacted with eyes emoji
Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
Pika PMC 会议纪要
一、议题概览
compact-old-sst-interval动态控制老 SST compact 节奏二、议题详细讨论
议题 1:slave compaction 读 SST 报 block checksum mismatch(数据损坏)
社区在 3.5.7 提的,带了能直接复现的 PoC。问题是:Pika 配了 requirepass 密码,但攻击者能绕过密码,直连内部的复制端口,把主库正在写的数据实时拿走。
先说背景。一个 Pika 实例其实开了三个端口,都是拿客户端端口加一个固定偏移算出来的,偏移写死在
include/pika_define.h:37:客户端端口默认 9221,那复制端口就是 9221 加 2000,等于 11221。这个端口能算出来,不用猜。
复制端口进来的消息,都由
PikaReplServerConn::DealMessage()分发,在src/pika_repl_server_conn.cc:421:就是一个
switch(req->type()),五种消息平级,谁先谁后没有约束。密码校验只有一个地方有,就是
HandleMetaSyncRequest,在同文件 34 行:HandleTrySyncRequest、HandleDBSyncRequest、HandleBinlogSyncRequest、HandleRemoveSlaveNodeRequest这四个 handler 里都没有密码校验,也没有 ACL。问题就在这。正常从库握手是先 MetaSync(带密码),再 TrySync,再 DBSync 或 BinlogSync。但
DealMessage不强制这个顺序,攻击者第一条消息可以直接发 TrySync,把 MetaSync 跳过去。攻击过程是这样:连上 port+2000,直接发 TrySync 不带密码,master 就给分配一个 session_id,把攻击者当成合法从库注册了;然后攻击者发 BinlogSync,master 就开始把客户端的实时写入,用明文 RESP 一条条推给攻击者。
纪要里 PoC 验证过:一台配了密码的机器上,不带凭据 TrySync 也成功了,session_id 是 0,抓到了 secret_marker 的值,master 日志还打了 "TrySync Success",全程没鉴权。
可能有人问 CheckSessionId 不算校验吗?那个只是防会话冲突的,不是安全边界,挡不住这个。
同一条无鉴权的路还能走到 DBSync 和 RemoveSlaveNode——前者让 master 把整库快照推到攻击者的地址,后者直接破坏主从拓扑。
怎么改,作者的意思是把鉴权从单个 handler 提到
DealMessage入口:DealMessage里除了 MetaSync 本身,其它消息都要求连接已经鉴权过改完复制链路也归 requirepass 管了,跳过 MetaSync 直接 TrySync 这条路堵死,顺带把 DBSync 泄露快照、RemoveSlaveNode 破坏拓扑一起封掉。
风险主要在兼容性。改动动的是主从握手,得保证没配密码的老集群升级后行为不变,不然一升级复制就断。状态位也要处理好 MetaSync 失败、重连、session 过期这些情况。四个版本复制代码有差异,得一个个验。这项优先级最高,建议单独 PR、走安全评审、几个版本一起发。
block checksum mismatch: stored = 0, computed = xxx。media_errors=0)、磁盘dmesg异常(无)。https://wanghenshui.github.io/2024/02/25/block-checksum-mismatch.html。stored = 0是典型信号:block 落盘的 checksum 字段为 0,说明写入路径可能存在未刷全 / 写空洞 / 页内容错位,而非读时才损坏。这与内部近期在排查的「rsync 全量同步写文件路径O_APPEND疑似 bug」高度相关(关联既往议题)。O_APPEND,是否存在并发/偏移写导致的空洞(与既往「O_APPEND→pwrite」修复议题合并推进)。议题 2:复制端口无鉴权,requirepass 形同虚设
社区 #3260 报的数据损坏,比较难查。环境是 Pika 4.0.2(内嵌 RocksDB 8.7.3)和 3.5.5,CentOS 7、XFS、NVMe,单机 4 块 NVMe、每块两个实例、8 对主从、读写压力大。
现象是 slave 做 compaction 读 SST 的时候报:
两个规律值得注意:一是大概两个月、16 个实例里坏一次;二是 slave 坏的概率大概是 master 的三倍,4.0 又是 3.5 的两倍。硬件排除了,NVMe 的 SMART 正常,media_errors 是 0,dmesg 也没异常。
报错里
stored = 0是个线索。正常 SST 每个 block 落盘都会算个 checksum 存进去,读的时候校验。stored 是 0,说明这个 block 的 checksum 压根没写进去,或者这页内容是空的、错位的,也就是文件没刷全、写了空洞。slave 坏的概率是 master 三倍,说明大概率出在只有 slave 才走的路上,也就是从 master 拉数据落盘那条链路,而不是两边都做的 RocksDB compaction。之前内部怀疑过 rsync 全量同步写文件用
O_APPEND有 bug,跟 stored=0 这个现象能对上。4.0 概率翻倍这点要单独查。这里我对了下当前 3.5 分支的 rsync 落盘代码。
src/rsync_client.cc:242落盘走的是 RsyncWriter:Write 第一个参数是显式的 offset,是 pwrite 那种按偏移写的语义,不是 O_APPEND 追加。
所以纪要怀疑的 O_APPEND,在当前 3.5 主干这条路上应该已经改掉了。讲的时候要分清楚:出故障的是 4.0.2 和 3.5.5,那两个版本上 O_APPEND 还在不在、rsync2 新老两条路一不一样,得拿出故障的那个版本再对一遍,不能拿主干代码就说"已经修好了"。
不管 O_APPEND 修没修,落盘这条链路没有 checksum 校验是确定的。收到数据直接落盘,中间没人校验,所以坏了也发现不了,得等两个月后 compaction 读到才暴露。
会上讨论的几个方向:一是落盘路径加 chunk 级 checksum,收到 chunk 校验一次,落盘后回读再校验一次,坏数据当场就能发现,不用等两个月;二是核对 rsync 到底还用不用 O_APPEND,那个 O_APPEND 改 pwrite 的修复合进了哪几个版本;三是查 4.0 概率翻倍是 RocksDB 的 format_version 或 checksum 类型(比如 xxh3)差异,还是同步落盘代码的差异;四是保留现场,把坏掉的 SST 的 footer 和 meta block dump 出来,看损坏的偏移是不是页对齐、是不是固定 offset,这个能直接看出是哪一层写坏的。
好处是加了 checksum,发现故障的时间从"两个月后 compaction"提前到"落盘当场",定位链路短很多;根因确认后能把这类静默损坏消掉。
风险是落盘加校验有性能开销,多一次回读,得看对全量同步速度影响多大,最好做成可配的。这 bug 两个月才一次,改完也难快速验,得长期灰度看。3.5 和 4.0 两个大版本如果根因不一样,修法也得分开。
port,默认 9221)、以及由固定偏移派生的两个内部复制端口(include/pika_define.h):kPortShiftReplServer = 2000(protobuf 复制主端口,如 11221)、kPortShiftRSync = 1000、kPortShiftRsync2 = 10001。requirepass本应同时保护复制端口:slave 需在MetaSync请求里带上 master 的requirepass作为masterauth。但只有HandleMetaSyncRequest()真正校验了它。PikaReplServerConn::DealMessage()(src/pika_repl_server_conn.cc:421-462)不要求连接先完成(甚至先发起)MetaSync,就直接把TrySync / DBSync / BinlogSync / RemoveSlaveNode路由给对应 handler。HandleTrySyncRequest / HandleDBSyncRequest / HandleBinlogSyncRequest / HandleRemoveSlaveNodeRequest均无任何密码 / ACL 校验,只校验 DB 名存在与 binlog offset 合法。port+2000→ 发TrySync(无需MetaSync、无凭据)→ master 分配session_id并把连接注册为 slave(pika_repl_server_conn.cc:132-169)→ 用该 session 发BinlogSync→ master 开始把**合法客户端的实时写入流(含完整 value,明文 RESP)**推给攻击者。CheckSessionId不构成安全边界:session_id本就在未鉴权的TrySync阶段拿到,它只防会话冲突、不防未授权会话。DBSync(触发 master 向攻击者指定地址 rsync 推送全库快照)与RemoveSlaveNode(注销合法从库、破坏复制拓扑)。requirepass的硬化部署上,未带任何凭据即成功TrySync(session_id=0)并抓到合法客户端写入的secret_marker值。master 日志确认「TrySync Success」全程无鉴权步骤。port+2000的网络主体,可零凭据注册为副本,获得每一条写命令的实时明文流;并可进一步全量数据外泄(DBSync)与破坏复制拓扑(RemoveSlaveNode)。requirepass提供的机密性保证在该端口上被完全绕过。属高危安全漏洞,建议优先级最高。DealMessage()入口强制鉴权门禁:非MetaSync消息必须来自「已完成 MetaSync 鉴权」的连接,否则拒绝并断开。authenticated状态位,MetaSync校验通过才置位;TrySync/DBSync/BinlogSync/RemoveSlaveNode一律先检查该位。requirepass为空时保持现状(无密码即开放)以兼容存量部署;非空时对复制端口全路径强制校验。议题 3:新增
compact-old-sst-interval动态控制老 SST compact 节奏这个是现场反馈的。有个 3.5.6 的自研版本加了个参数
compact-old-sst-interval,控制多少秒 compact 一个老 SST,能动态调。现场的问题是固定"90 秒一个"这个节奏压不住磁盘涨,一天涨一百多 G。原因是业务写了两种前缀的 key,一种过期快一种过期慢,到最底层 compaction 的时候,过期慢那类一直处理不完,老 SST 越堆越多,90 秒一个的速度赶不上。
我对了下当前 3.5 主干:
compact-old-sst-interval主干里没有,src/pika_conf.cc和conf/pika.conf都搜不到,是那个自研 3.5.6 版本的东西,还没合进来。主干现在有的是compact-interval,在src/pika_conf.cc:289:另外纪要里写主干还有个
progressive-compact-interval,我在 3.5 分支没搜到,这条和现在代码对不上。讲的时候别照着说"主干有 progressive-compact-interval",得跟纪要作者再确认下他指的是哪个版本。所以议题三其实是个"要不要把自研这套合进主干、怎么合"的评估,不是已有的 bug。
现有
compact-interval的问题是"按时间限速"这个思路本身,固定 N 秒一个跟数据堆积速度是脱钩的。讨论的方向:一是从按时间限速改成按目录增长量、或者最底层大小来反馈调速,堆得快就 compact 快点;二是选 SST 的时候优先挑过期 key 占比高的老 SST,先把过期慢那类清掉;三是合主干的话参数名、默认值、优先级怎么定;四是要不要支持config set动态生效。好处是磁盘涨得可控,不会一天 100G 失控,compaction 的力气花在最该处理的老 SST 上。风险是调速逻辑没调好可能反而加重 IO、影响读写;参数一合主干就是长期兼容负担,命名和语义得定清楚;还得跟现有的
compact-interval、compact-cron把优先级理顺,别打架compact-old-sst-interval,用于控制「多少秒 compact 一个老 SST」,可动态调整。compact-old-sst-interval取值(src/pika_conf.cc/conf/pika.conf检索无命中),确认为现场/目标分支的自研特性,需明确其落地分支与 PR。compact-interval(pika_conf.cc:293,格式为「时间/磁盘占用率」)、以及与议题相关的progressive-compact-interval(pika_conf.cc:351)。compact-old-sst-interval是独立于二者的新维度。compact-interval/progressive-compact的关系与优先级。config set动态生效(现场强调「可以动态控制」是关键诉求)。议题 4:主库缺少真正生效的 readonly + 级联切主需放开 slaveof 限制
先说重点:纪要说"主库没法 readonly",但当前 3.5 分支这个已经做进去了,下面细说。
现场做 codis 切主碰到两个坎。一个是切主得先冻住老主的写,不然切的过程中老主还在被写,位点会往前走甚至分叉,但当时主库没有 readonly 开关。另一个是级联 slaveof 被限制死了,想让老主先 slaveof 一个中转再切,报
-ERR already master of others, invalid usage。为什么非得 readonly?因为 agent 每 15 秒写一个心跳 key。不 readonly 的话,老主在切主窗口里被心跳一直写,位点就往前推、跟新主分叉了。现场当时是把级联限制注释掉绕过去的,然后切主变成先 slaveof 中转、再 slaveof 新主,反馈说切得挺顺。
纪要那天的说法是 readonly 只对 slave 生效,主库进不去。当时引的是
readonly()返回((role_ & PIKA_ROLE_SLAVE) != 0) && slave_read_only()。但现在 3.5 分支的
src/pika_server.cc:288已经不是这样了:293 行多了个
pause_write()分支,跟角色无关,只要开了 pause_write,是 master 也一样拒写。注释写得很清楚,就是给 codis 切主时停老主写、让新主追位点用的。配套也齐了。定义在
include/pika_conf.h:336,是个原子布尔,注释里特意说了它不写进配置文件、进程重启就清掉,不会把实例永久卡成只读:能动态开关,
src/pika_admin.cc:2467支持config set pause-write yes/no:info里也能看到pause_write状态(pika_admin.cc:1302)。所以议题四"主库停写"这一半已经用 pause-write 做好了,而且比纪要提的还稳,能动态生效、重启自动清。切主直接
config set pause-write yes就能冻住老主。没做的是级联 slaveof 那半。限制还在
SlaveofCmd::DoInitial(),src/pika_admin.cc:115:只要角色带 PIKA_ROLE_MASTER 就直接拒 slaveof,现场是把这段注释掉绕过的。
建议:停写这块已经有 pause-write 了,切主流程可以固定成——老主
config set pause-write yes停写,等新主追平位点,新主slaveof no one,老主slaveof 新主。级联 slaveof 别像现场那样直接注释掉,改成有条件放开,只在切主场景、带 force 或者专门的指令,避免误用把拓扑搞乱。agent 那 15 秒心跳,切主窗口里让 dashboard 或 HA 统一停,别靠 readonly 硬扛。好处是切主有了干净的停写窗口,位点不会在切的过程中分叉;pause-write 不持久化,也不会出现"忘了关、实例永久只读"这种运维事故;级联 slaveof 规范了之后切主能标准化、能自动化。
风险方面,停写已经落地了,剩下要评估的是级联 slaveof——直接放开会影响级联下的位点、binlog purge、拓扑一致性,得评估清楚,不能照搬现场"注释掉"的做法。还有停写窗口里得放行复制、config、切主这些必要命令,不然切主自己都执行不了,这块要确认 pause_write 的拦截范围有没有把这些命令排除掉。级联放开的边界建议定成"只切主场景加 force"。
SLAVEOF 127.0.0.1 8080报-ERR already master of others, invalid usage。现场把「不允许级联」的代码注释掉后,在 dashboard 切主前先slaveof 127.0.0.1:8080(挂到自己/中转)完成,再slaveof 新主,实测切换非常丝滑。PikaServer::readonly()(src/pika_server.cc:289-292)返回((role_ & PIKA_ROLE_SLAVE) != 0) && slave_read_only()—— 即只有从库、且开了slave-read-only才拒写(pika_client_conn.cc:122,171)。主库无论如何都无法进入 readonly,这正对应现场「不允许在主库执行 readonly」。SlaveofCmd::DoInitial()(src/pika_admin.cc:116-118)中,只要自身role_含PIKA_ROLE_MASTER就直接返回already master of others, invalid usage。现场注释掉的正是这段,因此级联能走通。master-read-only/ 全局readonly):置位后主库拒绝写命令(含 agent 心跳),作为切主前的「停写窗口」,替代「slaveof 一个不存在实例」这种 trick。slaveof no one→ 老主slaveof 新主。把丢数据窗口压到最小(与既往「切主位点比对阈值」议题合并)。slaveof(而非直接注释限制):例如仅在切主场景、带force或特定管理指令下允许,避免误用。议题五:etcd 里 slot 存储从单 key 改成 range
Codis 默认 1024 个 slot,路由数据很小,etcd 里存 1024 个 key 完全没压力。但如果我们为了打破瓶颈、减少数据倾斜,把 slot 扩到一百万甚至更多,etcd 就扛不住了——一百万个单独的 key,读写、心跳同步、加上 MVCC 的历史版本堆积,会把 etcd 内存撑爆,raft 复制也变慢,严重了整个集群会瘫。
这里要先讲清楚一个思路:Pika 不用动。Pika 那边还是一个 slot 存一个 slot 的数据,slot 就算到百万、千万也没关系,Pika 只管数据。要改的是 etcd 里路由元数据怎么存,也就是 Codis 的 proxy 和 dashboard 这一层。
看下现在是怎么存的。每个 slot 在 etcd 里一个独立的 key,路径在
codis/pkg/models/store.go:37:slot 0 就是
.../slots/slot-0000,slot 1 是slot-0001,一个 slot 一个 key。加载全量路由的时候,是挨个 key 读的,
store.go:130:slot 到一百万,这个循环就是一百万次 etcd 单 key 读。迁移的时候改路由也是一样,
UpdateSlotMapping一次写一个 key。瓶颈就在这。存进内存的结构其实很小,
codis/pkg/models/slots.go:56:就一个所属 group,加一个迁移动作。绝大多数情况下,连续的一大片 slot 的 GroupId 都是一样的、也都没在迁移,完全没必要一个 slot 存一份。
改的思路是把连续的、GroupId 相同、又都不在迁移中的 slot 合并成一个区间,一个区间存一个 key。比如 slot 1 到 300 都属于同一个 group、都没在迁,那就存成一个分片,key 里带上区间的起止,一次读回来展开成 1 到 300。这样 etcd 里的 key 数量从"slot 数"降到"分片数",slot 再多,只要分片不碎,etcd 的压力就是可控的。
复杂的地方全在 proxy 和 dashboard,Pika 不碰。有两块要处理。
一块是内存模型。现在 dashboard 内部假定 slots 是一个长度正好等于 MaxSlotNum 的稠密数组,直接拿下标访问,
codis/pkg/topom/context.go:32:这里有个硬校验,数组长度不等于 MaxSlotNum 就报错,后面全是
ctx.slots[sid]这种下标访问。改 range 存储之后,从 etcd 读回来的是一段段区间,要么在加载时先"解压"回这个稠密数组、保持上层代码不动,要么把这些下标访问全改成按区间查。稳妥起见我倾向前者——存储层压缩成 range,内存里还原成数组,上层逻辑基本不用动。这样改动面能控制住。另一块是迁移。迁移会改单个 slot 的 Action 状态,如果允许从区间中间的 slot 迁,那个 slot 的 GroupId 或迁移状态就跟区间里其它的不一样了,一个区间就被从中间劈成三段——前段、迁移中的那个、后段,分片一下子碎掉,就失去合并的意义了。
所以要定个规矩:只能从区间边界的 slot 迁,也就是从一段的头或尾开始迁。这样迁移只会让区间从两端伸缩,比如 slot 1 到 300 这段,从 slot 1 或 slot 300 开始迁,迁完这段就变成 2 到 300 或者 1 到 299,区间还是连续的,不会碎。这个约束得在 dashboard 发起迁移的地方加上校验。
收益是 etcd 里 key 的数量跟 slot 数解耦了,slot 扩到百万、千万,etcd 存的还是那么些分片,内存、raft 复制、MVCC 历史都不会被 slot 数量拖垮。这是把 slot 往百万级扩的前提,不然 etcd 先顶不住。
风险和要注意的地方几个。一是兼容性,etcd 里 key 的格式变了,老的
slot-%04d数据要能平滑迁过去,得有个升级或者转换的过程,不能升级完路由就读不出来。二是区间的合并和分裂逻辑要写得很稳,什么时候该合、迁移边界怎么动、并发迁移多个区间会不会互相影响,这些边界情况多,是最容易出 bug 的地方。三是"只能从边界迁"这个约束会限制运维的灵活性,以前想迁哪个 slot 迁哪个,现在得从边界来,dashboard 的迁移界面和逻辑都要跟着改,也要跟用的人讲清楚。四是这是个比较大的改造,建议先在小 slot 数下把 range 存储和边界迁移跑通、验证正确性,再往大 slot 数推。三、下一步计划
O_APPEND写路径核查compact-old-sst-interval动态调速方案(按增长反馈 + 优先回收过期 SST)设计与合入评估四、下次会议安排
compact-old-sst-interval是否合入主干及参数设计All reactions