20230415 周会纪要

[AlexStocks]

1 Task List

1.1 单机

• P0 CI/CD

  • 马鑫的docker 镜像

• P0 数据同步

  • rsync 去除，添加新的主从同步机制 rsync 进程去除， 全量同步功能设计 #1228
  • 用pika3.3.6 主从切换以后slaveof xx xx force 不触发数据同步 rsync也没调用起来 [from QQ group] #1265 rsync 数据同步问题
  • pika针对essd盘优化，提升社区小企业在使用公有云essd的性能。ceph-like 陈宗志
  • pika 实例硬盘容量满，清理数据后，pika仍然保持错误的状态，需要重启才能恢复 #1150 刘振：pika 实例硬盘容量满，清楚数据后，pika仍然保持错误的状态，需要重启才能恢复，方案：在辅助线程里增加容量检查
  • A-->B-->C 级联主从关系的问题 #209 多 pika 实例 A->B->C 级联时的数据复制问题
  • 主从服务器突然不同步了， 但是长时间不恢复， 要重启， 才可以 #933 网络抖动导致主从同步失败：刘振让用户升级到 3.3.6，但用户升级到 3.3.6 仍然出问题
  • 3.3.3版pika哨兵模式下，一个节点挂掉后，无法重启该节点 #1001 3.3.3版pika哨兵模式下，一个节点挂掉后，无法重启该节点：没有有效回复
  • 主从连接断连，无法进行无从同步 #1035 主从连接断连，无法进行无从同步: 刘振让用户升级到 3.3.6，但是没给出原因
  • codis+pika主从同步失败 #1031 codis+pika主从同步失败：刘振给出了有效答复
  • pika_repl_bgworker.cc:254复制线程有时耗时比较久 #1024 pika_repl_bgworker.cc:254复制线程有时耗时比较久：没有有效答复
  • pika主从同步没有同步数据 #1021 pika主从同步没有同步数据: 刘振让用户升级到 3.3.6，但是没给出原因
  • 主从切换原主库同步失败 #1013 主从数据不一致时：执行 slaveof B_ip B_port force 可以强制进行数据全同步
  • pika3.2.9 同步失败 #1009 pika3.2.9 同步失败：通过检查发现是cache-file设置的过高，rsync文件的时候没有足够的内存去fork 进程
  • 请问一下WAL文件和write-buffer-size参数关系 #980 WAL文件和write-buffer-size参数关系
  • pika 丢数据问题 #993 主从同步可能丢失数据，并给出了解决方法 leisurelyrcxf@edf31986d526bf9f12642ca1ab869e057adc738b，但是代码并没有 merge 进 pika 主干
  • v3.2.9使用哨兵进行主从切换，新的slave不能同步master #998 v3.2.9使用哨兵进行主从切换，新的slave不能同步master：没有任何有效回复
  • 主从同步失败（Rsync send file failed） #1065 Rsync 主从同步失败，用户问题没解决，其中一个用户：关闭master pika进程，kill掉rsync进程，删除dbsync目录，重启pika，我这么做解决了
  • 3.3.6支持slaveof ip port [write2file-name] [write2file-pos] [force]命令吗？ #1058 用户：3.3.6支持slaveof ip port [write2file-name] [write2file-pos] [force]命令吗？官方没有回答。
  • 启动pika时有报错：pika_binlog_transverter.cc:191] Binlog Item type error, expect type:1 actualy type: 0 #1057 用户：启动pika时有报错：pika_binlog_transverter.cc:191] Binlog Item type error, expect type:1 actualy type: 0 章俊回复：报错的实例存在padding items。padding items是该节点以slave身份运行时，全量同步master数据产生的（从节点全量同步完成之后，会将自己本地已有binlog填充0，直到全同步点位为止）。下次读取数据（比如，作为master，同步数据给slave），一旦读到该同步点位之前的数据就会产生该报错。这个问题，已经通过引入snapshot point修复，但尚未提交。目前解决方式是：1）若为slave，重新强制全量同步。2）若为master，使其余slave强制全量同步
  • 切主以后，主从同步失败，一直报错。 #1106 用户：切主以后，主从同步失败，一直报错。刘振：主从切换时，由于有部分binlog slave没有获得，因此master slave的binlog在当时是不相同的。对于pika设计这个命令的时候，考虑到这是个严重问题，需要人为介入。因此需要slaveof masterIp masterPort --force才能强制新slave 全同步。对于想忽略这个问题，直接自动全同步，pika需要给出一个开关选项（默认关闭），在管理员已知的的情况下，可以自动强制全同步。这部分功能需求，需要参考下redis的设计。 恨水：后面优化考虑引入主写入限速，不能超过过长落后。

• P1 稳定性

  • Arm 平台稳定性验证 arm环境编译兼容性问题踩坑 #1138 AWS 已经在 Arm 上验证过，此任务结束

• P1 性能调优

  • 调优 build: support PGO #1300 编译选项，在编译阶段生成 profile，然后进行调优
  • pika集群模式，每天都有大量的慢查询，有没有办法做优化？ #1225 用户：pika集群模式，每天都有大量的慢查询，有没有办法做优化？刘振：1 数据抖动的时间是集中在写入的时候吗？如果是这样，可以认为写入操作时的flush 对性能的影响，新版rocksdb对这个问题做了优化，pika也在升级rocksdb中。2 如果是查询抖动，可以考虑适当增加max-open-file，和max-memory。
  • redis API: info all too slow #1109 刘振：exporter调用pika的info all命令时,会有大量的info all打出来的慢日志,pika单节点数据量在150G左右,请求tps 50k/s左右,info all有时时间达到100ms左右****
  • 无法写入256MB的key #1203 用户：无法写入256MB的key。刘振：rocksdb 在compact大value的时候，写放大严重。不建议生产环境使用。如果测试验证，可以调整memtable的大小和max-conn-rbuf-size 的大小。
  • 最新版本pika存在Redis的大key问题嘛？如果不存在，可以了解些是怎么解决的嘛 #1205 用户：最新版本pika存在Redis的大key问题嘛？刘振：pika目前也会存在big key的问题。目前考虑解决的方式是key-value 分离，这种方式会减少rocksdb在comact对big key操作导致的读写放大问题。我们升级了rocksdb版本之后就能缓解这个问题。预计年前能升级rocksdb版本，key-value分离功能接口也会支持。我们线上建议value长度不超过100K。
  • pika perf 性能瓶颈分析 #1239 pika perf 性能瓶颈分析
  • build: support LTO #1299 优化 Pika 二进制文件，让符号表更精简，运行更快
    • 0408 恨水完成
  • build: support clang-tidy #1303
    • 0408 在 cmake 中加入编译时候的静态分析告警 ，恨水负责
  • 关于pika compact时候造成吞吐上限影响业务的优化 #1334
    • 0408 需要在 pika 中加入一个 auto compact 配置项，恨水负责
  • meta version conflict in heavy set/delete workload #1333
    • 0408 于雨找阿古跟进
  • 间隙性客户端pika断开 #1367
    • 0408 恨水接手验证

• P2 RocksDB 恨水

  • rocksdb: support event listen and export #1288 恨水： RocksDB 观测性数据导出
  • 动态配置sst文件大小 #1129 恨水+bitstring: 动态配置sst文件大小

• P2 Pika 兼容 Redis

  • redis API: role #902 redis API: role
  • info 命令增强 info命令应该带上redis_version信息，否则springboot框架健康监测异常 #948
  • Pipeline 功能改进 咨询问题pipeline #935
  • blpop brpo 命令支持 redis API: support brpop, blpop #114 @Tangruilin
  • Redis move 等命令支持 redis smart client的兼容 #1227 @haohongfan
  • spop 支持 redis API: spop with count #889
  • unlink 命令支持 反馈两个问题 #864
    Support unlink command #892
  • pika支持MULTI和EXEC事务 pika支持MULTI和EXEC事务么？ #499
  • redis API: support commands_duration_seconds_total redis API: support commands_duration_seconds_total #977
  • zset range delete performence sucks redis API: zset range delete performence sucks #1119
  • suport SYNC/PSYNC/PSYNC2 [GitLink] Pika 兼容 Redis 同步命令 #1070
  • set设置的有效期过长，会导致没有新增上，但是也没有报错 set设置的有效期过长，会导致没有新增上，但是也没有报错 #1099 恨水：这个可能是pika的时间戳单位小了，应该加上校验逻辑。后面加上
  • zset range delete redis API: zset range delete performence sucks #1119
  • pika支持给hash单独的field设置过期时间 pika支持给hash单独的field设置过期时间吗？ #1192
  • 在使用set 命令时出现redis和pika不兼容 在使用set 命令时出现redis和pika不兼容 #1158 用户：set key value px timeout xx 使用这个命令时，redis返回 $，而pika返回* 导致一些客户端不兼容，比如redisson ！
  • support lastsave redis API: support lastsave #1161 刘振：pika 执行完成bgsave后，保留Uinix timepoint。该信息是否需要持久化。若持久化之后，用户手动删除快照后，该信息是否也需要同步更新。
  • pika有数据一致性校验工具吗？ #1175 用户：pika有数据一致性校验工具吗？尝试使用 redis-full-check工具好像不行。刘振：ok，要解决这个问题需要对pika的keyspace的返回格式进行修改了。
  • Pika 支持 ACL 多租户功能 #1284 acl support。支持 ACL，可参照 Redis 进行权限控制。
  • redis API: monitor api broken with redigo-driver #1344 pika 和 redis 协议格式的问题
  • Pika 支持 Redis 常见 module #1220 恨水：redis常见module支持
  • admin能力支持 #1221 恨水：admin能力支持，单机，基本的建表模型，观测/管理/配置修改

• P2 Pika on S3 恨水

  • 0408：恨水说 Pika 可改成 share disk 架构 @Tangruilin ；恨水觉得开发难度大，且用户切换的难度比较高；

• P2 网络 How do I do UDS? Unix Domain Socket #1018 支持 unix domain socket @yq

1.2 集群

• codis 维护 马鑫

  • 请问下pika_codis这个分支基于哪个版本的pika修改的 #1194
    • 0401 恨水说 codis 还没有合并完整，如果合并完整则 codis 集群已经可用，刘振维护的 codis 没有合并到这个库；
    • 0408 刘振单独维护的 codis，让月财接手相关工作；
  • Is there a tutorial of Pika + Codis？ #1082 pika 与codis 官方原版不兼容的核心问题在于 codis dashboard 发送的一些命令使用事务的语义（获取状态信息）。但其实对于对于pika来说并不太重要。使用codis的兼容版本可以参考branch
  • codis3.2 兼容pika 的版本 #1075 用户：codis3.2 + pika 2.3.8 使用没问题。刘振：codis 应该配合使用3.3.6的sharding模式，3.3.6 可以支持codis的hashtag功能。
  • Is there a tutorial of Pika + Codis？ #1082 用户：Is there a tutorial of Pika + Codis？ 刘振：pika 与codis 官方原版不兼容的核心问题在于 codis dashboard 发送的一些命令使用事务的语义（获取状态信息）。但其实对于对于pika来说并不太重要。使用codis的兼容版本可以参考 https://github.com/kernelai/codis/tree/release3.2-pika
  • redis smart client的兼容 #1227 redis smart client与pika 经典模式兼容。场景为：使用redis smart client的业务从redis cluster 迁移到经典pika 实例中。例如move 命令。 @georgehao
  • codis: support hash range instead of slotnum #1294 在 codis 下支持 hash 而非 range
  • codis : support etcd/local storage instead of zk #1295 codis 下支持 etcd
  • pika: behind codis, pika should support raw command instead of redis command #1296 在 codis 架构下，proxy 解析一次 redis 协议，pika 再解析一次，属于重复工作。

• 分片模式

  • 用管道操作两个命令key过期，总是报错ERR Partition not found，运行一段时间后又正常 #1188 用户：用管道操作两个命令key过期，总是报错ERR Partition not found，运行一段时间后又正常。 没有有效回复。
  • sharding模型下，不支持scan keys功能，维护怎么做？ #1137 用户：sharding模型下，不支持scan keys功能，维护怎么做？ 恨水：当前继续使用codis来实现这种方案，但哨兵支持不完善。codis-dashborad也可以支持高可用，替代哨兵。
  • pkcluster slotsslaveof no work #1159 用户：我在从节点上执行这个命令 “pkcluster slotsslaveof no work” 后，info slot展示这个信息，一直没数据同步
  • pika3.3.6单机主从架构多db如何做数据迁移到codis+pika分片版本 #1195 用户：pika3.3.6单机主从架构多db如何做数据迁移到codis+pika分片版本。我修改了codis和pika的默认slot，我5台物理机，将slot修改为了128，目前运行下来比较稳定，最开始使用1024个slot，性能很差，还经常timeout。
  • 分片集群版本compact如何做？ #1198 用户：分片集群版本compact如何做？官方没有回复。

1.3 可观测性

• Metrics

  • 0401 目前重要的任务就是添加 RocksDB 的观测性指标
  • 0408 陈百幍 继续基于 exporter 进行相关工作；baitao 老版本的 exporter 2.0 的指标在 exporter 3.0 中没有了，不保证支持
  • pika观测性支持 #1218 一些的可观测性建议
  • integrate pika_exporter into pika repo #1336 把 exporter 合入 pika repo
    • 0408 尚未合入
    • 0415 目前baitao还在doing 相关工作

• Logging

  • log 处理 pstd & net & storage @ForestLH （李浩：华科研二）
    • 另外的 makefile 删除、单测改为 gtest 模式 等工作统一进行

• Tracing

  • P2 接入 OpenTelemetry 洪范

1.4 工具集

• P2 以往工具集的改进 于雨
  • pika port、pika export 项目迁移到pika仓库 #1230
  • 我把pika从一个服务器迁移到另一个服务器，用pika_port命令报错 #702 把pika从一个服务器迁移到另一个服务器，用pika_port命令报错
• P2 CDC 能力：spark 数据 import 导入
• P2 基于 ldb 命令，做一个工具，分析 sst 文件 @Tangruilin
• P2 Pika-migrate 代码在 v3_2_7_migrate
• pika有数据一致性校验工具吗？ #1175 用户：pika有数据一致性校验工具吗？尝试使用 redis-full-check工具好像不行。刘振：ok，要解决这个问题需要对pika的keyspace的返回格式进行修改了。
• rocsksdb: support sst ingest file import #1292 把数据转换成 sst，然后导入 Pika。
• codis: support migrate-tools #1302 codis 点对点数据迁移
  • 0408 陈百韬 负责，在 codis 之上完成该任务

1.5 云原生

• P1 马鑫贡献的主从 operator，月财接入

  • 0408 背景 issue [discuss] pika-operator 需求场景讨论 #1238 ； pika operator 设计 #1236

• P1 docker

  • docker 镜像文件太大 #1115 docker 镜像文件太大问题。没有见到有效回复。此任务留给 马鑫
  • please update newest pika docker image in docker hub #1163 用户：the image in https://hub.docker.com/ is too old.
  • docker: new image base on ubuntu #1298 当前 pika 的 centos 镜像处于荒废状态，需要 centos 和 ubuntu 的新镜像
    • 0408 马鑫 接手

• rocksdb: supprot blobdb #1286 RocksDB 的 kv 分离 @WyattJia

1.6 质量建设

• P0 单测

  • 单测 刘振已经提交了 pr https://github.com/OpenAtomFoundation/pika/pull/1357，还有待继续改进
    • 0415 需要刘振继续验证
  • 可以借鉴 https://github.com/jianqingdu/kedis/tree/master/tests
  • pika: 差异化命令类型API 单元测试用例 #1257 pika: 差异化命令类型API 单元测试用例。** 增加针对 pika 独有的命令的ut **

• P1 压测

  • https://github.com/OpenAtomFoundation/pika/wiki/3.2.x-Performance 文档没有压测方法
  • redis-benchmark failed to fetch config from Pika #645 一个可借鉴的压测方法，使用 redis-benchmark
  • Pika主从延迟问题 #944 Pika主从延迟问题
  • 批量写入PIKA数据丢失问题 #862 批量写入PIKA数据丢失问题
  • pika 无法充分利用资源，性能压不上去 #992 如何高效的压测 Pika：thread-num 最好设置成机器的核数，thread-pool-size 设置为 thread-num 的两倍

• P1 集成测试

• P1 文档

  • pika 内存占用越来越大 #1072 用户： pika的db_tablereader_usage值被沾满。刘振：有可能内存使用过多，被系统kill掉的。尤其是在容器中使用pika。这些内存是用来作为sst 的index缓存的。可以通过减少打开的文件数来减少缓存的index。
  • Pika在什么情况下可能丢数据？支持KEY的数量和Redis一样有上限吗？ #1062 用户：Pika在什么情况下可能丢数据？刘振：主从切换时，如果主上的日志没有同步完成 ，那么从会丢失数据
  • [RefitLevel] waiting for background threads to stop #1053 用户：大量 “waiting for background threads to stop” 这种日志。刘振：这种问题就是rocksdb 阻写了。瓶颈在于盘的读写能力。可以增加memtable的个数，来缓冲一下。
  • block-cache 这个参数的理解 #1090 block-cache 用户： 在配制文件里这个配制是8M，把这个参数调整大后，内存迅速就上来了。刘振：这是 RocksDB 的参数。用户：很多内存暴涨问题来自这个参数的错误设定
  • 访问pika出现间歇性EOF #1092 用户：访问pika出现间歇性EOF， 查了下大概是因为timeout参数导致的，这个配置推荐如何设置，如何避免出现EOF，连接断开的问题。刘振：pika有自动关闭空闲链接的机制，当一个连接超过timeout时长后会被关闭，防止过多的无效连接资源，这个与redis的机制是一致的。于是这个问题需要按照你们具体的场景设置。
  • OpenAtom Pika 项目第一次导师会议纪要 #1091 OpenAtom Pika 项目第一次导师会议纪要
  • Survey of Pika usage  #1096 Survey of Pika usage
  • 关于存储层mset加锁的问题 #1124 刘振:pika 对于写操作会添加一个行锁。加锁的作用是保证key写binlog的顺序与写DB的顺序一致。从而slave通过binlog增量同步时，与master一致。 恨水：这个锁的力度确实有点大，可以优化，读场景没有锁的必要。
  • 开启compact cron后，主节点偶发间歇性无法正常服务 #1126 用户：开启compact cron后，主节点偶发间歇性无法正常服务。恨水：compact，会做文件合并，会有大量IO，建议在业务低峰期来做。
  • 单机使用的最佳实践(配置) #1139 用户：单机使用的最佳实践(配置)。刘振：对于不需要主从同步的情况，关闭binlog就可以了。用户：在wiki 和 issue 中没有找到 关闭binlog的方法
  • pika 开发计划 #1141 pika 开发计划
  • 如何使用pika，有详细的文档？ #1142 用户：请问pika 3.3.6在经典模式下推荐哪种高可用模式，如何配置？ 刘振：pika在3.3.6经典模式中，配合哨兵来进行高可用。
  • 分片模式下使用redis-cli命令连接，新增数据报错(error) ERR Partition not found #1149 用户：分片模式下使用redis-cli命令连接，新增数据报错(error) ERR Partition not found 。刘振：pika 实例在sharding模式下，会校验该key 是否在本实例上。你执行下pkcluster info slot，可以查看有多少分片在本实例上。
  • Unexpected end of stream #1157 用户甲：使用很简单的功能 结合spring hmget 命令，从pika中获取一个key，就会在生产环境偶尔报 Unexpected end of stream 这个错误。用户乙：可以尝试一下配置文件中的最大连接数从 20000 降到 2000

2 Issues & Prs

2.1 prs

• test: add redis test #1357 刘振 单测

  • 0401 第一次提交 pr，还在改进中
  • 0408 继续改进中
  • 0415 预计在月底之前把该工作完成，有可能

• test: add operator e2e test #1347 马鑫 e2e 测试

  • 0401 还有待 kvrocks 李闯继续 review
  • 0408 月财接手该工作，在内部进行验证

• clarify the default config setting #1275 恨水 配置文件参数默认初始化；

  • 0401 刘振觉得有些参数不合理，需要继续讨论
  • 0408 继续讨论

• 修复pika在ubuntu环境中退出时rsync没有正常关闭的问题 #1250 Ubuntu 下 rsync 异常问题

  • 0408 恨水接手