20230722周会纪要

[yaoyinnan]

Table Description 只描述本周一些进展，同时本周一些进展务必放进 issue or pr 的 评论里，这样也方便进行历史回溯。

1 单机

Item	Priority	Issue/Pr	Owner	Description
数据同步	P0	rsync 去除，添加新的主从同步机制	少一	0715当前开发进度80%，预计下周开发完，开始测试。0722 测试bug还在修复
		pika 实例硬盘容量满，清除数据后，pika仍然保持错误的状态	yang shi xi	基本框架怎么搞都已经写好了，现在在搞怎么用eventlistener触发db resume
性能调优	P1	ttl 和 version 溢出	wxr	暂时搁置
		【问题确认】3.3.6会出现 hmget 命令耗时很长的问题，确认下最新的代码能否复现该问题		没有复现
RocksDB	P2	动态配置sst文件大小	wangchuande	功能已完善，后面添加单测
	P1	Pika on S3	宁常远	决定尝试使用rocksdb cloud先实现持续上传功能。计划下周专门搞这个事情
Pika 兼容 Redis	P2	整理新加的reids命令文档		显荣跟进
		redis API: role		李浩修改锁粒度
		Pipeline 功能改进	Tedli（李振）	0715 需要在确认复现
		pika支持MULTI和EXEC事务	lihao	0715代码review加解决意见
		zset range delete performence sucks	wxr	限制zset插入个数，然后看delete性能提升
		hashtable field	wxr	wxr 已经开始写了
		support lastsave
		支持 ACL	陈俊华，qx	俊华和qx推进中qx 在写，写了1/3了
		redis常见module支持
		支持redis stream	周开颜 于雨跟进方案	开颜继续推进
		monitor 命令异常退出	yangshixi	0715暂时还没搞，继续跟进
		[336] SETEX 命令出现很多慢查询日志
		pika-port 在同步pika命令pksetexat到redis时无法执行		用于3.0 3.1 教老版本pika，优先级不高，先搁置
		slaveof 后是否更新 config 文件信息		月财：可以考虑加一个配置判断是否自动写入maxin：切主的时候可能还需要 reload config，切换成本变高
		lpop 和 rpop 等一些命令的返回值格式和 redis 协议不兼容	libingzhi	不一致，继续切换低版本redis-cli处理libingzhi跟进

2 集群

Item	Priority	Issue/Pr	Owner	Description
codis 维护	P0	在 codis 下支持 hash 而非 range	maxin，yuecai
		codis 下支持 etcd		这个功能 codis 已经支持了
		在 codis 架构下，proxy 解析一次 redis 协议，pika 再解析一次，属于重复工作
		pika3.3.6 单机主从架构多 db 如何做数据迁移到 codis+pika 分片版本
		使用 65280 slots 替换默认的 1024 slots		已支持 slot 配置化，可以关了

3 可观测性

Item	Priority	Issue/Pr	Owner	Description
Info		完善info日志输出	车金鸽	Pika 线上运行的时候，打印的日志太少了，不太好排查问题。比如主从同步
Metrics		一些的可观测性建议		Pika 常见的 Metrics 指标
		增加 RocksDB Metrics API		根据 chuande 的建议，提供一个 API，以供开发者获取指定 RocksDB 指标
		增加 RocksDB Column Family Metrics（CFStats）	baitao	今天更新一下PR，先合并连通rocksdb一起返回的PR，之后讨论是否要切分

4 工具集

Item	Priority	Issue/Pr	Owner	Description
基于 ldb 命令，做一个工具，分析 sst 文件	P3		ruilin	基于 ldb 命令，做一个工具，分析 sst 文件
	P3	pika 数据一致性校验工具
		把数据转换成 sst，然后导入 Pika
		codis 点对点数据迁移	baitao
		完善 big key 分析功能	chejinge	bigkey+topkeychejinge在跟进

baitao：测试 db0一些进程，cpu占用非常多，qps压不上去。

5 云原生

Item	Priority	Issue/Pr	Owner	Description
主从 operator			maxin	*0516 没有稳定的 docker 镜像，先搞一个 helm，helm 是标准，后续再继续推进 * 0603 有些 e2e 可以基于 operator 去做，比较方便 *0617 maxin 建议关注 kubeblock，比较成熟 * 0701 helm 等待有稳定镜像才比较好，maxin 先打一下临时镜像 *0701 基于 kubeblock 实现下集群，需要codis集群的资料 * 0708 Codis 集群已经能拉起来0722 基于 kubeblocks 初步PR，WIP
	P1	docker镜像	maxin 、yinnan	1 用户：the image in https://hub.docker.com/ is too old。 2 0527 等待下一个 Release 上传稳定版本的镜像

6 质量建设

Item	Priority	Issue/Pr	Owner	Description
单测	P0	unit basic 问题汇总
集成测试	P1		yuecai ruilin	0520 yuecai 提单独仓库做 https://github.com/pikiwidb/pika/pull/1* * 0603 需要增加 e2e 测试框架，ruilin 跟进
		clang-tidy	宁常远	梳理一下现有没做完的任务，建个issue
		tests/unit/auth.tcl单元测试空密码测试与错误密码测试冲突		黄麒浩
		解决编译时的warning		已经解决
		用 Go 语言来写集成测试	月财

7 社区

7.1 OSPP 开源之夏

• 活动相关

• • 链接：https://summer-ospp.ac.cn/org/orgdetail/7e52ef27-ff02-457d-9bc3-cdb9c8b69cef?lang=zh
  • 4.29~6.4 学生注册，导师沟通项目，提交项目申请
  • 6.5~6.25 项目申请审核
  • 6.26 中选公示
  • 6.26~6.30 项目开发预热
  • 7.1~9.30 项目开发
  • 10.1~10.31 结项审核-PR/MR 合并与导师审核
  • 11.1~11.8 结项审核-组委会成果审核
  • 11.9 结项公示
  • 11月 优秀学生评选

Item	Issue/Pr	Priority	Owner	Description
开源之夏	Pika 实现 Raft 集群		陆安璞	在写apply的逻辑，之后基本能走通流程
	Pika 支持 Lua 脚本并引入 LuaJIT 解释器		智森	目前跑通了执行脚本的过程， 还有细节需要添加PR已经提了，需要review，zhisen之后拆一拆实现的功能和引入的外部模块
	Pika 支持 Redis 事务		李浩	写完了，在做测试工作，PR需要review

7.2 GitLink 开源夏令营

• 活动相关

• • 链接：https://www.gitlink.org.cn/glcc/apply/projects
  • 6.21 学生提交 Proposal
  • 7.1 公布入选学生
  • 7.1~8.11 研发第一阶段
  • 8.20 中期考核
  • 8.21~9.28 研发第二阶段
  • 10.11 结项考核
  • 10.22 颁奖

Item	Priority	Issue/Pr	Owner	Description
		Pika 支持 Redis 常见 module
		Pika 在 AWS S3 上存储数据	宁常远&王少一	在尝试用rocksdb-cloud替换rocksdb，遇到编译错误建立连接只需要签名鉴权，通过文件来鉴权，与本地是否有数据无关。本地的flush之后，sst删除了，s3上有sst。s3上没有wal。
		Pika 实现乐观锁功能	麒浩	在看事务PR

需要 review 的 PR

• Redis 事务：Feature/txn #1585
• 磁盘空间不足后数据库无法恢复：fix: db cannot resume after disk has no space #1765
• Add RocksDB column family metrics：pika-exporter：Add RocksDB column family metrics(#1566) #1696

7.3 members

Name	GithubID	Task	PR	Description
于雨	AlexStocks	#1175		pika数据一致性校验工具
李浩	ForestLH	#1303	#1515	在 cmake 中加入编译时候的静态分析告警
车金鸽	chejinge	#1333
车金鸽&刘月财	chejinge luky116	#1288	#1388	添加pika-exporter，调研清楚Pika需要哪些观测指标
车金鸽	chejinge	#1070		支持 SYNC/PSYNC/PSYNC2
车金鸽	chejinge	#1161		支持 lastsave
lqx	lqxhub	#1284		支持 ACL
赵昊	ptbxzrt	#1220		redis常见module支持
lqx	lqxhub	#1221		admin能力支持，单机，基本的建表模型，观测/管理/配置修改
吴显荣	Mixficsol	#1119		zset的范围删除的性能不好
李浩	ForestLH	#935		支持pipline
陈俊华	chenjunhua	#114		支持 brpop, blpop
王若添	sacloudy	#1438		Pika On S3
hongfan	georgehao	#1227		redis smart client的兼容
顾辰枫	ChanphongGu	#1228	#1250	rsync 进程去除， 全量同步功能设计
张诗语	Joeyzsy	#1393		重构数据同步迁移系统，剥离rsync
陈柏韬	chenbt-hz	#1302		codis 点对点数据迁移
kangjinci	4kangjc	#1437		Pika 支持 Windows 平台
周开颜				研一，华东师大-软工，CS 做内存数据库

人员列表

Name	GithubID	Desc
李浩	ForestLH	华科
lqx	lqxhub	上海游戏公司
赵昊	ptbxzrt
吴显荣	Mixficsol	学生
陈俊华	chenjunhua	重邮
王若添	sacloudy
顾辰枫	ChanphongGu	福大
张诗语	Joeyzsy	北邮
baitao	chenbt-hz	hzgt
冯智森	A2ureStone	深哈工大
康锦赐	4kangjc
赖沐曦	iiiuwioajdks
chuande		zksg
陆安璞	Brokenice0415	南京大学
宁常远	longfar-ncy	南京航空航天大学
王立强
孙建钊	sjz-hub	北京邮电大学
黄麒浩		广州大学，研一
陈品烨		华南理工，研一，熟悉C++，win开发
高鑫磊（渔郎）		开放原子峰会了解到pika
李丙志	SinuxLee