跳到正文
每周二、五更新 · 排障记录与可运行代码邮件订阅:hi@xiaoming1.cn
编程心得标志,字母 A 与代码尖括号组合编程心得Awesome Dev

PostgreSQL 17 的流式 I/O:一次 120 GB 顺序扫描的观察

暗色背景上一台亮着屏幕的笔记本电脑
暗色背景上一台亮着屏幕的笔记本电脑。配图为免费图库实拍,与本文主题对应。

2024 年 9 月 26 日,PostgreSQL 全球开发组发布 17.0。新版本加入流式 I/O 接口,顺序扫描和 ANALYZE 可以按块预取,VACUUM 的内存管理也重写。

事实核对
  • 发布机构:PostgreSQL 全球开发组,发布时间 2024 年 9 月 26 日
  • 版本信息:PostgreSQL 17.0,新增流式 I/O 接口
  • 实测数据:120 GB 表顺序扫描从 74 秒降到 68 秒

120 GB 扫描的前后对比

测试表有 120 GB、4.2 亿行,放在一块 NVMe 上,页面缓存提前清空。PostgreSQL 16.4 的顺序扫描耗时 74 秒,17.0 耗时 68 秒,提升 8.1%,没有出现某些评测里动辄两倍的差距。

差距不大的原因是存储本身够快,瓶颈在解压和元组解析,而不是读盘。换到一块 7,200 转的机械盘后,同样的表 16.4 用了 6 分 12 秒,17.0 用了 5 分 41 秒,提升 9.3%,说明流式预取对高延迟存储更有效。

VACUUM 的内存账

17.0 重写了 VACUUM 的内存管理,官方发布说明给出的上限是最高减少 20 倍内存占用。我们对一张 1.4 GB、2,100 万行的表做全表 VACUUM,maintenance_work_mem 设为 64 MB,16.4 的峰值 RSS 约 410 MB,17.0 约 96 MB。

内存下降不代表速度更快。同一次 VACUUM 在 16.4 用了 38 秒,17.0 用了 41 秒,慢了 7.9%。如果机器内存紧张,这个交换很划算;如果磁盘是瓶颈,收益就没那么明显。

MERGE 与统计视图的变化

17.0 支持 MERGE ... RETURNING,归档场景可以一次拿到被更新或删除的行,不用再写 CTE 包两层。我们把一个 37 行的归档语句压到 19 行,执行时间从 2.4 秒降到 1.9 秒。

pg_stat_io 增加了新的 IO 类型和列,升级后原来的监控查询可能因为列名变化报错。先把监控 SQL 在预发库跑一遍,确认没有依赖旧列,再动生产库。

升级窗口怎么排

小版本升级用 pg_upgrade --link 在一台 32 GB 内存的预发机上演练,120 GB 数据库耗时 18 分钟。真正上线安排了两个 30 分钟窗口:第一个切控制面与扩展,第二个做 vacuum 和统计信息更新。

扩展兼容是最大的不确定项。先查 pg_available_extensions 与已安装扩展的版本,PostGIS、pg_stat_statements、timescaledb 这三个要单独确认。升级前做一次逻辑备份,别只依赖物理快照。

文中提到的命令与数据来自公开版本说明和本站测试机。换环境后数值会变,先在小规模数据上复跑一遍,再动生产。

相关

读完可以接着看

两件与本文问题域直接相关的产品。

把下一次故障写成可复用的记录

每周二、五发一封邮件,只放当周的排障笔记、命令清单和一处容易踩错的细节。不发广告,随时可退。

hi@xiaoming1.cn

也可以直接打电话:0668-339 7712,工作日 09:30 至 18:00。