Incident Report: September 22nd, 2025
During a code cleanup, we made a database schema change to remove an unused column. However, a subsequent code change reverted part of this unintentionally, leading to failures for a core API our frontend relies on.
Further investigation revealed the issue stemmed from a PgBouncer version upgrade. Our Control Plane database relies on PgBouncer as a connection pooler, common in most applications for managing Postgres connections at scale.
We had been using an older Bitnami image, and following Bitnami’s deprecation of their public images, we migrated to our internal mirrored repository. This migration advanced us several PgBouncer versions ahead.
Railway 事故分析。DB schema 变更因为“不小心”被 revert 了，控制面崩了，控制面崩了发现是 PgBouncer 资源消耗异常，原来是因为 bitnami 不维护公开 image 了，所有他们迁移到了内部的 repository，但是这次迁移并不只是“迁移”，而是将 PgBouncer 升级了几个版本。。。这两个变更咋能通过 review 上线的呢？
当然，如果要调侃的话，可以说一句：“博通罪大恶极”。
Cloudflare outage on November 18, 2025
Rust 背锅了：Cloudflare 故障分析 | CatCoding
从 Cloudflare 故障到代码安全 | Cyandev
CloudFlare 事故分析，这是它们自 2019 年以来最严重的故障，故障原因已经写的很清楚了，各种分析也很多，很多人开始玩梗来说 Rust blabla，看到这类言论感觉和那种营销号标题党没有差别，太无聊了。
这里有一个有意思的地方，CloudFlare Status 站点与 Cloudflare 自身所有资源都是隔离的，但是当主站故障的时候，Status 站点也刚好故障了。。。这应该是误导他们认为是 DDOS 的一个原因？不知道这里的故障原因是什么，文章中没有提到。
Monitor These 5 Metrics to Prevent Downtime
原地报废：不要在生产环境用 Docker 跑PostgreSQL！ · 老冯云数
为什么会这样？原因其实很简单、也很离谱：
- Docker 官方 PG 镜像只支持 两个 Debian 版本
- 当 Debian 发布新版本时，只要你没明确指定 debian 版本标签，它会 自动变成新的默认基础镜像
- 新的 Debian 版本用了 新版本的 glibc
- Glibc 更新后，locale（排序规则）文件发生变化 于是你现在的状态变成：
- 运行的 PostgreSQL 链接的是一套 locale 文件
- 而数据库里的数据与索引 是基于另一套旧的 locale 文件生成的
再次坚定：指定 tag 甚至指定 hash 总是没错的。
原来 PG 的 dockerhub 里面的 Official Image 主语是 Docker，不是 PG 社区自己维护的…
Top 200 Most Common Passwords | NordPass
“123456” 还是当前最常用的软密码，排名 129 的是 “theworldinyourhand”，这是什么软件的默认密码么？排名 143 的是 “cisco”。
也许是被统治惯了，不想再被别人管，挪威没有加入欧盟，却是北约的创始成员国。为了与欧盟国家保持良好关系，它又加入了欧洲经济区（EEA），并签署了申根协定。
顺便说一句：欧盟、申根区、欧洲经济区、欧元区、北约 —— 这五个其实完全是不同的概念。
欧洲急需新的能源供应，而挪威成了最大的赢家：石油、天然气出口暴涨，财政收入创下历史新高，更别提那个神话一般的 “主权基金” 了。
挪威是世界上最大的三文鱼出口国之一，海水寒冷而纯净，养出的鱼肉鲜嫩肥美。
我姥爷可能绝大部分人生都在研究彩票上。
我出国留学后再也没见到过他，对我来说只是一个普通的夜晚，我妈给我发来消息：“你姥爷去世了”，随后是一片沉默；几年后，我妈来国外旅游和我聊天，心血来潮，说他最后说在病床前楠楠道，想来出国找我。
我想，这可能比彩票中奖还要难。
写的真好，读的难受。
毛冬的一个说法我非常认同，大家可以在自己长辈还健在的时候，多拍照，多录音录像，可能现在觉得没什么，也许有一天你突然就想起来了，会想看看的。
《一战再战》，笑了么？笑了。看懂了么？没看懂。只能说是大概知道在讲些啥，但是细节上就完全不清楚了。感觉西恩潘可以再得一次奥斯卡。
不怕剧透可以看这篇影评： 把左派、右派，都骂的狗血淋头
《我们的箱根驿传》，2025 年 8 月出版的书，在上海书城看了开头，作为相关信息的了解是不错的选择，想要当场买，结果书城 65，淘宝 24，果断选择淘宝。
《没理想编辑部-Vol.202 对话土豆：喜剧不能总是取最大公约数啊》，这期对土豆的采访有趣，土豆是个有趣的人，随口抛出的梗都很难接住。这一季喜人他最后悔的，应该就是没有坚持自己的想法，选择了“保底“。
《【Reaction】华莎 x 朴正民 ‘Good Goodbye’ 祝贺舞台演员反应｜第 46 届青龙电影节｜251119》
周末的快乐是这个视频给的，第 46 届青龙电影节，华莎演唱自己的歌曲《Good Goodbye》，这首歌的 MV 男主是朴正民，在青龙的现场有一个小小的互动，台下都是韩国最会演戏的演员，大家的反应很真实很有趣，都是姨母笑，都磕到了。
Incident Report: September 22nd, 2025
During a code cleanup, we made a database schema change to remove an unused column. However, a subsequent code change reverted part of this unintentionally, leading to failures for a core API our frontend relies on.
Further investigation revealed the issue stemmed from a PgBouncer version upgrade. Our Control Plane database relies on PgBouncer as a connection pooler, common in most applications for managing Postgres connections at scale.
We had been using an older Bitnami image, and following Bitnami’s deprecation of their public images, we migrated to our internal mirrored repository. This migration advanced us several PgBouncer versions ahead.
Railway 事故分析。DB schema 变更因为“不小心”被 revert 了，控制面崩了，控制面崩了发现是 PgBouncer 资源消耗异常，原来是因为 bitnami 不维护公开 image 了，所有他们迁移到了内部的 repository，但是这次迁移并不只是“迁移”，而是将 PgBouncer 升级了几个版本。。。这两个变更咋能通过 review 上线的呢？
当然，如果要调侃的话，可以说一句：“博通罪大恶极”。
Cloudflare outage on November 18, 2025
Rust 背锅了：Cloudflare 故障分析 | CatCoding
从 Cloudflare 故障到代码安全 | Cyandev
CloudFlare 事故分析，这是它们自 2019 年以来最严重的故障，故障原因已经写的很清楚了，各种分析也很多，很多人开始玩梗来说 Rust blabla，看到这类言论感觉和那种营销号标题党没有差别，太无聊了。
这里有一个有意思的地方，CloudFlare Status 站点与 Cloudflare 自身所有资源都是隔离的，但是当主站故障的时候，Status 站点也刚好故障了。。。这应该是误导他们认为是 DDOS 的一个原因？不知道这里的故障原因是什么，文章中没有提到。
Monitor These 5 Metrics to Prevent Downtime
原地报废：不要在生产环境用 Docker 跑PostgreSQL！ · 老冯云数
为什么会这样？原因其实很简单、也很离谱：
- Docker 官方 PG 镜像只支持 两个 Debian 版本
- 当 Debian 发布新版本时，只要你没明确指定 debian 版本标签，它会 自动变成新的默认基础镜像
- 新的 Debian 版本用了 新版本的 glibc
- Glibc 更新后，locale（排序规则）文件发生变化 于是你现在的状态变成：
- 运行的 PostgreSQL 链接的是一套 locale 文件
- 而数据库里的数据与索引 是基于另一套旧的 locale 文件生成的
再次坚定：指定 tag 甚至指定 hash 总是没错的。
原来 PG 的 dockerhub 里面的 Official Image 主语是 Docker，不是 PG 社区自己维护的…
Top 200 Most Common Passwords | NordPass
“123456” 还是当前最常用的软密码，排名 129 的是 “theworldinyourhand”，这是什么软件的默认密码么？排名 143 的是 “cisco”。
也许是被统治惯了，不想再被别人管，挪威没有加入欧盟，却是北约的创始成员国。为了与欧盟国家保持良好关系，它又加入了欧洲经济区（EEA），并签署了申根协定。
顺便说一句：欧盟、申根区、欧洲经济区、欧元区、北约 —— 这五个其实完全是不同的概念。
欧洲急需新的能源供应，而挪威成了最大的赢家：石油、天然气出口暴涨，财政收入创下历史新高，更别提那个神话一般的 “主权基金” 了。
挪威是世界上最大的三文鱼出口国之一，海水寒冷而纯净，养出的鱼肉鲜嫩肥美。
我姥爷可能绝大部分人生都在研究彩票上。
我出国留学后再也没见到过他，对我来说只是一个普通的夜晚，我妈给我发来消息：“你姥爷去世了”，随后是一片沉默；几年后，我妈来国外旅游和我聊天，心血来潮，说他最后说在病床前楠楠道，想来出国找我。
我想，这可能比彩票中奖还要难。
写的真好，读的难受。
毛冬的一个说法我非常认同，大家可以在自己长辈还健在的时候，多拍照，多录音录像，可能现在觉得没什么，也许有一天你突然就想起来了，会想看看的。
《一战再战》，笑了么？笑了。看懂了么？没看懂。只能说是大概知道在讲些啥，但是细节上就完全不清楚了。感觉西恩潘可以再得一次奥斯卡。
不怕剧透可以看这篇影评： 把左派、右派，都骂的狗血淋头
《我们的箱根驿传》，2025 年 8 月出版的书，在上海书城看了开头，作为相关信息的了解是不错的选择，想要当场买，结果书城 65，淘宝 24，果断选择淘宝。
《没理想编辑部-Vol.202 对话土豆：喜剧不能总是取最大公约数啊》，这期对土豆的采访有趣，土豆是个有趣的人，随口抛出的梗都很难接住。这一季喜人他最后悔的，应该就是没有坚持自己的想法，选择了“保底“。
《【Reaction】华莎 x 朴正民 ‘Good Goodbye’ 祝贺舞台演员反应｜第 46 届青龙电影节｜251119》
周末的快乐是这个视频给的，第 46 届青龙电影节，华莎演唱自己的歌曲《Good Goodbye》，这首歌的 MV 男主是朴正民，在青龙的现场有一个小小的互动，台下都是韩国最会演戏的演员，大家的反应很真实很有趣，都是姨母笑，都磕到了。