数据库内核实验索引
汇总本站数据库内核文章：PostgreSQL / MySQL InnoDB / 列存引擎 / 数据湖与开放表格式 / 流式数据处理 / 分布式 OLAP 查询引擎 / RocksDB 内核 / 向量检索引擎 / Redis 缓存内核，以及 LSM-Tree 从零实现实验。
2026/7/13
阅读更多土
【Redis / 缓存内核】缓存服务器全景：HashMap · Memcached · Redis · 嵌入 KV
定位进程内 HashMap、Memcached、Redis 与 RocksDB 嵌入 KV 在内存缓存栈中的生态位；划分与 architecture/17、storage/66、linux/redis-source 的分工，并给出本系列 16 篇阅读地图。
2026/7/13
阅读更多【Redis / 缓存内核】事件循环与 I/O：ae · 客户端缓冲 · IO threads
按 Redis OSS 7.4/8.x 源码拆解 aeEventLoop 文件/时间事件、beforeSleep 钩子与客户端 querybuf/reply 路径，并精确说明 IO threads 只卸载读写与解析、命令仍在主线程执行。
2026/7/13
阅读更多【Redis / 缓存内核】对象模型与 SDS：redisObject · type · encoding
拆解 Redis 7.4/8.x 的 redisObject 多态层与 SDS 二进制安全字符串：type/encoding/refcount 如何分工、字符串四种编码的升级路径、OBJECT ENCODING 能读到什么，以及紧凑表示与统一抽象之间的工程争论。
2026/7/13
阅读更多【Redis / 缓存内核】Dict 与渐进 rehash：双 ht 与摊销扩容
从 Redis 7.4/8.x 的 dict 源码拆解链式哈希、双表渐进 rehash、rehashidx 步进与 DICT_RESIZE_AVOID 在 fork 期的行为，并对照站内哈希表内部文章说明与教科书一次性扩容的差异。
2026/7/13
阅读更多【Redis / 缓存内核】紧凑编码：listpack · quicklist · intset
Redis 7.4/8.x 如何用 listpack、quicklist、intset 为小集合省内存：ziplist 退场原因、各 type 的 encoding 升级阈值与配置项默认值，以及紧凑表示在 CPU 与内存之间的工程争论。
2026/7/13
阅读更多【Redis / 缓存内核】ZSet 与 Stream：skiplist · rax · 消费组
Redis 7.4/8.x 有序集合的双结构 skiplist+dict 与小 listpack 编码、Pugh 跳表参数如何落地，以及 Stream 的 rax+listpack 存储与 consumer group / PEL 的最小必要语义——不扩写消息队列教科书。
2026/7/13
阅读更多【Redis / 缓存内核】TTL 与过期：expires dict · 惰性/主动删除 · lazyfree
拆解 Redis 7.4 的 TTL 机制：expires 辅助表、lookup 路径惰性删除、activeExpireCycle 自适应采样，以及 lazyfree 异步释放大对象对延迟的影响。
2026/7/13
阅读更多【Redis / 缓存内核】maxmemory 策略：近似 LRU/LFU 与 MEMORY DOCTOR
从 evict.c 拆解 volatile/allkeys 与 LRU/LFU/random/ttl 策略矩阵、24 位时钟近似 LRU、淘汰池采样，并对照算法篇真 LRU 与 MEMORY DOCTOR 信号。
2026/7/13
阅读更多【Redis / 缓存内核】RDB：fork COW · BGSAVE · 快照格式
从 rdb.c 拆解 SAVE/BGSAVE 的 fork 写时复制语义、子进程快照路径，以及 REDIS 魔数与 opcode 锚定的 RDB 格式边界。
2026/7/13
阅读更多【Redis / 缓存内核】AOF：命令日志 · rewrite · appendfsync
从 aof.c 拆解 AOF 多段清单、feedAppendOnlyFile 写路径、后台 rewrite 与 appendfsync always/everysec/no 各自的丢失窗口及 fsync 失败语义。
2026/7/13
阅读更多【Redis / 缓存内核】混合持久化与崩溃语义
说明 Redis 7.4 默认开启的 RDB preamble + INCR AOF 如何组合恢复路径，结合 fsyncgate 与数据完整性给出 appendfsync 与混合模式的配置决策树及耐久争论边界。
2026/7/13
阅读更多【Redis / 缓存内核】复制：PSYNC · backlog · 副本只读与读己之写
按 Redis 7.4/8.x replication.c 拆解 PSYNC 部分重同步、环形 replication backlog 与 replica-read-only 语义，对照异步复制与读己之写（read-your-writes）的工程边界，说明副本滞后如何改写 Cache-Aside 一致性假设。
2026/7/13
阅读更多【Redis / 缓存内核】Cluster：16384 slot · MOVED/ASK · 多 key 同槽
按 Redis Cluster Spec 与 cluster.c 拆解 CRC16 取模 16384 的 hash slot、MOVED 与 ASK 重定向语义，对照客户端一致性哈希，说明 hash tag 下同槽多 key 原子性边界与迁移期 TRYAGAIN。
2026/7/13
阅读更多【Redis / 缓存内核】Memcached 对照：多线程 slab 与纯缓存何时胜出
对照 Facebook Scaling Memcache（NSDI'13）与 Memcached 多线程+slab 分配器，拆解 Redis 多态编码与持久化带来的角色差异，说明在 Cache-Aside 场景下何时应选纯缓存而非数据结构服务器。
2026/7/13
阅读更多【Redis / 缓存内核】生产排障：大 key · fork · 慢日志与可复现清单
按 Redis Latency Monitoring 与 INFO/SLOWLOG 信号，建立大 key、fork 延迟、阻塞命令、内存碎片四类故障的排查决策树；给出可在本机 redis-server 上执行的复现命令清单，不粘贴伪造输出。
2026/7/13
阅读更多【Redis / 缓存内核】选型与阅读地图：standalone · Sentinel · Cluster · Valkey
用决策树收束 standalone、Sentinel、Cluster 与纯缓存分工，简述 Valkey ABI 社区分叉与 Redis 模块边界，列出多线程与持久化争论，并给出回到本系列、architecture/17 与 RocksDB 的阅读地图以闭合全系列。
2026/7/13
阅读更多Redis / 缓存内核 — 系列规划
> 本文是写作规划，不是可发布正文。拆解对象：Redis OSS 7.4 / 8.x 主线（源码钉 release tag）；Memcached 作网络模型 / slab 对照。不写 Spring Cache cookbook，不写云托管定价，不重写 architecture/17 的 Cache-Aside 全文。…
2026/7/13
阅读更多【Redis / 缓存内核】事件循环 · 对象编码 · 淘汰 · RDB/AOF · Cluster
补齐内存 KV / 缓存服务器内核层：从 ae 事件循环与 redisObject 多态编码，到 TTL/maxmemory 近似淘汰、RDB/AOF 持久化语义，再到复制、Cluster hash slot 与 Memcached 对照。
2026/7/13
阅读更多全部系列索引
本站所有系列专题的总目录。按大模型基础设施、Transformer 与注意力机制、数据与数据库、分布式与存储、架构与金融工程、密码学与安全、操作系统与底层、网络与 I/O、算法与可观测等方向分类整理，每个系列均给出简介与入口链接。
2026/7/13
阅读更多【向量检索引擎】向量引擎全景：算法、RAG 与专用引擎之间的一层
定位专用向量检索引擎相对 ANN 算法、RAG 应用与湖仓格式的分工；以 Milvus 2.6.x 四层架构与 insert/search 最小故事建立坐标系，并交代从 SIGMOD 2021 到 Streaming 演进的谱系与常见误解。
2026/7/12
阅读更多【向量检索引擎】ANN 算法工程接口：从 HNSW/IVF 到 Knowhere 契约
把 HNSW、IVF、DiskANN、Flat 收成引擎侧 Train/Build/Load/Search 契约与构建期/查询期参数面；用生命周期图与召回–QPS–内存三角说明索引如何贴着 Segment，并与 db-frontier/08、第 8 篇 Knowhere 分工。
2026/7/12
阅读更多【向量检索引擎】Collection · Partition · Segment · Channel：Growing 到 Sealed 的状态机
用最小故事钉住 Milvus 2.6.x 数据模型：Collection/Partition、vchannel/pchannel 与 Streaming Node 绑定，Growing/Sealed、flush 与 handoff 状态机，并纠正「一个 Collection 一张大图」等常见误解。
2026/7/12
阅读更多【向量检索引擎】Proxy 与 Coordinator：接入面、TSO 与集群大脑
以一次 collection 生命周期里的 DDL/DML/DQL 请求为线索，拆解 Milvus 2.6.x 无状态 Proxy 的路由与 MPP 归并，单活跃 Coordinator 的 TSO/timetick 全序机制与任务调度，并对照 Spanner/TiDB 的时间戳设计说明工程取舍。
2026/7/12
阅读更多【向量检索引擎】Streaming Node 与 Woodpecker WAL：实时可搜的日志层
以一条 insert 从 SDK 到「立刻能被搜到」的最小故事为线索，拆解 Milvus 2.6.x Streaming Service 三件套、Message/TSO 写顺序、Woodpecker 零本地盘 WAL 的 MemoryBuffer/QuorumBuffer 模式，并标明官方吞吐数字的引用边界。
2026/7/12
阅读更多【向量检索引擎】对象存储上的 Segment 布局：快照、索引与寻址代价
以 flush 后去对象存储里查看文件为线索，拆解 Milvus 2.6.x 的对象路径结构（insert_log/delta_log/stats_log/index_files）、V1 按字段拆分与 V2 按段整合 Parquet 的寻址代价差异，并给出官方文档中可核对的 API 调用量级引用。
2026/7/12
阅读更多【向量检索引擎】Query Node 与 Segcore：段级 search 如何执行
按 Milvus 2.6.x Data Processing 与 Architecture 拆解 Query Node 对 Sealed 的加载与段级检索，说明 Streaming Node 上 Growing 路径与 Query Delegator 如何拼成一次 search，用最小故事与常见误解钉住 Segcore 与 Knowhere 的层次边界。
2026/7/12
阅读更多【向量检索引擎】Knowhere：向量索引执行引擎与插件契约
按官方 Knowhere 文档说明其在 Milvus 中的位置、相对 Faiss 的扩展（bitset、SIMD 选择、二进制度量）、VecIndex 类层次与 IDMAP/IVF/HNSW 等类型，用插件注册、CPU/GPU 分发与 bitset 进查询三张图钉住工程契约，并与 db-frontier/08 的算法细节分工。
2026/7/12
阅读更多【向量检索引擎】分布式 search 归并：Delegator、多级 reduce 与 GuaranteeTs
按 Milvus 2.6.x Data Processing 与 Architecture 拆解 search 的多级归并树：Proxy → Streaming Node Delegator → Query Node 段级结果；用最小故事、GuaranteeTs 等待时序图与常见误解说明一致性级别如何变成排队等待。
2026/7/12
阅读更多【向量检索引擎】Data Node：compaction 与 index build
说明 Milvus 2.6.x 中 Data Node 作为离线 Worker 如何承接 Coordinator 下发的建索引与 compaction，输入输出如何进出对象存储；用最小故事、常见误解与队列积压图说明索引堆积如何拖垮查询新鲜度与资源争用。
2026/7/12
阅读更多【向量检索引擎】混合检索与标量过滤：表达式、bitset 与选择度打穿归并
按 Milvus 2.6.x Bitset、Filter Templating 文档拆解表达式如何变成 bitset 再喂给 Knowhere；用最小故事、bitset 取反细节与选择度打穿 Top-k 归并的示意图，说明为何过滤会改变延迟而不只是改变结果数量；对读 db-frontier/09 的 ACORN、Filtered-DiskANN 争论。
2026/7/12
阅读更多【向量检索引擎】一致性模型：四级 GuaranteeTs 与 PACELC 的延迟账
按官方 Consistency Level 与 Timestamp 文档拆解 Strong/Bounded/Session/Eventually 如何映射到 GuaranteeTs，用最小故事、四级时间轴与 Strong 等待时序图说明「一致性」在 Milvus 里首先是一笔延迟账；对照 Abadi PACELC 定理与 Bailis PBS，说明 Bounded 是定性旋钮而非概率保证。
2026/7/12
阅读更多【向量检索引擎】Delete · Upsert · TTL：软删生命周期与覆盖写的两条路径
按 2.6.x Delete/Upsert/TTL 文档拆解软删 bitset 从逻辑不可见到 compaction 物理回收的完整生命周期，用官方 override/merge 内部步骤的时序图区分两种 upsert，并与 FreshDiskANN 的图索引删除模型对照，说明 Milvus 用「整段重建」而非「增量合并」处理删除。
2026/7/12
阅读更多【向量检索引擎】副本、负载与故障恢复：读缓存式副本与 WAL 单所有者
按官方 In-Memory Replica 与 Streaming Service 文档拆解副本组、shard leader、Proxy 缓存 failover 与 WAL Wait for Ready；用多副本拓扑图与迁移时序图说明 Milvus 的读副本更接近只读缓存池而非共识复制，并与 Chain Replication、PacificA 对照。
2026/7/12
阅读更多【向量检索引擎】Qdrant 对照：单库路径、payload 过滤与分片副本
对照 Qdrant 与本系列 Milvus 主线：Segment 内的向量/payload/id mapper 三件套、WAL+序号版本化、后台 optimizer 四类任务，以及 Raft 只管拓扑不管点操作的分布式模型；说明何时单进程/小集群更合适。
2026/7/12
阅读更多【向量检索引擎】Lance / LanceDB 对照：格式还是服务
承接 lakehouse/21 的 Lance vs Parquet 实测口径，用官方 Table Format 规范拆开 fragment/manifest/version 与 Milvus Segment/WAL 的边界；对照两边索引异步构建的共性，并给出湖侧 snapshot 与在线引擎可见性水位的对齐方式。
2026/7/12
阅读更多【向量检索引擎】生产排障：召回、延迟、堆积、OOM
用症状到机制的决策树覆盖召回/延迟/堆积/OOM 四类故障，按可见性、段状态、过滤选择度、离线队列、对象存储与副本拓扑逐层定位；用一个跨软删广播与副本改派的最小故事说明为什么同一查询会得到不稳定结果，不含未跑的集群数字。
2026/7/12
阅读更多【向量检索引擎】选型与阅读地图：决策树、RAG 回链与开放问题
扩展选型决策树：从单机原型到十亿级多租户，逐层加入湖上格式、SQL 同进程、存算分离运维、多一致性级别四个判断轴；用一个团队规模演进的最小故事串起决策点，并回链 llm-infra RAG 与本系列全部核心论文谱系。
2026/7/12
阅读更多向量检索引擎 — 系列规划
> 本文是写作规划，不是可发布正文。拆解对象：Milvus 2.6.x 主线（存算分离、Proxy / Coordinator / Streaming·Query·Data Node、Segcore + Knowhere）；Qdrant、Lance / LanceDB 作对照。不写 embedding 模型训练，不写…
2026/7/13
阅读更多【向量检索引擎】Milvus · Segcore · Knowhere · Qdrant · Lance
补齐 ANN 算法与 RAG 应用之间的生产级向量引擎层：以 Milvus 2.6.x 为主线拆解 Segment、WAL、Segcore、Knowhere、混合过滤与一致性，并用 Qdrant、LanceDB 对照选型。
2026/7/12
阅读更多【量化交易】量化交易全景：从信号到订单的工程链路
量化交易不是策略写得好就能赚钱，更难的是把数据、特征、因子、信号、组合、执行、风控、复盘这八段链路在工程上连成一条不漏数据、不串时间、不丢订单的流水线。本文是【量化交易】系列的总目录与读图，给出八段链路的输入输出、失败模式、不变量清单，并用研究流程图把从一个想法到一笔实盘订单之间所有该过的卡点串起来。
2026/5/1
阅读更多【量化交易】因子动物园：价值、动量、质量、低波、规模
从 Fama-French 三因子到当代发表因子动物园，把价值、动量、质量、低波、规模五个方向拆开对照，给出可复用的 Python 因子构造、中性化、IC 评估与 Fama-MacBeth 流水线。文中 A 股量级与 SVG 均为形态示意，须在自有 PIT 样本上复现后才可引用。
2026/5/1
阅读更多【量化交易】回测陷阱：前视偏差、过拟合、数据窥视
回测引擎只能保证「语法对」，但真正杀死策略的是「逻辑错、数据脏、推断不严」三件事。本文系统拆解前视偏差（lookahead bias）、过拟合（overfitting）、数据窥视（data snooping）三大陷阱，介绍 Bonferroni、BH-FDR、Family-Wise Error 的多重检验修正，给出 Deflated Sharpe 与概率 Sharpe（PSR）的可运行 Python 实现，配一份 30 条上线前自检清单。
2026/5/1
阅读更多【量化交易】做市策略：Avellaneda-Stoikov 与库存管理
做市不是猜方向，而是为流动性定价。本文从买卖价差与库存成本的经济学起步，沿 Glosten-Milgrom 走到 Avellaneda-Stoikov，讲清 reservation price、optimal spread、HJB 推导、库存惩罚、对抗逆选择（VPIN、订单流毒性）、加密做市的资金费率与跨所对冲、监管红线（操纵 vs 流动性供给），最后给出可运行的 AS 仿真、双边报价器与 VPIN 触发撤单的 Python 实现。
2026/5/1
阅读更多【量化交易】量化交易系统架构：研究、回测、模拟、实盘四套环境
量化策略从 notebook 走到实盘要穿过研究、回测、模拟、实盘四套环境，各写一份代码会在上线第一周从接缝处翻车。本文给出接口驱动的统一架构：用六层抽象（数据、特征、信号、组合、订单、风控）让同一份 Strategy 代码靠依赖注入在四套环境间切换，并落地 PIT 数据、订单状态机、对账、事前风控与灰度发布。
2026/5/1
阅读更多量化交易
从因子研究到生产执行的量化交易全栈工程。覆盖市场微结构、数据管线、因子构造、组合优化、回测方法论、执行算法、做市策略、高频架构到生产运维。面向策略研究员与工程师。
2026/5/1
阅读更多【列存引擎内核】列存基础与 ClickHouse 架构
行存 vs 列存的带宽、压缩与向量化三角；ClickHouse Server 进程模型、线程池与 MergeTree 引擎家族地图；src/Storages 与 src/Processors 源码入口。对照 PG 行存与 LSM 写优化路径，版本锚定 ClickHouse 24.x LTS。
2026/6/18
阅读更多【列存引擎内核】MergeTree Part 文件格式
ClickHouse MergeTree Part 目录结构：columns.txt、checksums.txt、.bin、.mrk2、primary.idx 语义，Granule 与 Mark 的定位作用，Wide/Compact 布局与 MergeTreeDataPart 源码入口。版本锚定 24.x LTS。
2026/6/18
阅读更多【列存引擎内核】压缩与编码
ClickHouse 列压缩：LZ4、ZSTD、Delta、DoubleDelta、Gorilla 时序编码与列类型关系；CODEC 链顺序、LowCardinality 与 PG TOAST 对照。压缩比须本机实测，本文不编造倍数。
2026/6/18
阅读更多【列存引擎内核】向量化执行引擎
ClickHouse Block 列向量 batch、IProcessor Pipeline 与 filter/project/aggregate 向量实现；对照 PostgreSQL 火山模型 ExecProcNode。源码入口 src/Processors、src/Columns。24.x LTS。
2026/6/18
阅读更多