49图库检索精度跃升:号码检索覆盖千万级记录

检索是使用者与数据之间的第一道接触面。49图库 收录的记录已经超过 1284 万条,靠逐条扫描显然不现实,本次检索能力升级把索引结构换成了覆盖号码与日期的双维度倒排索引,并补上了模糊输入与期号容错两处细节。升级后平均检索耗时 34 毫秒,输入期号少一位、号码记错一位,也仍然有较大概率命中目标记录。
倒排索引是怎么建的
倒排索引的思路是把「记录包含哪些值」反过来记成「某个值出现在哪些记录里」,这样检索时不必扫描全部记录,直接取出值与记录的对应关系即可。49图库 的索引在两个维度上各建一份。
- 号码维度:把每一期出现的每一个号码作为键,记录该号码出现在哪些期号,数值与期号一一对应;
- 日期维度:把开奖日期作为键,记录当天对应的期号,用于按日期区间检索;
- 期号维度:期号本身单独建一份精确索引,保证按完整期号检索时一次命中;
- 写入时同步更新三份索引,任一索引写入失败则整期回滚,不出现部分可检索的情况;
- 索引更新与数据同步流程绑定,只有完成同步的记录才会进入索引;
- 索引分片存储,按年份切开,按日期区间检索时只扫描命中的分片。
三份索引各管一段场景,代价是写入时需要多做两次更新。这个代价是可以接受的,因为开奖记录的写入频率极低,而检索请求远多于写入,把成本放在写入侧更划算。按年份分片则解决了另一个问题:查询某一年的记录时,不必触碰其他年份的索引,扫描量随区间收窄而下降。
「索引重建那几天,我们把新旧索引的检索结果逐条对照,确认三份索引的命中集合完全一致之后才切换。检索这种东西一旦漏一条,使用者很难发现,所以我们宁可多花两天做核对。」
— 数据工程岗 白栩1284 万条记录下的检索表现
检索能力的提升需要用可核对的数据说明。以下测试在 12,846,300 条记录的全量数据上执行,每种查询类型各取一万次请求,统计平均耗时与命中情况。
| 查询类型 | 平均耗时 | 命中率 | 返回结果数 |
|---|---|---|---|
| 完整期号检索 | 12 毫秒 | 100% | 1 条 |
| 号码精确检索 | 28 毫秒 | 100% | 平均 1,842 条 |
| 号码组合检索 | 37 毫秒 | 100% | 平均 96 条 |
| 日期区间检索 | 41 毫秒 | 100% | 按区间而定 |
| 模糊输入检索 | 56 毫秒 | 94.7% | 候选 1 至 5 条 |
| 全部类型平均 | 34 毫秒 | — | — |
逐行看这张表:完整期号检索平均 12 毫秒,是六类查询里最快的一档,因为期号索引精确且只返回一条结果;号码精确检索平均 28 毫秒,返回结果平均 1842 条,也就是说一个号码在三万多期的样本里平均出现过一千八百多次,单次返回量与耗时之间基本成正比;号码组合检索平均 37 毫秒,返回结果骤降到平均 96 条,条件叠加后候选集迅速收缩;日期区间检索平均 41 毫秒,耗时随区间跨度变化;模糊输入检索平均 56 毫秒,是唯一没有做到 100% 命中率的一档,94.7% 的命中率意味着约二十分之一的模糊输入会返回「未找到匹配」,通常是因为输入的信息量不足以定位于任何一条记录;六类查询平均下来是 34 毫秒。
把命中率单独拿出来看也成立:四类精确查询的命中率都是 100%,说明索引没有丢记录;模糊查询 94.7% 的命中率不是索引问题,而是输入本身过于模糊时无法唯一确定目标,此时页面会给出候选列表供选择,而不是直接判定为不存在。
模糊输入与容错
日常使用中出错的地方往往不在系统,而在输入。因此本次升级专门补了容错逻辑,让输错一位仍有机会找到正确记录。

- 期号容错:输入的期号比实际少一位或多一位时,先在相邻区间内查找,找到唯一候选则直接返回;
- 号码容错:号码输错一位时,按候选规则给出最多五条结果,并标注差异位置;
- 候选排序:多个候选按与输入内容的接近程度排序,最接近的排在最前;
- 不做自动替换:所有容错结果都需要你确认后才会打开详情,不自行替换输入内容。
最后一条是刻意保留的边界。检索工具如果自作主张替使用者纠正输入,一旦纠正错了,使用者拿到的就是一条看似正确、实则错误的记录,这种风险比多一次点击大得多。因此容错只负责把候选摆出来,是否采纳由使用者判断。候选列表最多五条,超过五条时说明输入信息量不足,页面会提示补充期号或年份。
检索能力在四个终端上表现一致,网页端、安卓端、iOS 端与桌面客户端调用同一套索引服务。移动端在离线状态下检索的是本地缓存,缓存进度会标注在检索框下方,避免在缓存未覆盖的区间里产生「查不到就是没有」的误解。



用户评论(5 条)
期号少输一位还能找到这个太实用了,我经常记不清最后一位,以前只能一期期翻,现在直接给候选。
不做自动替换这一点我支持。以前用过会自己改输入的工具,结果查出来的是错的,还以为自己记错了。
号码检索返回一千八百多条这个量级合理吗?我搜一个号码出来一大堆,翻起来有点累,希望能加个按年份筛。
34 毫秒的平均耗时感受很明显,输入期号几乎不用等,比之前快了一大截,翻页也顺。
移动端离线检索会标缓存进度这点做得好,之前在外面查历史记录,查不到还以为是数据没有,其实只是没缓存到。