Overnight Medical LLM Dataset Mining
通宵公共医学数据集目录:唯一条目 4629
今晚做了什么
面向医学 LLM / 心血管方向,对公开可发现的数据集条目做通宵目录挖掘与归类: 从首轮合并约 68 条,经 Round-2 升至 264,通宵收尾至 4546, 再经 Round-88(GitHub curated) 升至 4629 条唯一条目 (开放 4248 · 门控 381)。
工作性质是编目与访问备注:按名称 / URL / Hugging Face id 去重,写入 master 章节并刷新统计。 未下载 PhysioNet / MIMIC 等原始临床数据;门控条目仅标注申请或凭证要求。
Round-88 主要挖掘 GitHub awesome lists:Awesome-AI4Med、openmedlab/Awesome-Medical-Dataset、 geniusrise、Awesome-TCM-LLM、adnanmasood YAML 等。分类图使用「用途桶」计数; 开放总量 4248 不与用途桶相加(用途桶之间可重叠用途概念,且 §11 凭证类单独用甜甜圈展示访问结构)。
工作方法
- 连续 Round-N 加深:每轮按主题簇(多语执照考、药学、多模态、中文、心血管等)扩搜,记录净新增。
- 按名称 / URL / HF id 去重:同库镜像、别名、转载统一并入既有条目。
- 合并进 master 章节:写入用途分类与访问备注,同步刷新
stats.json与进度日志。 - 0:00–8:00 每小时自检:核对累计唯一数、开放/门控拆分、当轮净增是否合理。
- 通宵收尾 + Round-88:晨间停机后继续 GitHub curated 加深,更新公开 HTML 报告与 Hugging Face Static Space。
结构一览
访问结构 · 开放 vs 门控
| 类型 | 数量 | 占比 |
|---|---|---|
| 开放(open) | 4248 | 91.8% |
| 需申请 / 凭证(gated) | 381 | 8.2% |
4248 open · 381 gated · 合计 4629
用途分类(目的桶,不含 §11 双计)
| 类别 | 数量 |
|---|---|
| 指令微调 / SFT / 对话 | 1109 |
| 评测基准 | 955 |
| RAG / 知识库 / 指南 | 566 |
| 多模态 | 500 |
| 信息抽取 / NER / RE | 371 |
| 预训练语料 | 336 |
| 中文医学专项 | 182 |
| 摘要 / 生成 | 89 |
| 偏好对齐 / DPO / RLHF | 88 |
| 心血管专科 | 76 |
增长轨迹
Asia/Shanghai 夜班 → 早晨 → Round-88 · 里程碑为近似锚点;R80–R88 为合并基线精确值。
| 节点 | 累计唯一 |
|---|---|
| 首轮合并 | ~68 |
| Round-2 后 | 264 |
| 里程碑 | 1000 → 1500 → 2000(~2030) → 2500 → 3000 → 4000 |
| R80 前 | ~3793 |
| R81 → R88 | 3931 → 4002 → 4152 → 4247 → 4388 → 4469 → 4546 → 4629 |
后期轮次净新增(R68–R88)
| 轮次 | 净新增 | 轮次 | 净新增 |
|---|---|---|---|
| R68 | 57 | R79 | 111 |
| R69 | 81 | R80 | 89 |
| R70 | 72 | R81 | 80 |
| R71 | 81 | R82 | 71 |
| R72 | 68(+并行 EchoBench) | R83 | 124 |
| R73 | 72 | R84 | 95 |
| R74 | 69 | R85 | 143 |
| R75 | 75 | R86 | 87 |
| R76 | 78 | R87 | 77 |
| R77 | 76 | R88 | 83(列表 101) |
| R78 | 80 |
关键时间线
亮点簇(代表性,非穷尽)
多语执照 / 考试评测
药学 / 用药安全
多模态(图文 / 影像 / 生理信号)
目录条目含访问备注;未拉取 PhysioNet / MIMIC 原始临床文件。
中文医学专项
Round-88 · GitHub curated 示例
来源列表含 Awesome-AI4Med、openmedlab/Awesome-Medical-Dataset、geniusrise、Awesome-TCM-LLM、adnanmasood YAML 等。
仍空 / 偏薄的硬缺口
- 1. 丹麦语 / 克罗地亚语正式医学执照 MCQ 仍为空。多语考试簇已覆盖多国,这两语种正式执照卷尚未入库。
- 2. 真实多轮「品牌名」药师剂量咨询对话 仍为空。 代理:DrugChat / Rx-OCR / dose-IE / OpenPrescribing
- 3. 非合成护理 SBAR 仍为空。 代理:WHO nursing workforce 统计类公开数据
- 4. 开放中文住院病程录自由文本 仅有部分代理,完整开放病程语料仍薄。
- 5. EchoQA / CardioQA-13K 仍关闭 / Hugging Face 401,无法作为开放条目使用。
以上缺口在 Round-88 后仍未改变,不影响 4629 总目录可用性;后续加深可优先补多语执照 MCQ、真实药师多轮剂量对话、中文病程开放文本。