一句话结论
IdeaTaste 把“科研品味”拆成可测的引用选择与想法具体化：用 2025 年文献快照让模型写提案，再对照 2026 年同一社区真实发表的论文，指出现有模型能覆盖社区方向，却难以形成社区实际采用的具体方案，引用匹配约为人类水平的 26%，想法匹配仅为 18%（IdeaTaste 论文）。
方法要点
这篇论文的核心不是让模型“写一篇论文”，而是测它在信息受限时能否做出接近人类社区的研究判断。评测流程有三个关键设计。
第一，冻结文献快照。模型只能看到截至 2025 年的文献，随后要写出研究提案；评分对象是同一社区在 2026 年实际发表的工作。这样就把“未来信息泄漏”挡在评测之外，模型不能靠已经看到 2026 年论文来倒推答案。
第二，从两个轴评分。一个是引用匹配：模型提案中引用的文献，与人类社区后续工作所依赖、所选择的文献有多接近。另一个是想法匹配：提案是否落到 2026 年论文所追求的具体方法、研究计划与问题切入方式上。论文的实验覆盖六个当代语言模型、四个研究领域，既有成熟领域也有新兴领域，总计超过 90,000 份提案。这个规模让评测不只看单个样例，而能观察模型群体的覆盖能力。
第三，加入盲审专家评审。专家在不知道来源的情况下比较 AI 提案与 2026 年论文，评价维度包括呈现与预期成功等。结果显示，AI 提案在“呈现”上差距最小，在“预期成功”上差距最大；那些没有任何人类论文共享其想法的提案表现最差。这说明问题不只是表达不够好，而是具体研究方向与可执行方案偏弱。
伪代码可以概括为：
snapshot = freeze_literature(year=2025)
for area in four_areas:
for model in six_models:
proposal = model.write_proposal(snapshot[area])
citation_score = match_citations(proposal, papers_2026[area])
idea_score = match_ideas(proposal, papers_2026[area])
# 论文报告：citation_score 约为人类水平的 26%
# 论文报告：idea_score 仅为人类水平的 18%
作者进一步指出，模型群体可以像社区一样引用得足够多样，也能覆盖社区关心的任务与方法，但很少走到社区真正采用的具体路径和研究计划。换句话说，瓶颈不在“找方向”，而在“把方向变成可执行方案”。
关键数字
| 数据集 / 设置 | 指标 | 对比基线 | 原文结果 | 提升幅度 |
|---|---|---|---|---|
| 四个研究领域、六个当代模型、超过 90,000 份提案 | 引用匹配 | 人类社区 | 约为人类水平的 26% | 原文未报告绝对提升，仅报告相对水平 |
| 同上 | 想法匹配 | 人类社区 | 约为人类水平的 18% | 原文未报告绝对提升，仅报告相对水平 |
需要说明：原文没有给出“相对基线提升了多少个百分点”这类绝对提升，只报告了相对人类水平。因此表中不自行换算，避免把 26% 与 18% 误读成提升幅度。真正值得注意的是两个数字的落差：引用选择还能达到约四分之一的人类水平，但想法匹配只剩不到五分之一，说明“读什么”比“提出什么具体方案”更容易被模型接近。
局限与前提
适用场景很明确：它评的是研究提案与未来论文的匹配，不是实验执行能力，也不是完整科研流程。四个研究领域和 2025 到 2026 的出版周期是评测边界；换领域、换时间窗口，结论是否稳定，论文没有在总结中给出更多保证。
失败案例也有指向。论文指出，没有任何人类论文共享其想法的提案表现最差，这更像是方向本身偏弱，而不是“人类漏掉的机会”。盲审结果同样显示，AI 提案在呈现上落后最少，在预期成功上落后最多。作者承认的不足集中在具体方法层：模型能覆盖社区任务与方法，却很少形成社区继续采用的具体路径和研究计划。更丰富的领域上下文、更大的模型群体，也没有实质性缩小这个差距。
因此，这套基准适合用来诊断“提案是否接近社区真实选择”，不适合单独当作科研质量总评。它依赖未来论文作为对照，也依赖专家盲审；这两项都会带来成本与主观性。
能不能用
论文声明发布的是开放、持续更新的榜单，但信息源中没有看到代码与权重的公开链接。也就是说，可以直接关注榜单与评测口径，但不能据此认定代码和权重已经开放。若要在本地复现，至少需要准备 2025 年文献快照、2026 年目标论文、六个当代模型、四个研究领域的提案生成流程，以及超过 90,000 份提案的批量评测与盲审安排。算力条件原文未给，不应自行补数。
对开发者更现实的用法，是把这套流程当作“研究提案评测模板”：先冻结知识截止时间，再让模型写方案，最后用后续真实工作做匹配与盲审。若要接入内部模型选型，建议先小规模跑通引用匹配与想法匹配两套评分，再决定是否扩大到完整榜单规模。