把未来信息锁死之后，智能体做股票研究只拿 68.1 分

一句话结论

这篇论文要解决的不是"模型懂不懂金融知识"，而是"在只能看到决策时点证据的前提下，智能体能不能走完证据—假设—判断这条链，并做出站得住脚的预测与投资判断"。它给出的答案是：能走，但走不到底——总分第一的模型在预测与建模子项上明显掉队。

方法要点

ILE（Investor’s Last Exam）是一套由买方投资人与基金经理主导设计的股票研究基准。它的核心设计与常见金融问答基准不同：评测单位不是孤立能力，而是一条可追溯的分析链路。

三个组件决定了它怎么出题、怎么判分：

1. 版本化财务数据库。覆盖 343 万份文档版本、九类来源类别，叠加结构化行情数据。关键约束是时间戳经过校验，检索与计算都以决策时点为界，防止模型用未来信息做题。
2. 围绕分析师交付物组织的任务分类。题目不是问答题，而是按职业分析师的产出形态切分。
3. 专家主导的评分框架。通过财务依赖图，把评分标准挂到具体来源、计算过程和假设上，让"为什么扣分"可回溯到某一条证据或某一步计算。

评测共 86 项作业，同时评三件事：研究质量、预测精度、模拟投资表现。

把流程写成伪代码，大致是这样：

def evaluate(assignment, as_of, agent):
    # 1. 检索：只放行时间戳早于决策时点的文档
    evidence = db.query(assignment.sources, ts_lte=as_of)
    # 2. 智能体产出研究结论、模型假设与预测值
    report = agent.research(evidence, assignment.deliverable)
    # 3. 对照依赖图逐项判分：来源引用、计算过程、假设合理性
    score_research = rubric.score_sources(report, assignment.dep_graph)
    score_model    = rubric.score_forecast(report, assignment.ground_truth)
    # 4. 按预测构造模拟组合，与后续真实结果比对
    score_invest   = simulate(report.positions, assignment.future_returns)
    return combine(score_research, score_model, score_invest)

这套设计的意义在于定位失败点：分数掉在哪一段——是证据找错了、假设立不住，还是假设都对但预测偏了——可以分开看。

关键数字

原文摘要披露的结果集中在两个头部模型上，均以百分制计：

最值得注意的一行是第三行：总分 68.1 的模型，在预测与建模上只有 52.5。同一梯队的 Claude Opus 5.5 总分 66.9，两者综合分只差 1.2 分，但论文没有披露它在预测子项上的具体分数。作者据此给出的结论是：当前顶尖模型无法把整体研究能力转化为预测表现。

局限与前提

• 覆盖范围限定在股票研究。基准名称与任务分类都指向权益投资，固收、宏观、衍生品策略不在其内，结论不能外推到全部投资场景。
• 需要专家评分与依赖图标注。评分标准要挂到来源、计算与假设上，这类标注依赖有经验的分析师，规模化扩张的成本不在论文讨论范围内。
• 样本量偏小。86 项作业对应三维指标，单维度上的样本更薄，模型间 1.2 分的差距是否稳定，摘要没有给出方差或置信区间。
• 分项结果披露不全。摘要只给了 Astra 的预测子项分数，研究质量、模拟投资表现两个维度的具体数值未在摘要中出现，想据此判断"研究强、预测弱"的具体缺口有多大，需要读全文。
• 时间戳约束的边界。作者用校验过的时间戳约束检索与计算，保证模型只看决策时点证据；但模型参数中已经内化的历史信息如何扣除，摘要没有说明做法，这是所有冻结信息集类基准共同的前提假设。

能不能用

论文于 2026 年 10 月 28 日提交，arXiv 页面（2610.38342）提供 PDF、HTML 实验版与 TeX 源码，页面上的代码与权重相关入口为通用第三方检索工具，未见作者直接放出的仓库或模型权重。也就是说，当前能复用的是方法，不是开箱即用的基准包。

想本地复现，需要自备三样东西：一份带版本与校验时间戳的财务文档库、对应的结构化行情数据、以及能给出依赖图级评分标准的分析师范畴标注。前两项是数据工程，第三项是人力成本，通常比跑模型本身更贵。

先拿到全文：

# 拉取论文 PDF 与 HTML 全文，便于核对分项表格
wget https://arxiv.org/pdf/2610.38342
curl -L https://ar5iv.labs.arxiv.org/html/2610.38342 -o ile.html

如果只是想做同类评测而不重建数据，更现实的做法是沿用它的评分结构——把"研究质量 / 预测精度 / 模拟投资表现"三分，并在自己的数据上强制时间戳截断。这套拆法本身不依赖它的数据库。

参考来源

• Investor’s Last Exam: Can AI Agents Do Equity Investment Without Seeing the Future?（arXiv 摘要页）
• 论文 HTML 全文（ar5iv）