paper_type: 方法与系统 type_confidence: 中 reading_depth: 研究证据 reading_mode: research_evidence evidence_status: partial
PokerSkill: LLMs Can Play Expert-Level Poker without Training or Solvers
论文元数据
- 标题:PokerSkill: LLMs Can Play Expert-Level Poker without Training or Solvers
- 作者:Boning Li、Baoxiang Wang、Longbo Huang
- 年份:2026
- 来源:OpenAlex
- PDF 文件:da847dc26887e796f047cdd3.pdf
[!warning] 部分原文定位待核验 核心内容已保留;个别页码或逐字摘录未能通过本地匹配,不影响后续综述继续生成。
研究问题与核心答案
- 核心问题: 能否在不使用训练或求解器的情况下,让LLM在无限制德州扑克中达到接近专家的水平?
- 核心答案: PokerSkill通过将专家设计的规则技能作为LLM的动作接地接口,使其在HUNL中达到接近GTO水平的性能,损失率比默认提示减少49-61%。
论证链
- LLM具备扑克知识但在直接对局中表现不佳,存在决策绑定问题。
- 规则技能单独使用不足以达到强策略水平,但可作为结构化接口。
- PokerSkill通过上下文引擎检索相关技能并限制动作空间。
- ATT/DEF预算系统将专家知识编码为数值约束,确保多街连贯性。
- LLM在受限选项内进行判断,结合规则的确定性和LLM的上下文推理。
- 在GTOWizard基准上,PokerSkill显著降低损失并优于Slumbot。
研究条件
| 维度 | 论文报告 |
|---|---|
| 任务或领域 | 双人无限注德州扑克(HUNL) |
| 数据或样本 | 每个实验至少5000手牌,对手为GTOWizard |
| 基线或比较对象 | 默认提示的GPT-5.5、Claude Opus 4.6/4.7,以及Slumbot |
| 指标或验证 | AIV AT方差削减后的mbb/hand |
决定性证据
E1 · benchmark_result - 发现: PokerSkill将GPT-5.5的损失从-132降低到-57 mbb/hand,Claude Opus 4.6从-204到-80,Claude Opus 4.7从-170到-87,平均降低49-61%。 - 支持: 框架有效 - 不支持: 无 - 原文定位: p.11,§4.2 Main Results;“GPT-5.5 XHigh improves from −132 to −57 mbb/hand with PokerSkill (57% reduction). Claude Opus 4.6 improves from −204 to −80 mbb/hand (61% reduction). Claude Opus 4.7 improves from −170 to −87 mbb/hand (49% reduction).”
E2 · ablation - 发现: 使用PokerSkill纯规则库但无LLM的规则基线达到-132±19 mbb/hand,与默认提示的LLM相当,但远低于PokerSkill+LLM的-57。 - 支持: 规则库本身贡献,但LLM推理进一步提升 - 不支持: 规则库单独不能达到强策略 - 原文定位: p.11,§4.2 Main Results;“Notably, the rule-based agent using only the PokerSkill skill library without any LLM achieves −132±19 mbb/hand. This is comparable to default-prompt LLMs (−132 to −223), demonstrating that the skill library alone captures substantial poker knowledge. However, the large gap between the rule-based agent (−132) and PokerSkill with GPT-5.5 (−57) confirms that LLM reasoning contributes meaningfully beyond the rule engine”
E3 · benchmark_result - 发现: PokerSkill所有代理(-57、-80、-87)均优于Slumbot(-194±41),且差距远超测量不确定性。 - 支持: 达到与已有强机器人相当的水平 - 不支持: Slumbot比较是间接的 - 原文定位: p.11,§4.2 Main Results;“All three PokerSkill agents achieve lower loss rates than Slumbot ( −194±41 ). We note that the Slumbot comparison is indirect. Nonetheless, the magnitude of the gap (−57vs.−194) substantially exceeds measurement uncertainty.”
E4 · observational_analysis - 发现: 在默认提示下,模型能力与表现不单调:GPT-5.5优于GPT-5.3,但GPT-5.4和Claude Opus 4.7表现更差。 - 支持: 决策绑定问题可能随推理深度加剧 - 不支持: 无 - 原文定位: p.11,§4.3 Analysis;“Under default prompting, performance does not scale monotonically with model capability: GPT-5.5 XHigh (−132) outperforms GPT-5.3 (−160), but GPT-5.4 (−178), Claude Opus 4.7 (−170), and older Claude models (−204 to −223) perform worse.”
E5 · system_demonstration - 发现: LLM在提示中结合技能库进行决策,示例显示GPT响应选择符合预算的c-bet和河牌诈唬。 - 支持: 框架可实际执行 - 不支持: 单一示例不代表整体性能 - 原文定位: p.37,§I Complete Hand Prompt Traces;“{"action":"b","amount":5,"reasoning":"Attack budget allows the listed 25% pot c-bet. With an open-ended straight draw as OOP 3-bet aggressor, small semi-bluff c-betting applies pressure while building equity realization."}”
证据边界
- Slumbot比较为间接,且使用不同方差削减方法(AIV AT vs 原始结果),可能导致置信区间不可比。;影响:PokerSkill优于Slumbot的结论可能存在偏差。。(论文报告,p.11,§4.2 Main Results)
- 可能对GTOWizard基准过拟合,未在多个不同对手或真实人类对手上验证泛化性。;影响:结果可能不适用于其他对手或真实场景。。(论文报告,p.30,§F Evaluation Methodology and AIV AT Variance Reduction)
- 实验于2026年4-5月进行,使用当时API版本;模型更新可能导致结果变化。;影响:未来模型版本可能不保持相同性能。。(论文报告,p.10,§4.1 Setup)
- 未隔离规则引擎和LLM判断的贡献,仅通过规则基线对比,缺乏更精确的消融。;影响:相对贡献不清楚。。(论文报告,p.12,§5 Discussion and Conclusion)
复现与实现
- 访问GTOWizard基准API
- GPT-5.5 XHigh或Claude Opus 4.6/4.7 API访问
- 运行框架代码(开源仓库github.com/lbn187/PokerSkill)
- AIV AT方差削减评估方法
- 至少5000手牌进行统计显著
- 设定温度1.0(扩展思考API要求)