返回文档库
德州扑克策略的现实启示/papers/2a7934967fa910d3b643b4baea4bca973b7f8fd090bea11bcaa00cbeda350b92.md

paper_type: 理论与立场 type_confidence: 高 reading_depth: 研究证据 reading_mode: research_evidence evidence_status: partial

Combining Deep Reinforcement Learning and Search for Imperfect-Information Games

论文元数据

研究问题与核心答案

论证链

  1. 不完美信息博弈中，动作的价值可能依赖于被选择的概率，因此以世界状态或观察历史为状态的定义不唯一，导致现有完美信息RL+Search算法（如AlphaZero）失效。
  2. 为此，将博弈转换为以公共信念状态（PBS）为状态的连续状态完美信息博弈，该状态包含所有智能体对其信息状态的联合概率分布。
  3. 在两人零和博弈中，每个PBS具有唯一值，且可通过超梯度（即信息状态值）进行凸优化搜索。
  4. ReBeL在训练中深度受限子博弈内运行CFR等搜索算法，利用自对弈强化学习训练值网络和策略网络，并将每次搜索的根值作为训练数据。
  5. 测试时，通过随机选择搜索迭代并传递该迭代的策略信念，证明了可达到安全搜索效果，无需额外约束。
  6. 实验表明，在多个基准不完美信息博弈中ReBeL收敛到近似纳什均衡，并在HUNL扑克中击败顶尖人类选手。

研究条件

维度 论文报告
任务或领域 两人零和不完美信息博弈，包括heads-up no-limit Texas hold'em (HUNL)、Liar's Dice和Turn Endgame Hold'em (TEH)
数据或样本 自对弈生成数据：TEH随机化栈大小、下注大小和公共牌；HUNL随机化栈大小和公共牌；训练中使用均匀探索概率0.25；HUNL与Dong Kim对弈7500手
基线或比较对象 Full-game CFR、Full-game FP、Random Beliefs Value Net（随机信念值网络）、Perfect Value Net（完美值网络）、Self-Play Value Net（自对弈值网络）、Self-Play Value/Policy Net（自对弈值与策略网络）；HUNL对照BabyTartanian8、Slumbot、LBR、DeepStack、Libratus、Modicum
指标或验证 利用性（Exploitability），以big blind或初始底池比例衡量；HUNL对局结果以千分之一bb/游戏表示；使用AIVAT降低方差

决定性证据

E1 · method_description - 发现： 在TEH中，自对弈值网络结合search在250次迭代后达到约0.01的利用性，相当于全游戏tabular CFR约125次迭代的水平。 - 支持： ReBeL自对弈训练能有效学习值函数，并显著优于随机信念训练。 - 不支持： 随机信念值网络训练无效，说明从随机PBS采样学习值函数不可行。 - 原文定位： p.9，§8 Experimental Results；“Figure 2 shows ReBeL reaches a level of exploitability in TEH equivalent to running about 125 iterations of full-game tabular CFR. ... Our self-play algorithm is key to this success; Figure 2 shows a value network trained on random PBSs fails to learn anything valuable.”

E2 · method_description - 发现： ReBeL在HUNL中击败BabyTartanian8（±）和Slumbot（±），并以165±69千分之一bb/手击败人类专家Dong Kim。 - 支持： ReBeL在大型不完美信息博弈中达到超人性能，且使用较少领域知识。 - 不支持： ReBeL在HUNL中的表现与Libratus等先前的专业AI相比是否更优尚不明确，因为指标不兼容。 - 原文定位： p.9，§8 Experimental Results；“Table 1 shows results for ReBeL in HUNL. We compare ReBeL to BabyTartanian8 [9] and Slumbot, prior champions of the Computer Poker Competition, and to the local best response (LBR) [39] algorithm. ... Kim played 7,500 hands. ... ReBeL played faster than 2 seconds per hand and never needed more than 5 seconds for a decision.”

E3 · method_description - 发现： 在四个Liar's Dice变体中，ReBeL CFR-D在1024次搜索迭代后的利用性介于0.015到0.024，接近全游戏tabular CFR的0.001~0.002。 - 支持： ReBeL能在更大规模游戏中逼近纳什均衡，且优于全游戏FP。 - 不支持： ReBeL的利用性仍远高于tabular CFR，说明近似解仍有提升空间。 - 原文定位： p.9，§8 Experimental Results；“Table 2 shows ReBeL also converges to an approximate Nash in several versions of Liar's Dice. ... tabular CFR does better than ReBeL when using the same number of CFR iterations, but tabular CFR quickly becomes intractable to run as the game grows in size.”

E4 · method_description - 发现： ReBeL使用了远少于先前任何扑克AI的领域知识：不使用信息抽象（lossy或lossless）、不使用预计算全押期望值、总是搜索到当前下注轮结束、使用单一值网络。 - 支持： ReBeL的通用性和简单性，表明RL+Search在无需大量专家知识下即可成功。 - 不支持： ReBeL仍依赖固定的bet大小抽象和随机化训练，这属于领域知识的使用。 - 原文定位： p.16，§D Domain Knowledge Leveraged in our Poker AI Agent；“Our agent does not use any information abstraction, whether lossy or lossless. ... Our agent does not use this shortcut. ... Our agent always solves to the end of the current betting round, regardless of which round it is on.”

E5 · method_description - 发现： 测试时，随机选择CFR迭代并传递该迭代的信念可保证安全搜索（Theorem 3），避免了unsafe search的利用性问题。 - 支持： ReBeL的测试时搜索无需额外约束即可近似纳什均衡，简化了实现。 - 不支持： 该安全搜索方法在随机选择较早期迭代时可能策略较差，但可通过Linear CFR等高级算法缓解。 - 原文定位： p.8，§6 Playing According to an Equilibrium at Test Time；“Theorem 3. If Algorithm 1 is run at test time with no off-policy exploration, a value network with error at mostδ for any leaf PBS that was trained to convergence as described in Theorem 2, and with T iterations of CFR being used to solve subgames, then the algorithm plays a (δC1 + δC2/√T)-Nash equilibrium, whereC1,C2 are game-specific constants.”

E6 · method_description - 发现： CFR-AVG的修改版本（非理论保证）在TEH中性能优于CFR-D，并且使用CFR-AVG的HUNL模型在对手BabyTartanian8上赢9±4，而CFR-D模型则输10±3。 - 支持： CFR-AVG在实践中更有效，尽管其修改版的理论开问题。 - 不支持： 该修改版CFR-AVG的理论健全性未知，可能影响普遍保证。 - 原文定位： p.24，§I CFR-A VG: CFR Decomposition using Average Strategy；“However, that is not the case in a depth-limited subgame, and it remains an open question whether this modified form of CFR-A VG is theoretically sound in depth-limited subgames. ... We also trained a model on HUNL with training parameters that were identical to the one reported in Section 8, but using CFR-D rather than CFR-A VG. That model lost to BabyTartanian8 by10± 3 whereas the CFR-A VG model won by9± 4.”

证据边界

复现与实现