评测方法与标准
XiangqiBench 旨在消除大模型评测中的幻觉偏差与先手优势,提供可复现的中国象棋博弈能力基准。
1. 双向换先开局配对 (Swap Opening Pairs)
采用 100 组经典平衡开局分支。每对模型必须在同一开局下互换红黑各下一局,完全抵消先手胜率偏差与特定开局记忆偏好。
2. 零容忍规则裁决沙箱 (Exact Rules Engine)
基于纯函数规则引擎实时仲裁。包含严格的九宫约束、蹩马腿/塞象眼、照面对将、长将长捉自动判负,单步产生非法走法即判负。
3. Bradley-Terry 极大似然 Elo 拟合
采用全球通用的 Bradley-Terry 最大似然概率模型对循环赛与对局池进行联合拟合,并附带 Bootstrap 95% 置信区间。