预测市场量化研究入门:怎么读一份可信的战绩
在预测市场里,人人都能说自己"经常猜对"。真正值得问的问题是:对什么猜对?下注时有多大把握?一共下了多少次?这篇文章给你两把尺子——校准度(calibration)和 Brier 分数——再加上大多数人会跳过的一项诚实性检查:样本量。学会这三样,你就再也不会被一张"今天六中六"的截图唬住。
为什么"命中率"会骗你
任何一个卖信号的账号,第一个甩给你的数字都是命中率:"准确率 80%"、"今天六中六"。它看起来很有信息量,其实几乎没用,原因只有一个:只挑简单的题目,命中率就能轻松刷高。
假设我只预测那些本来就有 95% 概率发生的事,那我大概率会"对" 95% 的时间,看起来像个天才——可我没告诉你任何你原本不了解的东西,也没在判断上承担任何真实风险。反过来,一个敢碰 60/40 这种真正不确定题目的人,命中率也许更低,却有用得多,因为他在信息最稀缺的地方补上了判断。
命中率把两件不同的事混在了一起:题目有多难,和答案有多好。要把它们拆开,你需要一把给概率打分的尺子,而不是只看是非对错。
Brier 分数,一分钟讲清
1950 年,气象学家 Glenn Brier 提出了一种给概率预测打分的方法。思路很简单:对每一次预测,取你赋给"实际发生结果"的那个概率,量一量它离真相差多远,再平方。
- 你说 90%,事情发生了:误差是 (1 − 0.90) = 0.10,平方 = 0.01,惩罚很小。
- 你说 90%,事情没发生:误差是 (0 − 0.90) = −0.90,平方 = 0.81,惩罚很大。
把所有预测的平方误差取平均,就是 Brier 分数。范围从 0(完美)到 1(自信地全错)。一个有用的参照:对二元事件永远猜 50%,Brier 分数是 0.25。所以任何明显低于 0.25 的成绩,都好过"耸耸肩瞎猜";而落在百分之几这个量级的分数,意味着预测既自信、又大多正确。
作为参考,我们自己公开记录上的 Brier 分数是 0.058。为什么你对这个数字仍然应该留一分怀疑,下面会讲。
校准度:你的自信配得上现实吗?
Brier 分数可以拆解,其中最直观的一块叫校准度。它问的是一个特别具体的问题:
在你所有说"70% 会发生"的事情里,真正发生的比例,是不是差不多就是 70%?
一个校准良好的预测者,嘴上的把握和现实是对得上的:说 90% 的,大约九成成真;说 60% 的,大约六成成真。这是命中率永远给不了你的信息。一个人可以命中率很漂亮,校准却很糟(他嘴上说 99%,其实心里只有 80%,尾部风险迟早咬他一口)。校准度奖励的是清楚自己有哪些不确定,它是那把"谦虚尺"。Tetlock 在《超预测》(2015)里把这点讲得很透:最好的预测者未必是房间里最聪明的人,而是那些自信程度紧贴现实、很少对一件其实只有七成把握的事拍胸脯说九成的人。
没人愿意说出口的数字:样本量
这里是大多数战绩崩塌的地方,也是诚实的战绩把自己区分出来的地方。在很少的样本上算出来的命中率或 Brier 分数,大部分是噪声。
我们公开的准确率是 59 次已结算判断里 94.9%(n=59)。我们每一次都把"n=59、小样本"说出口,是刻意的。59 是个小样本。数字这么小,只要有一两次运气不好的结算,百分比就会明显晃动。诚实的解读不是"这证明了我们有优势",而是"这与有优势是相符的,你应该随着分母变大继续观察"。
读任何一份战绩,几条经验法则:
- 永远先问分母。 "今天六中六"离开了赛季总数就毫无意义。真实的记录会把失手也摆出来。
- 小样本和纯运气是相容的。 10 次里 90% 命中,很可能只是硬币刚好落对了面。同样的比例出现在 500 次上,才是另一回事。
- 样本越小,置信区间越宽。 在 59 次左右这个量级,真实准确率完全可能落在标称值上下好几个点。谁把小样本的数字当成精密结果来吹,不是天真就是在卖东西。
- 看趋势,别看快照。 随着更多判断结算,校准度是稳住了,还是往"抛硬币"漂?
诚实运营者的标志,是他主动把样本量和它的局限说出来;骗子的标志,是一个大大的百分比,既没有分母,也不给你看亏损。
怀疑者清单:七个问题,套在任何付费信号上
上面是统计的一半;另一半是尽职调查。下面这份清单请套在每一个想收你订阅费的服务上——也请套在我们身上。
- **判断是在结果出来之前打的时间戳吗?** 事后截图一文不值,任何人都能在答案揭晓后说"我早说过"。要一份公开、带时间戳、事后改不了的记录。
- 你看得到分母、包括亏损吗? 只给你看赢单的,那不是战绩,是集锦。直接问:"把输的也算上,你的记录是多少?"对方的反应,基本就告诉你答案了。
- 他们主动说样本量和它的局限吗? 一个肯告诉你"我样本还小"的人,做了大多数人不肯做的诚实事。
- 有校准指标,而不只是命中率吗? 只挑 95% 的稳单,命中率能刷得很好看却毫无价值。要 Brier 分数或校准图,而不只是"打击率"。
- 对标的基准是你能独立核验的吗? "我们跑赢市场"如果对标的是只有他自己看得到的数字,就等于没说。我们对标的是公开链上账户 @car(582 天 +$1.29M,约 93%/年,链上可查)——任何人都能自己上链核对,而不是听我们一面之词。
- 他们承诺收益,还是诚实描述? 没有人能在概率性活动上承诺回报。任何保证盈利、把未来百分比当确定性来报的,要么不懂波动,要么在误导。测试期免费送会员是一份礼物,不是收益承诺——波动是真实的,任何单次判断都可能亏。
- 他们泄露还是过度包装"独家配方"? 认真的运营者不会把选题过程原样交给你——那正是你付费买的东西;但保护一套方法,和给一套根本不存在的方法披上玄乎外衣,是两回事。该透明的地方(结果,可核验)透明,该保留的地方(方法)保留。
把清单用在我们自己身上
这份清单是故意刻薄的,因为你的钱值得一层刻薄的过滤。把这七个问题挨个套在任何要你订阅的服务上——也套在 Polymarket Select 上。我们的公开仪表盘之所以公开,就是为了让你在信任任何一次判断之前,先带着敌意去审它。想看更完整的统计拆解(英文),可以读 Calibration and Brier Scores 和 A Skeptic's Checklist for Paid Trading Signals。
一句话收尾:像审天气预报一样审预测者,别像信算命先生一样信他们。命中率告诉你题目有多简单;校准度告诉你自信是否诚实;Brier 分数把两者揉进一个数字;而样本量,决定了上面这一切你该信几分。掌握这四点,你就有了不被截图带走的免疫力。想从头了解这个领域,可以先看主站的公开记录与说明。
零风险先上手试试。 我们正处在早期测试期,给早期测试者免费送会员——不用绑卡,随时可退。进 Discord 找创始人私信(或开个工单)来领:https://discord.gg/C6hX9w94Ej。也可以先去公开仪表盘审一遍——我们更希望你核验,而不是盲信。
独立研究服务,与 Polymarket 无关联;所示为过往已结算判断的示例,非收益承诺,亦非投资建议。
Independent research service. Not affiliated with Polymarket. Illustrative of past results, not a promise. Not investment advice.