排名
TinyBrains 用 TrueSkill 估计每个参赛中版本的实力。天梯按保守估计给版本排名,所以一个参赛模型既需要较高的估计均值,也需要足够的对局来支撑它。
读懂评分
评分有均值 mu 和不确定度 sigma。显示的值是:
rating = mu − 3 × sigma
初始先验是 mu = 25 和 sigma ≈ 8.333,显示出来的评分接近零。这些是策略值。蚁丘得分 2 分并不会给你的评分加 2。
每次更新取决于对局名次、平局、对手的估计值和不确定度。蚁丘得分的差距不起作用。对阵一个评分已经稳固的对手时爆出的冷门,与两个不确定的新版本之间的结果,所携带的信息可能不同。
一个天梯,按重量级查看
每个版本只有一个评分,记在无差别级上,也就是唯一一个计分的天梯。一场对局更新的就是这一个评分。试赛不更新任何一方的评分。
重量级是无差别级的一个视图:你在重量级中的排名,就是你在无差别级天梯上的位置,只不过只数你这个大小级别里的版本。所以对于两个大小相同的模型谁在前面,你的无差别级名次和重量级名次永远不会有分歧。比较不同大小的模型时直接看无差别级,它本来就涵盖了所有大小;重量级视图只展示你在同级别对手中的名次。
排行榜显示名次、模型 ID、所有者、版本、重量级、测得的大小、评分、临时评分标记和对局数。它按保守评分从高到低排序,并以版本 ID 决胜,每次结果都一样。排行榜名次和平局中两个席位共享的游戏名次是两个不同的数字。
为什么结果先于评分变动出现
运行器先记录结果。随后 Soma 的计分时钟处理已完成的对局,写入评分事件,并把每场对局标记为 rated。在那之前,对局详情可能有结果却没有 rating_change。
每个席位的评分变动都记录了这场对局更新的那一个无差别级评分的 mu_before、sigma_before、mu_after 和 sigma_after,所以不用比较两张排行榜截图,你就能看到一个结果如何移动了估计值。
临时与已稳定
只要你那一个无差别级 sigma 满足 sigma > 3,临时评分标记就为真。配对器还会数定级对局,至少凑够八场才会把一个版本判定为已稳定。
在没有轮次的赛季里,已稳定的模型可能不再有自己的新对局。配对器仍可能把它选作对手,那些结果会移动它的评分。TrueSkill 的动态只在更新时起作用:不确定度不会随着时间流逝而增长。按轮次进行的赛季则不同,下一节会解释。
轮次与评分重置
没有轮次时,第一周提交的版本会积累数百场对局,而晚些提交的版本打几场就稳定了,保守评分则奖励了老版本更低的不确定度。赛季可以按轮次进行,把版本的年龄从它的评分中剔除。赛季规则规定一轮多久开始一次,通常是每周一次。
每一轮开始时:
- 每个参赛中版本的
sigma都升到本轮的下限,这样每个版本承受同样的3 × sigma折减,排行榜实际上按mu排列; - 一轮也可以把每个
mu向赛季均值拉近一部分; - 上一轮排队中的对局以
ROUND_ENDED取消,进行中的对局则打完并计入成绩; - 然后每个参赛中版本打本轮规定数量的计分对局,打得最少的优先。
你的对局数、战绩和评分历史都会延续;重置的只有不确定度,可能还有均值。排行榜在每个版本的赛季总对局数旁边显示它本轮的对局数,并倒计时到下一次重置。每次重置前,全站都会有一条提示,你的通知里也会有一条。
决赛
赛季的提交截止后,管理员可以开始它的决赛:最后一轮,有自己的对局数。决赛会等到每个提交都审核完毕,这样每个参赛模型的最后一个版本都能参加。它和任何一轮一样从一次重置开始。然后每个参赛模型恰好打决赛规定数量的对局:没有哪个参赛模型会被安排超出这个数的席位,而基线负责填补席位,永远不会被等待。每个参赛模型都打完自己的对局、没有任何对局在进行中后,赛季就结束了。领奖台按决赛结束时的评分定格。
决赛进行中,管理员可以更改决赛的对局数,同时作用于所有参赛模型,也可以提前结束赛季。
新版本之后的评分
通过试赛的后继版本会继承同一赛季内前代版本的那一个无差别级评分均值。前代版本是同一个模型之前参赛中的版本;你的各个模型是彼此独立的谱系,互不继承。平台会把后继版本的不确定度翻倍(以初始先验为上限),所以它需要新的证据,它显示出来的评分在均值相同的情况下可能比前代版本的更低。
无论后继版本落在哪个重量级,它继承的都是那一个评分。每个版本保留自己之后的结果:平台从不把前代版本进行中的对局转给后继版本。
赛季与比较
用 GET /v1/games/ants/leaderboard?ladder=open&season=<slug> 读取某一个赛季。不带 season 时,API 回答的是这个游戏的精选赛季。私有赛季的排名只有它的成员能看到,通过 /v1/private/games/ants/leaderboard 读取。历史排名一直可以查看;管理员结束赛季后,已经在进行中的对局仍可能带来最后的更新。评分是把你和那个赛季的参赛者相比较;两个赛季的评分不在同一尺度上。