写作

RecBench 之后,我更关心“模型会不会推荐”

2026.06.15

做完大模型与传统推荐系统的比较评测之后,对“评测语言”和“评测对象”都有了新的警惕。

很多大模型论文默认把“说得像推荐”当作“会推荐”的替代物,但真正的比较评测会逼着我们把两者分开。一个模型可以解释得很漂亮,却依然在候选排序、偏好追踪和一致性上表现糟糕。

RecBench 这类工作对我最重要的意义,不是多做了一个 benchmark,而是重新训练研究判断:我们究竟在测什么?我们又为何相信这个测量是有效的?

对招聘方或合作方来说,这种判断同样重要。它决定了一个研究者会不会被表面上的“智能感”带偏。