后悔在数学里有精确的定义:本可以得到的期望回报,减去实际得到的。本片用代码模拟 1000 人 × 10000 次选择 × 3 种策略(试一次就不换 / 永远随机 / UCB1),画出每一个人的累积后悔曲线。
主要出处:
Lai, T. L. & Robbins, H. (1985). Asymptotically efficient adaptive allocation rules. Advances in Applied Mathematics 6(1): 4–22.(后悔的对数下界)
Auer, P., Cesa-Bianchi, N. & Fischer, P. (2002). Finite-time analysis of the multiarmed bandit problem. Machine Learning 47: 235–256.(UCB1)
Gilovich, T. & Medvec, V. H. (1995). The experience of regret: What, when, and why. Psychological Review 102(2): 379–395.(短期后悔做了的,长期后悔没做的;53% / 84% 出自其 1994 年研究)
Roese, N. J. & Summerville, A. (2005). What we regret most… and why. Personality and Social Psychology Bulletin 31(9): 1273–1285.
模拟设置:5 根伯努利摇臂,回报率 0.5 / 0.2 / 0.8 / 0.35 / 0.65;后悔按伪后悔(pseudo-regret)计;种子从 100 个里挑最接近平均的一个(seed 37)。数学和心理学之间只是类比,不是同一件事。人生道路的画面为示意。