you definitely don’t want constitutional training and RLVR to live on different data manifolds, but ...
Thomas Wolf(@Thom_Wolf)81 字 (约 1 分钟)
65
模型训练中宪法训练与RLVR应避免数据流形差异，但模型能自动区分表示空间，可能影响对齐效果。
入选理由：宪法训练与RLVR应避免不同数据流形，否则可能破坏对齐
精选推文#AI训练#机器学习#RLHF#模型对齐英文