人类反馈强化学习(RLHF)可以有效地将大型语言模型(LLM)与人类偏好对齐，但收集高质量的人类偏好标签是一个关键瓶颈。论文进行了一场RLHF与来自人工智能反馈的RL的比较(RLAIF) -一种由现成的LLM代替人类标记偏好的技术，...