Constitutional AI: Harmlessness from AI Feedback 用“原则列表 + 自我批评 + AI 反馈”重构对齐流程,尝试减少对大规模人工偏好标注的依赖。 2022 · arXiv Constitutional AI 安全对齐 RLAIF 对齐