CASIA等 投稿量子位 | 公众号 QbitAI 万字长文，对多模态LLM中对齐算法进行全面系统性回顾！ 从现有对齐算法涵盖的应用场景，到构建对齐数据集的核心因素，再到用于评估对齐算法的基准，还有对齐算法未来潜在发展方向，全都梳理了一遍。 大语言模型（LLMs）能够通过简单的提示完成多种任务，且无需进行任务特定的训练。然而，这些模型主要处理文本数据，对于多模态数据的处理存在局限。 由于世界本质上 ...

幻觉 许多基准提出了创新的框架，例如基于投票的查询 （POPE）、LLM驱动的评分 （HaELM、RefoMB）、开放词汇检测 （OpenCHAIR）、无注释评估 （GAVIE）、无LLM管道 （AMBER）和GPT-4辅助的推理 ... 如超出分布 （OOD）泛化 （VLLM-safety-bench）或过度敏感性 （MOSSBench）。

像MultiTrust和RTVLM这样的基准通过多个维度统一了可信度评估（如真实性、公平性），而另一些基准则专注于特定挑战，如超出分布（OOD）泛化（VLLM ...