挑战#
现在，让我们退后一步，思考语言模型研究所面临的挑战。
信任与安全#
**幻觉（Hallucination）**是将大语言模型应用于关键任务的最大障碍之一，因为 LLM 经常编造内容。 近期的模型在这方面有所改善，但幻觉问题尚未被完全理解或解决。
由于语言模型是在从互联网收集的海量数据上训练的，语言模型尤其是多模态模型往往表现出偏见（bias），这可能涉及政治、种族、经济、性别、文化、宗教等各方面的偏见。 目前有许多研究和工程努力致力于减少这些偏见，使语言模型更加公平（fair），但这仍然是一个开放性问题，正如人类社会本身也面临同样的问题一样。
LLM 存在许多潜在的恶意使用场景，例如垃圾信息机器人和自动化虚假信息传播，以及更严重的用途如情感操控和深度伪造（deepfake）。 随着我们之前讨论的 agentic AI（智能体 AI）的进步，基于 LLM 的 AI agent 变得更加自主，AI 风险的增加以及由于工作自动化对经济的影响也是当前面临的开放性挑战。 先进 LLM 的提供商正在仔细监控其使用情况，以检测和防止这些恶意使用，并对未来模型进行潜在风险增加的测试。 此外还有国家和国际层面的努力来应对这些风险，例如美国 AI 安全研究所和 AI 安全峰会。
性能与效率#
LLM 在需要多步推理和规划的问题上表现较弱，而近期的推理模型在这方面展现出了很大的前景。
随着语言模型变得越来越大，管理其复杂度和成本以及能源消耗也是主要挑战。 其他主要挑战包括语言模型有限的上下文长度和知识截止日期，这通常需要使用 RAG，但 RAG 本身也有其局限性。 与偏见和公平性相关的是，支持多种语言也很有挑战性。Tokenizer 在处理非拉丁字母语言时通常效率较低，而且模型在英语上执行相同任务的表现往往优于其他语言。 最后，实现实时多模态交互也面临独特的挑战，我们需要在模型的吞吐量、延迟以及生成的音频和图像的质量之间找到合适的权衡。
虽然这些是艰巨的挑战，但该领域正在通过持续的研究和创新，朝着更安全、更高效、更公平的语言模型稳步前进。