近期，科技界迎来了一项新的突破，谷歌DeepMind团队推出了一款名为QuestBench的基准测试工具，专为评估大型语言模型（LLMs）在推理任务中的信息获取能力而设计。这款工具采用约束满足问题（CSPs）的框架，旨在探索LLMs在面对信息不完整情境时的应对策略。
在实际应用中，推理任务涉及数学、逻辑、规划和编程等多个领域，但往往受到信息不确定性的挑战。例如，用户在提出数学难题时可能会遗漏关键信息，而自动驾驶系统等自主设备则需在信息不全的环境中运行。这种理想与现实之间的鸿沟，促使LLMs不断提升主动获取缺失信息的能力。
为了衡量LLMs在这一方面的表现，DeepMind的研究人员开发了QuestBench基准测试。该测试专注于评估LLMs在推理过程中识别信息缺口，并提出恰当澄清问题的能力。通过将问题转化为约束满足问题（CSPs），特别是关注“1-sufficient CSPs”——即仅需一个未知变量即可解决目标变量的问题，QuestBench能够精准地评估模型的这一能力。
QuestBench覆盖了逻辑推理、规划以及小学数学三大领域，并根据变量数量、约束条件、搜索深度以及暴力搜索所需猜测次数等四个难度维度进行分类。这种细致的分类方式有助于揭示模型的推理策略和性能瓶颈，为改进提供了明确的方向。
在为期数月的测试中，QuestBench对多个前沿模型进行了评估，包括GPT-4o、Claude 3.5 Sonnet以及Gemini 2.0 Flash Thinking Experimental等。测试场景涵盖了零样本、思维链提示和四样本提示等多种设置，测试内容则包括288个小学数学问题（GSM-Q）和151个扩展版小学数学问题（GSME-Q）。
测试结果显示，思维链提示在多数情况下能够显著提升模型的性能。在规划任务中，Gemini 2.0 Flash Thinking Experimental模型展现出了卓越的能力。而在逻辑推理方面，开源模型表现出了较强的竞争力。然而，在面对复杂数学问题时，这些模型的性能普遍较弱。
值得注意的是，尽管当前模型在解决简单代数问题时表现出色，但随着问题复杂性的增加，其性能显著下滑。这表明，在信息缺口识别和澄清能力方面，LLMs仍有较大的提升空间。
QuestBench还揭示了不同模型在处理不同难度问题时的差异。例如，在变量数量较多或约束条件复杂的情况下，某些模型可能更容易陷入困境，而另一些模型则能够灵活应对。
这一基准测试的推出，不仅为LLMs的性能评估提供了新的视角和方法，也为未来的研究和开发指明了方向。随着技术的不断进步和应用场景的不断拓展，LLMs在信息获取和推理能力方面的提升将变得更加重要。
