自OpenAI o1发布后引发了大型推理模型（LRM）研究热潮，这不，阿里又开源了Marco-o1。Marco-o1更加重视开放式问题的解决，目标是解决这个问题：“o1模型能否有效地推广到缺乏明确标准且奖励难以量化的更广泛领域？”Marco-o1由链式思考（CoT）微调、蒙特卡洛树搜索（MCTS）、反射机制和创新的推理策略驱动——针对复杂的现实世界问题任务进行了优化。经典的草莓（strawberry）问题，轻松拿下
在MGSM上Marco-o1准确性得到了提升
将蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）与大型语言模型（LLMs）集成，以增强Marco-o1模型的推理能力：
MCTS框架中的节点和动作：
在MCTS框架中，每个节点代表问题解决过程中的一个推理状态。
从节点可能的动作是由LLM生成的输出，这些输出代表推理链中的潜在步骤或微步骤。
展开和奖励计算：
信心分数的计算：
整体奖励分数：
解决方案空间的扩展：
实验结果表明，Marco-o1模型在不同语言和配置下提高了推理能力。
由于使用信心分数作为奖励，树搜索结果表现出显著的随机性，目前还无法确定哪种行动策略更优越。
随着奖励信号变得更加准确，MCTS提供的更大解决方案空间将展示出更大的潜力。
数学推理case分析
MCTS扩展了正确答案的解决方案空间。在MGSM数据集上，Marco-o1-CoT（左）与Marco-o1-MCTS（步）（右）的比较。尽管Marco-o1-CoT未能提供正确答案，但将MCTS与步级动作集成允许模型探索更广泛的解决方案空间，增加了找到正确解决方案的可能性。
更细的粒度与微步增强了问题解决能力。在MGSM数据集上，Marco-o1-MCTS（步）（左）与Marco-o1-MCTS（32个标记的微步）（右）的比较。步级动作策略没有得出正确答案，但通过使用更细粒度的32个标记的微步，模型成功地导航了解决方案空间以找到正确答案，展示了增加动作粒度的有效性。
俚语表达“它如此美丽以至于令人着迷，上部有明显的韩式风格，柔软蓬松的材质厚度恰到好处，并且有底层的衬托，创造出独特且适合日常穿着的装扮”的翻译比较。俚语表达“它如此美丽！而且它如此便宜，超级直且不卷曲。买它，买它！”的翻译比较。
使用Marco-o1翻译任务演示俚语表达“这双鞋鞋底舒适，强烈推荐购买”。https://arxiv.org/pdf/2411.14405Marco-o1: Towards Open Reasoning Models for Open-Ended Solutionshttps://huggingface.co/AIDC-AI/Marco-o1
推荐阅读
• 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO
• 2024：ToB、Agent、多模态
• RAG全景图：从RAG启蒙到高级RAG之36技，再到终章Agentic RAG！
• Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）
粤ICP备14082021号
免费POC，
零成本试错
