AI+Agent行业报告（28页）

行业报告下载 2024年12月20日 07:04 管理员

受制于高质量文本数据越来越少等原因，传统的大模型Scalling Law已放缓。根据The Information，传统的大模型Scaling Law已经撞墙，OpenAI下一代旗舰 Orion遭遇瓶颈，仅仅增加模型规模已经不能保证性能的线性提升，且伴随着高昂成本和显著的边际效益递减。路透社发文表示，由于当前方法受到限制，OpenAI 和其他公司正在寻求通向更智能AI的新途径。 OpenAI发布了全新的多模态Self-play RL模型o1，通过多步推理的方式，其在语言推理方面取得了傲人的成绩，开启了推理的Scalling Law时刻。 o1开创模型scaling的新维度，模型性能不再仅仅受限于预训练阶段，现在可以通过增加推理计算资源来提升模型表现。OpenAI发现，随着强化学习的增加（训练时间计算）和思考时间的增加（测试时间计算），o1 的性能会持续提高。 o1模型实现了结构化推理，展现思维链（COT）能力，将单个任务拆解成多个简单任务，提升回答的逻辑性。它通过让模型在回答复杂问题时，逐步解释每一步的推理过程，而不是直接给出答案。因此模型在回答问题时就像是人类在解题时那样，先思考每一步的逻辑，再逐步推导出最终的结果。具体来看， o1至少已经能够实现：提出假设，验证思路，反思过程这三种主要的逻辑推理能力。  我们认为，大模型已从GPT 3.5的简单对话能力发展至o1的复杂任务规划解决能力，为AI Agent发展建立了技术根基，通过强化推理的方式迈开通过AGI的重要一步。

AI+Agent行业报告（28页）-第1张图片