7B小模型超越DeepSeek-R1:模仿人类教师,弱模型也能教出强推理LLMTransformer作者团队
MLNLP社区是国内外知名的人工智能社区,专注于推动自然语言处理与机器学习的学术交流和技术进步。Sakana AI提出的新方法通过教师模型输出清晰解释来训练学生模型,显著提高了效率。
MLNLP社区是国内外知名的人工智能社区,专注于推动自然语言处理与机器学习的学术交流和技术进步。Sakana AI提出的新方法通过教师模型输出清晰解释来训练学生模型,显著提高了效率。
由Transformer作者之一创立的SakanaAI公司近期推出Text-to-LoRA(T2L),简化了模型适配流程,一句话就能生成LoRA。该方法通过动态调制大模型实现高效参数压缩,同时在零样本场景下表现突出。
研究团队利用大模型ASAL(人工生命自动搜索)探索ALife领域,该方法能有效生成包括康威生命游戏在内的多种ALife模拟。通过有监督目标搜索、开放式搜索和照明式搜索三种方法,ASAL在多个经典ALife环境中成功发现新生命形式,并且展示了开放性进化的特点。