Claude 3.5Sonnet

专注AIGC领域的专业社区分享了OpenAI开源的SWE-Lancer测试基准，用于评估大模型处理真实开发任务的能力。该测试集包含1488个真实的开发任务，总价值达100万美元。SWE-Lancer采用端到端测试方法和用户工具来模拟真实场景，揭示了大模型在复杂软件工程任务中的局限性。