CodeScientist 是一个端到端半自动化的科学发现系统，该系统能够设计、迭代和分析可以表示为（Python）代码的科学实验。CodeScientist 通过使用基因突变（使用LLM-as-a-mutator 范式）来突变科学文章和代码示例的组合，从而创建新的探索想法，包括如何提示LLM、制作图表或使用特定基准的代码示例。然后可以使用实验构建器实现实验想法，该构建器自动创建、运行和调试容器中的实验代码。完成后，CodeScientist 将结果写入报告。通常，CodeScientist 会对给定想法进行几次（例如，5 次）独立的实验创建尝试，并可以创建一个描述 5 次实验尝试中每个实验尝试的总体结果的元分析。
参考文献：
[1] https://github.com/allenai/codescientist
（文：NLP工程化）