Scientist爆火面前的技术详解以及优缺陷剖析 AI

当蠢才享一篇最近比拟抢手的日本守业公司Sakana AI的一篇文章，题目为《The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery》。文章提出了一种名为“AI Scientist”的框架，旨在成功端到端齐全智能化的迷信发现，成功从Idea构建，试验跑取，文章撰写的齐全智能化。验证了AI智能化探求新疑问，处置新疑问，甚至撰写Paper的可行性。同时还提出了一个能与人类评委水准凑近的Review Agent，能够给出高水准的评审意见。

总体来说，其还是一个多agent系统，应用了reflection机制迭代优化成果，同时也联合Semantic Scholar等工具验证翻新性，应用Aider工具来降级代码和Paper，来口头相关试验。同时也要看到其只是搭了一个基础的Baseline通道，如何优化Idea生成的深度以及多样性，如何让LLM能成功更复杂，更有应战性的Idea，如何降落Review Agent的False Positive Rate（FPR）都值得进一步探求。

本文将对其面前的技术，优缺陷启动详细的剖析～

一、概述

1. Motivation

文章引见了“AI迷信家”框架，该框架包含三个重要阶段：

1.想法生成：AI迷信家首先“头脑风暴”出一系列陈腐的钻研方向，而后在此基础上启动翻新性迭代优化，最后挑选翻新性较高的idea。

2.试验迭代：依据想法和模板，AI迷信家首先口头提出的试验plan，而后依据试验结果，迭代优化试验，最后降级plot代码，可视化其结果以供后续撰写，代码经过AIder工具来降级。

3.论文撰写：AI迷信家经常使用LaTeX撰写完整的迷信论文，形容其停顿。

•输入：总体就两个输入，Baseline Code，以及论文Latex模板，加上init paper的一些消息。

• Baseline code：a starting code template that reproduces a lightweight baseline training run from a popular model or benchmark. For example, this could be code thattrains a small transformeron the works of Shakespeare (Karpathy, 2022), a classic proof-of-concept training run from natural language processing that completes within a few minutes

• Latex模版：LaTeX folder that containsstyle files and section headers, along with simple plotting code.

•输入：完整的Paper

1 Idea generate环节

•输入：code template

•输入：some ideas

•代码：​ ​​ ​

• generate_ideas：idea生成

• generate_next_idea：在seed的基础上继续生成新的idea

• search_for_papers：调用api search paper

• check_idea_novelty：审核并优化翻新性

1.1 Idea Generation Prompt

•好处：对diversity做了优化和限度，引入了COT机制。

•缺陷：idea全靠LLM外部消息想进去，思索的常识有限，降级也不迭时，不太能及时follow最新常识，不过外部常识能做到什么粒度其实还不太确定，另外外部常识其实是不足新常识的，这对迷信钻研十分致命。

1.2 Idea Novelty Prompt

•缺陷：还是翻新所有源于LLM外部常识。

2 Experiments环节

•输入：idea + template

•输入：experiment result + experiment figures

•成功模式：经过Aider降级代码，而后口头命令行跑取模型结果。

• Aider平台，可以经过命令降级代码：•

2.1 Experiment Running Aider Prompt

•特点：先也会有一个plan，而后区分成功experiments

•缺陷：没详细讲如何成功Experiment的，Aider看着是个平台，或者可以间接用，然而改代码很容易出错，稳固性存疑。

2.2 Plotting Aider Prompt

•特点：生成plot，还有description，后续用于减少到论文中。

3 Paper Writing流程

•输入：Latex模版 + Experiments recorded notes + plots，Latex模板图如下，也是用Aider工具来修正•

•输入：paper

3.1 Paper Writing Aider Prompt

•特点：提供每个section的倡导+latex的template+plan

•缺陷：Aider是个啥，觉得writing比拟有用的样子。

4 Reviewer Agent流程

•输入：PDF manuscript

•输入：Paper Review Result

•好处：参考了neurips ReviewerGuidelines，同时引入reflection，few-shot来优化成果。

4.1 Paper Review Prompt

•特点：引入neurips guideline和few_shot_example。

4.2 Paper Review Reflection Prompt

•特点：经过多轮迭代 + COT思索

4.3 Paper Review Ensembling Prompt

•特点：还有个汇总的，好处self-consistant的觉得

5 反思和迭代次数

3. Coclusion

文章搭建了一个AI Scientist，经过三个子义务验证了其可行性：分散模型、Transformer和Groking。并且每种想法的成功和开发老本不到15美元。标明了该框架在Research钻研和清楚减速迷信提高方面的后劲。

•搭建了一个完整的科研链路Agent：idea -> Experiments -> Paper，还真work了。

•附带送了一个凑近人类水平的Paper Review Agent，成果也还不错。

4. Limitation

•生成的Idea经常十分相似，甚至不同模型，不同run都会有很相似的idea。

• Aider成功ideas有艰巨，GPT-4o写Latext常不能编译，有些idea成功challenging比拟大。

• plot的图像也或者有疑问，而且还不止是vision，或者看不出成果。

• Latext的cite和reference或者有疑问。

• LLM数学才干不太好，对metric不敏感。

•幻觉。

二、详细内容

1 LLM Paper Review水平在ICLR2022数据集上曾经凑近人类水平

•特点：精度和人类比拟凑近（balanced 0.65 vs 0.66），False Negative Rate（FNR）更低，False Positive Rate（FPR）偏高，说明也有打分偏高的状况。

2 Reflexion和one-shot能优化Reviewing成果

•论断：从0.66优化到0.70，看着还不错。Ensemble后精度没有优化，然而variance有降落。

3 Diffusion Modeling优化成果

•**论断1:Sonnet3.5看着比GPT-4o好很多啊，而且还更廉价，成功Paper率居然凑近80%**，还是很凶猛。

•论断2:DeepSeek Coder是性价比之王。

•其余：DIffusion Modeling觉得都是比拟老的模型了，应用LLM生成的idea或者都是训练过的了，或者并不能代表真正的翻新。

4 Language Modeling优化成果

•论断: 这次成功率只要40%了，这个差异好大，跟猜想的一样，coding或者十分不稳固，另外DeepSeek Coder确实凶猛。

5 Grokking优化成果

•论断：不同paper，不同LLM基座的Noval Ideas居然都超越90%，然而Experiments的成功率差异十分大。​

本文转载自​​，作者：