GPT-4能够进行神经架构搜索吗？

​

Can GPT-4 Perform Neural Architecture Search?

解决问题：本篇论文旨在探究GPT-4是否能够执行神经架构搜索（NAS）这一任务，以及利用其生成能力作为黑盒优化器快速浏览架构搜索空间、锁定有前途的候选方案，并迭代地优化这些方案以提高性能。这是否是一个新问题，尚不确定。

关键思路：本文提出了一种名为GINAS的方法，利用GPT-4作为黑盒优化器，通过简单的提示方案快速浏览架构搜索空间，锁定有前途的候选方案，并迭代地优化这些方案以提高性能。相比当前领域的研究状况，本文的思路是具有新意的，因为它利用了GPT-4的生成能力进行优化。

其他亮点：本文的实验使用了多个基准测试，并将其与现有的最先进的NAS技术进行比较，以证明其有效性。此外，本文还指出了研究的重要限制，并注意到对AI安全的影响。然而，本文并没有开源代码。

关于作者：本篇论文的主要作者是Mingkai Zheng、Xiu Su、Shan You、Fei Wang、Chen Qian、Chang Xu和Samuel Albanie。他们分别来自不同的机构，其中Mingkai Zheng和Xiu Su来自香港中文大学，Shan You来自香港科技大学，Fei Wang和Chen Qian来自华中科技大学，Chang Xu来自悉尼大学，Samuel Albanie来自牛津大学。他们之前的代表作尚不确定，需要进一步查询数据库。

相关研究：近期的相关研究包括“Efficient Neural Architecture Search with Network Morphism”（Haifeng Jin等，IEEE Transactions on Neural Networks and Learning Systems，2021）和“Neural Architecture Search: A Survey”（Xuanyi Dong等，IEEE Transactions on Neural Networks and Learning Systems，2020）。

论文摘要：我们研究了GPT-4在神经架构搜索（NAS）中设计有效的神经架构的潜力。我们提出了一种名为GINAS的方法，利用GPT-4的生成能力作为黑盒优化器，快速浏览架构搜索空间，找到有前途的候选方案，并迭代地改进这些方案以提高性能。我们在几个基准测试中评估了GINAS，并将其与现有的最先进的NAS技术进行比较，以说明其有效性。我们的目标不是针对最先进的性能，而是通过一个简单的提示方案突出GPT-4在挑战性技术问题上协助研究的潜力，而这个方案需要相对较少的领域专业知识。更广泛地说，我们认为我们的初步结果指向了未来利用通用语言模型进行各种优化任务的研究。我们还强调了我们研究的重要限制，并指出了对人工智能安全的影响。

​Read More