MIT｜通过压缩和文档化代码学习可解释库LILO

​

LILO: Learning Interpretable Libraries by Compressing and Documenting Code

G Grand, L Wong, M Bowers, T X. Olausson, M Liu, J B. Tenenbaum, J Andreas
[MIT]

LILO：通过压缩和文档化代码学习可解释库

• 大型语言模型(LLM)在代码生成方面表现出色，但软件开发的关键在于重构代码：将代码整合成可重用且可读的程序库。
• 作者提出LILO，一个神经符号系统，通过迭代地综合、压缩和记录代码来构建适应特定问题域的代码库。
• LILO结合了LLM引导的程序合成和最近算法计算机重构的进展STITCH，可以有效识别大规模代码库中的最优λ抽象。
• 为了提高这些抽象的可解释性，LILO引入了自动文档记录(AutoDoc)，根据上下文用例推断出自然语言名称和标注。
• 实验表明，AutoDoc不仅提高了可读性，还帮助LLM合成器更有效地使用库。
• 在三个感知程序合成基准测试上，LILO解决了更多任务，学习到比现有方法更丰富的库，这些方法难以发现。
• LILO展示了编程语言社区的思想和工具如何与LLM的最近突破相结合，代表着感知程序合成领域工作的新发展。

动机：传统的代码生成工具仅能解决具体任务，而软件开发人员还需要构建可应用于整个问题域的库。本文旨在通过整合语言模型和自动重构算法，提出一种学习可重用函数抽象库的方法。

方法：提出一种名为LILO的神经符号框架，通过迭代地合成、压缩和文档化代码，构建针对特定问题域的库。LILO结合了LLM引导的程序合成和STITCH的自动重构算法，后者能高效地识别大型代码语料库中的最佳λ-抽象。

优势：使用LLM加速程序搜索和提高学习库的可解释性。与现有方法相比，LILO解决了更复杂的任务，学习到了基于语言知识的更丰富的库。

通过整合语言模型和自动重构算法，提出LILO框架，用于学习可重用函数抽象库，提高代码搜索效率和库的可解释性。

https://arxiv.org/abs/2310.19791 

​Read More