1.《Should AI Optimize Your Code? A Comparative Study of Current Large Language Models Versus Classical Optimizing Compilers》 论文内容 该论文进行了一个对比研究,将大语言模型和经典优化编译器性能作对比。 比较对象:GPT-4.0、CodeLlama-70B、传统优化编译器 论文的发现:LLM具有胜过现有优化器的潜力,但往往在长代码任务中生成错误的代码。 CodeLlama-70B在两者中最优,2.1倍。 CETUS是最好的优化编译器,1.9倍。
论文贡献 对比LLM和传统优化编译器性能,使用实际应用案例 介绍了自动化验证AOT生成代码的正确性和性能的机制 我们提出了一个并行计算挑战基准测试套件(PCB)v1.0,包括20个用于评估AOTs能 力的用例。 论文思路 LLM和传统编译器的优劣势: 传统编译器有很多挑战和机遇包括静态分析等
大语言模型: 在捕捉语言学意义和理解语义属性的关键方面具有局限。 擅长代码生成、问题修复和代码完善,但无法保证正确性
提出疑问: AI驱动的模型你能否彻底改变我们处理代码优化的方式? 论文调研了llm表现优劣得不同情境,最后,我们开发了一个评估自动优化工具的环境作对比。
GPT-4.0和CodeLlama-70B比较评估 结果和CETUS, PLUTO, ROSE对比。使用两种prompting策略。
coT策略(Chain of Thought) Instructing (IP) - “Given the program below, improve its performance using OpenMP”. IP:给定以下程序,使用OpenMP提升它的性能 • CoT - “Given the C program below, think of a way how to optimize its performance using OpenMP” CoT:给定以下程序,思考一种方式如何使用OpenMP优化它的性能