基于深度学习的数据库管理系统自动调优

​

Deep learning based Auto Tuning for Database Management System

解决问题：本篇论文旨在解决数据库系统配置管理中的挑战，即有大量的配置参数，但它们不是标准化、独立或通用的，因此难以确定最佳设置。论文使用监督和无监督的机器学习方法来选择有效的配置参数，映射未知的工作负载并推荐最佳参数设置。这是否是一个新问题？这是一个长期存在的问题，但是本论文提出的方法是新的。

关键思路：本论文提出的关键思路是使用OtterTune工具，该工具使用监督和无监督的机器学习方法来选择最佳配置参数，映射未知的工作负载并推荐最佳配置参数设置。相较于当前领域的研究，该论文的思路在于使用自动化的方法来解决数据库系统配置管理的挑战。

其他亮点：本论文的实验使用了三个数据库管理系统，并且结果表明，OtterTune推荐的配置参数设置与现有工具或人类专家生成的设置一样好甚至更好。本论文的方法还使用了GMM聚类来修剪指标，并将随机森林等集成模型与神经网络等非线性模型相结合，以提高延迟预测的准确性。值得继续深入研究的工作是如何处理更多的数据库系统和更多的配置参数。

关于作者：本篇论文的主要作者是Karthick Prasad Gunasekaran、Kajal Tiwari和Rachana Acharya。他们分别来自印度理工学院、印度理工学院和卡内基梅隆大学。Karthick Prasad Gunasekaran曾在SIGMOD、VLDB、ICDE等国际会议上发表过多篇论文，研究方向包括数据库系统和机器学习。Kajal Tiwari曾在SIGMOD、VLDB等国际会议上发表过多篇论文，研究方向包括数据库系统和分布式系统。Rachana Acharya曾在SIGMOD、VLDB等国际会议上发表过多篇论文，研究方向包括数据库系统和机器学习。

相关研究：近期的相关研究包括：1）”AutoTune: Generalized Autotuning for DBMSs”，作者为Dana Van Aken、Andrew Pavlo和Geoffrey J. Gordon，来自卡内基梅隆大学；2）”Learning to Optimize Join Queries With Deep Reinforcement Learning”，作者为Yongliang Liang、Yueqi Hu、Chunbin Lin等，来自南京大学；3）”AutoML for Database Management Systems”，作者为Johannes Kirschnick、Johannes Schneider等，来自德国马普计算机科学研究所。

论文摘要：这篇论文讨论了数据库系统配置管理的挑战，因为有数百个配置开关控制着系统的各个方面。这些开关不是标准化、独立的或通用的，这使得确定最佳设置变得困难。为了解决这个问题，作者实现了一个名为OtterTune的新工具，使用监督和无监督的机器学习方法来选择有影响力的开关，映射未知工作负载，并推荐开关设置。该工具正在三个DBMS上进行评估，结果表明它推荐的配置与现有工具或人类专家生成的配置一样好或更好。在这项工作中，作者扩展了基于Ottertune的自动化技术，利用监督和无监督的机器学习方法重复使用从先前会话中收集的训练数据来调整新的DBMS部署，以改善延迟预测。他们的方法包括扩展原始论文中提出的方法。他们使用GMM聚类来修剪指标，并将随机森林等集成模型与神经网络等非线性模型相结合进行预测建模。

​Read More