树形Parzen估计器：理解其算法组成部分及其在实证性能方面的作用

​

Tree-structured Parzen estimator: Understanding its algorithm components
and their roles for better empirical performance

解决问题：本篇论文旨在讨论Tree-structured Parzen estimator (TPE)这一贝叶斯优化方法中每个控制参数的作用和算法的直觉，以提高超参数优化的性能。该问题尚未被讨论过。

关键思路：论文通过实验分析每个控制参数的作用和对超参数优化的影响，提出了一种改进TPE性能的推荐设置。相较于当前领域的研究，这篇论文的新意在于对TPE算法的细节进行了深入研究，并提出了一种可行的优化方案。

其他亮点：本论文使用了多个基准数据集，并将推荐设置与基准方法进行了比较，证明了其性能的提高。此外，作者还提供了TPE实现的开源代码。

关于作者：主要作者Shuhei Watanabe的代表作尚未在我的数据库中收录。

相关研究：与本篇论文相关的其他研究包括：《Practical Bayesian Optimization of Machine Learning Algorithms》（Jasper Snoek等，Harvard大学）、《Sequential Model-Based Optimization for General Algorithm Configuration》（Frank Hutter等，Freiburg大学）等。

论文摘要：本文介绍了树状 Parzen 估计器（TPE）的算法组成及其在实际应用中的作用，旨在提高其实证表现。当前许多领域的进展需要更加复杂的实验设计，而这些复杂的实验通常有许多参数需要调整。TPE 是一种贝叶斯优化方法，在最近的参数调整框架中得到了广泛应用。尽管 TPE 很受欢迎，但每个控制参数的作用和算法直觉尚未得到讨论。本文通过各种基准测试，确定了每个控制参数的作用及其对超参数优化的影响。我们将从消融研究中得出的推荐设置与基准方法进行比较，并证明我们的推荐设置提高了 TPE 的性能。我们的 TPE 实现可在 https://github.com/nabenabe0928/tpe/tree/single-opt 上找到。

​Read More