多元概率预测评估中的可靠性区域

​

Regions of Reliability in the Evaluation of Multivariate Probabilistic
Forecasts

解决问题：本论文旨在研究多元概率时间序列预测的评估方法，并提供一种新的方法来解决评估中的问题。作者试图确定一个评分规则的可靠范围，以便在实际应用中对预测误差进行可靠的识别。这是一个新问题。

关键思路：本论文提供了一种系统的有限样本研究方法，以确定评分规则的可靠范围。通过电力生产问题的应用，作者证明了评估多元概率预测的常见方法存在关键缺陷。相较于当前领域的研究，本论文的思路在于提供了一种新的评估方法，可以更准确地识别预测误差。

其他亮点：本论文使用了一个全面的合成基准测试，并针对真实世界的任务进行了推广。作者还进行了功率分析，以确定评分规则的可靠范围。本论文的实验设计和数据集使用值得关注。目前还没有开源代码。需要进一步研究如何解决评估多元概率预测的问题。

关于作者：本论文的主要作者是Étienne Marcotte、Valentina Zantedeschi、Alexandre Drouin和Nicolas Chapados。他们分别来自加拿大的多个机构。Étienne Marcotte曾参与多篇关于时间序列预测的研究，Valentina Zantedeschi曾参与多篇关于深度学习和神经网络的研究，Alexandre Drouin曾参与多篇关于金融风险管理的研究，Nicolas Chapados曾参与多篇关于机器学习和数据科学的研究。

相关研究：近期其他相关的研究包括“Probabilistic Forecasting with Temporal Dependence for Big Data: An Application to Traffic Flow Forecasting”（作者：Jianqiang Huang、Jianping Wu、Jianfeng Lu、Xiaohong Chen，机构：南京大学）、“Probabilistic Forecasting of Photovoltaic Power Generation Based on a Hybrid Model of Deep Learning and Gaussian Process Regression”（作者：Yunfei Mu、Shuwen Niu、Zhuo Zheng，机构：兰州交通大学）等。

论文摘要：本文探讨了多元概率时间序列预测的评估方法，通常使用适当的评分规则来进行评估，即期望下最小化地真实分布。然而，这种特性在非渐进区域中并不足以保证良好的区分度。本文通过功率分析，提供了第一个系统的有限样本适当评分规则的研究，确定了评分规则的“可靠性区域”，即可以依靠它来识别预测误差的实际条件集。我们在一个全面的合成基准上进行了分析，特别设计了一些关键的地真分布和预测分布之间的差异，并通过一个电力生产问题的应用来评估我们的发现的普适性。我们的结果揭示了文献中常用的多元概率预测评估方法存在的关键缺陷。

​Read More