深度神经网络的多维不确定性量化

​

Multidimensional Uncertainty Quantification for Deep Neural Networks

解决问题：本论文旨在解决深度神经网络中由不同根本原因引起的多维度不确定性问题，以更有效地解决各种决策问题。这是一个新的问题，缺乏对这些不确定性的考虑可能导致不必要的风险。

关键思路：本论文提出了一种通用的学习框架，用于量化由不同根本原因引起的多种不确定性，如真空（即由于缺乏证据而引起的不确定性）和不协调（即由于相互矛盾的证据而引起的不确定性），并提供了理论分析。本文的思路在于使用这些不确定性来更有效地解决各种决策问题。同时，本文针对深度神经网络中Out-of-Distribution（OOD）对象对半监督学习（SSL）的重大影响，提出了一种新的框架来提高现有SSL算法对OOD的鲁棒性。此外，本文还提出了一种用于多标签时间神经网络的不确定性融合算子，以量化子序列的融合不确定性，用于早期事件检测。

其他亮点：本文的实验使用了多个数据集，并提供了开源代码。值得深入研究的工作包括如何进一步提高深度神经网络的鲁棒性和决策可信度。

关于作者：主要作者是Xujiang Zhao，所在机构是美国加州大学圣巴巴拉分校。他之前的代表作包括“Bayesian Deep Learning”和“Deep Learning: Bridging Theory and Practice”。

相关研究：近期其他相关的研究包括：“Uncertainty Quantification in Deep Learning with Applications in Safety-Critical Systems”（作者：Yarin Gal，所在机构：牛津大学）和“Efficient Uncertainty Estimation for Deep Learning-based Image Recognition”（作者：Alex Kendall，所在机构：剑桥大学）。

论文摘要：本文探讨了如何测量深度神经网络（DNNs）中由不同根本原因引起的不同不确定性，并利用它们更有效地解决各种决策问题。作者指出，DNNs在应用于实际问题时，由于内在的不确定性，可能会出现寻找强健和可靠解决方案的严重障碍。如果不考虑这些不确定性，可能会导致不必要的风险，例如，自动驾驶汽车可能会误检路上的行人，基于深度学习的医疗助手可能会误诊癌症为良性肿瘤。在本文的第一部分中，作者开发了一个通用的学习框架，用于量化由不同根本原因引起的多种类型的不确定性，例如虚无（即由于缺乏证据而产生的不确定性）和不协调（即由于存在冲突证据而产生的不确定性），用于图神经网络。作者进一步证明，不协调对于误分类检测最为有效，而虚无对于超出分布（OOD）检测最为有效。在本文的第二部分中，作者研究了OOD对象对DNNs半监督学习（SSL）的重大影响，并开发了一个新的框架，以提高现有SSL算法对OOD的鲁棒性。在本文的最后一部分中，作者创建了一个通用的学习框架，用于量化多标签时间神经网络的多种不确定性类型。作者进一步开发了新的不确定性融合运算符，以量化子序列的融合不确定性，用于早期事件检测。

​Read More