3秒钟前发生了什么？用热成像推断过去。

​

What Happened 3 Seconds Ago? Inferring the Past with Thermal Imaging

解决问题：该论文旨在解决通过热成像技术推断过去人体运动的问题。相比传统的基于RGB图像的人体运动推断方法，该方法通过热辐射测量来获取人体与物体之间互动的信息，从而降低了预测问题的不确定性。

关键思路：论文的关键思路是使用热成像技术来获取人体与物体之间互动的信息，并基于此开发出一个三阶段的神经网络模型来准确地推断过去的人体姿态。相比当前领域的研究，该论文的思路在于通过热成像技术来获取额外的信息，从而提高人体运动推断的准确性。

其他亮点：该论文的亮点在于提出了一种新的方法来推断过去的人体运动，并且通过实验验证了该方法的有效性。论文中提供了一个名为Thermal-IM的数据集，并且公开了代码。值得深入研究的工作包括如何将该方法应用于实际场景中，并且进一步提高准确性。

关于作者：主要作者包括Zitian Tang、Wenjie Ye、Wei-Chiu Ma和Hang Zhao。他们分别来自多个机构，包括加州大学伯克利分校、谷歌、纽约大学和华为。根据我的数据库，他们之前的代表作包括“Detect-and-Track: Efficient Pose Estimation in Videos”（Zitian Tang等人，CVPR 2018）和“Learning to Adapt Structured Output Space for Semantic Segmentation”（Wei-Chiu Ma等人，CVPR 2018）。

相关研究：近期其他相关的研究包括“Past-Aware Trajectory Prediction with Attention-Based Graph Neural Network”（Yue Zhao等人，CVPR 2020）和“Inferring Human Posture and Load from Thermal Images”（Javier Hernandez-Ortega等人，Sensors 2019）。这些研究都关注于通过不同的技术来推断人体运动，其中包括基于图神经网络的注意力机制和基于热成像的姿态推断。

论文摘要：本文题目为“3秒前发生了什么？利用热成像推断过去”，作者为唐子天、叶文杰、马伟超和赵航。由于预测问题的固有不确定性，从RGB图像中推断过去的人类运动是具有挑战性的。另一方面，热成像通过测量热辐射来编码人-物体交互的过去痕迹。基于这一观察，作者们收集了第一个用于人类运动分析的RGB-热成像数据集，称为Thermal-IM。然后，他们开发了一个三阶段神经网络模型，用于准确的过去人体姿势估计。综合实验表明，热信号显著降低了这一任务的模糊性，提出的模型取得了显著的性能。该数据集可在https://github.com/ZitianTang/Thermal-IM获得。

​Read More