合成数据

合成数据，即人工合成、用来训练深度学习模型的数据，在 2018 年的计算机视觉研究领域绝对是重头戏。例如这个 SUNCG 数据集 被用于模拟室内环境，这个 Cityscapes 数据集被用于驾驶和导航，这个合成人类的 SURREAL 数据集 被用于学习姿势估计和追踪。让我们一起来过一遍 2018 年利用合成数据的最佳成果们：

在 How Well Should You Label （你该标记得多好） 中， 作者着眼于为了从现代 CNN 架构中得到良好的分割质量，对训练标签的质量要求有多低。 这很重要，因为合成数据通常以其像素完美的质量而闻名。 作者在 Auto City 数据集上进行实验，证明最终的分割质量确实与标记所花费的时间量密切相关，但与每个标签的质量无关。

Soccer on Your Tabletop （桌面上的足球） 提出了一个可以拍摄足球比赛的视频流并将其转换为移动 3D 重建的系统，该重建可被投影到桌面上并使用增强现实设备进行观看。系统提取运动员的边界框，使用姿势和深度估计模型分析人物图形，最终得到非常精确的3D场景重建。

现有的大多特征学习方法都缺乏人类那样同时从不同信息源学习的能力。 Cross-Domain Self-supervised Multi-task Feature Learning（跨领域自监督多任务特征学习） 使用合成图像通过提出一个原始的多任务深度学习网络来解决这个差距，该网络使用合成图像来更好地学习跨模态设置中的视觉表示。通过合成图像训练网络大大减少了多任务学习所需的往往昂贵且耗时的数据注释。为了弥合真实数据和合成数据之间的跨域差距，在无监督的特征级域适应方法中采用对抗性学习，增强了在视觉特征知识到现实世界任务的迁移方面的表现。

Training Deep Networks with Synthetic Data （用合成数据训练深度网络） 提出了一种依赖合成数据的域随机化训练用于真实物体检测的深度神经网络数据的精确方法。域随机化通过刻意和随机地干扰环境的纹理来迫使网络聚焦并识别对象的主要特征，从而减少对高质量模拟数据集的需求。为了增强这一过程的性能，会进行结合合成数据和真实数据的额外训练，从而弥合现实差距、得到更好的性能。论文还提出了不同的方法来发挥合成数据的潜力，认为这一领域将在未来几年进一步发展。