OneView空客国防ag万博官网与空间情报公司(Airbus Defence and Space Intelligence)希望展示一种旨在检测主要使用合成图像训练的飞机的机器学习算法,该算法不仅提高了准确性,还允许使用更复杂的检测算法。

各种标记数据的可用性一直是阻碍为地理空间分析开发的人工智能模型准确性的主要瓶颈。现实世界中,需要带注释的图像来捕获所有与感兴趣的目标检测相关的各种场景,这是非常耗时、昂贵、容易出错的,而且在许多情况下是不现实的。

因此,尽管目标检测算法存在许多架构,但由于严重缺乏可靠的训练数据来优化机器学习算法的训练,通常无法获得准确的结果。合成数据可以用来模拟任何用例,取代对真实图像的需求。这消除了手工收集数千甚至数十万真实图像的需要。合成数据还会自动标注,以便在训练机器学习算法的过程中使用。

这不仅节省了大量的时间和资源,而且还提高了注释的准确性和一致性。

检验综合数据假设

为了测试合成图像的使用,OneView与空中客车防务与空间(情报)公司合作。空中客车防务与空间(情报)公司是地理空间图像的主要供应商之一,拥有超过30年的轨道运行和高分ag万博官网辨率卫星图像经验。目的很简单——评估合成数据是否能够真正补充/替代真实图像,并提高机器学习和地理空间智能目标检测模型的准确性。
为了实现这一点,我们使用三个不同的训练数据集训练了一个超类别“飞机”检测算法。第一种方法只包含真实的数据。第二组完全由合成数据组成,第三组使用真实数据和合成数据的组合(简称“混合”).

图片说明:真实的Pléiades卫星图片,每个级别都有飞机注释,黄灯飞机,紫色战斗机,绿色喷气机/商用飞机,栗色轰炸机和橙色其他军用飞机

真实的Pléiades卫星图像与飞机注释
OneView的3D机场场景

此外,我们增加了一个更复杂的任务,并比较了另一种算法的性能,意味着将飞机分类到不同的子类别。
作为测试的一部分,OneView重建了商用和军用机场的全3D复制品(想要了解更多,请关注这个描述我们创作过程的博客).其中包括实际机场的特点、结构和变量,如航站楼、停机坪、跑道、滑行道、停车场、建筑物等。在每个模型中,将感兴趣的物体与其他物体放置在一起,以干扰检测的准确性,如飞机部件和相关的机场物体。

图片说明:不同机场场景图片——上:北京首都国际机场,下:巴黎戴高乐机场,左至右:Real Pléiades图像,OSM地图,OneView自动构建的3D场景

我们的大型3D模型目录包括5个飞机类别(轻型飞机、战斗机、喷气机/商用飞机、轰炸机和其他军事飞机),包含140多个独特的模型。每个模型都使用了多种材料、纹理、颜色组合和模型配置(即折叠翅膀)。为了实现最大的可变性,OneView平台上配置了不同的天气条件、视角和时间参数,产生了广泛的可能性和场景。这些不同因素的随机组合允许生成一个非常大和不同的合成图像数据库,以提供一个可靠的训练数据集。

图片说明:从OneView的自动分割掩码过渡到空客国防和空间情报的菱形注释ag万博官网

从OneView的自动分段掩码过渡

更高的精度

Real/Syn/Mix数据集的测试结果

在超级类别“飞机”检测中,OneView的模拟数据集获得了比最好的纯真实结果更高的准确率,分别为88%和82%。使用混合数据集,获得了~90%的评分,比纯真实数据提高了8%。
一个比简单的“飞机”检测更有挑战性的问题是不同飞机类别的分类。在检测不同类别时,合成数据集取得了与真实数据集相当的结果,其中在所有班级中,“混合”结果都优于实际结果。

图像标题:在左边的超类级别,在右边的5个子类级别

这些结果提供了证据,表明合成数据可以作为一种可行的选择,在现实数据不存在的地方创建新的模型,在现实数据存在的地方,它可以用来增强对现实数据的使用。

根据测试结果,一个同时使用真实和合成地理空间图像训练的人工智能模型,将比一个只使用真实地理空间图像训练的模型表现更好。这既包括数据收集所需的时间,也包括模型的准确性。

结果证明了这一概念,甚至让空客国防与航天(情报)这样的公司印象深刻。ag万博官网

“用OneView进行的案例研究超出了我们最初的预期,”法国图卢兹空中客车国防与空间情报部ag万博官网门的杰夫·法迪说。“在这个众所周知的人工智能检测主题上,我们有可能实现人工数据无法达到的高性能。它证实了利用合成数据作为基于真实数据标记的传统方法的补充方法的价值。当需要改进稀有物品的模型时,合成数据比真实图像更容易进行再培训,而真实图像的收集和注释额外相关的稀有物品很长,有时不可能。”

©OneView

检测示例- OneView的合成数据