“momenta定位于打造自动驾驶大脑,核心技术是基于深度学习的环境感知、高精度地图和驾驶决策算法,产品包括不同级别的自动驾驶方案,以及衍生出的大数据服务momenta的战略是量产自动驾驶与完全无人驾驶两条腿走路,通过数据、数据驱动算法和两者之间的迭代闭环,推动自动驾驶技术落地量产,并最终实现无人驾驶。成立三年多来,momenta与amazon建立了长期稳定的合作基础,amazon完备的基础云平台支持,助力创业公司在高速成长的同时,也保障了it基础设施得以高性能、易扩展的稳定运行。”
——momenta技术总监 白宇利
momenta定位于打造自动驾驶大脑,核心技术是基于深度学习的环境感知、高精度地图和驾驶决策算法,产品包括不同级别的自动驾驶方案,以及衍生出的大数据服务。momenta的战略是量产自动驾驶与完全无人驾驶两条腿走路,通过数据、数据驱动算法和两者之间的迭代闭环,推动自动驾驶技术落地量产,并最终实现无人驾驶。
面临的挑战
自动驾驶对基础设施的核心需求就是海量数据的采集和处理。momenta的测试车利用安装在车上的各样传感器,在汽车行驶过程中随时感应周围的环境,进行静态/动态物体的辨识、侦测与追踪,并结合高精度地图数据,实现自动驾驶的能力。
一辆测试车,每天路面测试产生的数据达tb级。momenta数据处理人员会从中提取有价值的部分并进行数据脱敏后上传到amazon,所有测试车在一起,每天需要上传云端进行处理的数据量是非常可观的。除了测试车以外,随着momenta面向高/快速道路的mpilot highway和面向泊车场景的mpilot parking发布,也会产生大量的数据需要处理。
可见,一个稳定、可靠、高性能、易扩展的it基础架构,对高速成长的momenta来说非常重要。
为什么选择amazon
“momenta从一开始就使用amazon,主要有三个原因:一是曾经使用amazon的良好体验;二是amazon云创计划在momenta创业初期提供多方面的支持,使momenta能够快速起步,很快把数据服务的原型搭建起来;三是momenta创业初期就有全球发展的布局,amazon的全球基础设施覆盖非常有优势。”momenta技术总监白宇利介绍说。事实上,amazon的确是创业公司的正确选择。
无限容量、经济的存储
车端传感器收集的数据是自动驾驶的重要基础。一方面,车端系统会在行车过程中随时根据传感器采集到的信息进行驾驶决策;另一方面,每一辆测试车在当天路面测试结束后,回到公司将传感器采集到的数据进行过滤、筛选和脱敏,上传到amazon。通过众包的方式,对数据进行标注,随后提供给算法引擎,也就是进行算法训练,让车辆变得更加智能。
amazon simple storage service(amazon s3)对创业公司的支持不遗余力,比如在存储、管理、访问乃至上百pb级数据上都可以提供诸多便利。对momenta而言,一是持久性和灵活扩展性。使用amazon s3,momenta可以安全地存储任意数量的数据,数据持久性可达到99.999999999%(11个9)。“三年的时间,我们的数据量从零增长到pb级,momenta的it基础设施毫无压力”白宇利说道。结合amazon elastic container service (amazon ecs)进行横向和纵向扩展,很好地满足了动态数据标注量的需求。如果换作本地存储,则需要投入大量的运维成本。二是访问可靠性。自动驾驶需要对大量路测数据进行标注,momenta采用众包方式,在全国范围内有很多人在24小时持续不断地发出请求,amazon s3能够连续可靠地满足如此大范围、大规模的访问请求。三是amazon s3提供了丰富的存储类型,在不牺牲性能的情况下,根据数据的价值生命周期进行分级存储,从而节省成本。例如,在光环新网运营的amazon中国(北京)区域,利用amazon simple storage service glacier存储1tb数据,每月的费用只需3.4元。四是amazon s3具有内置的功能和免费服务,可以直接查询数据,无需数据复制或将其加载到单独的分析平台或数据仓库。同时,amazon s3还可以结合amazon emr进行大数据分析,提供安全驾驶辅助决策服务。
功能丰富的amazon iot服务
amazon提供了丰富的iot服务,方便创业公司构建车端应用。白宇利说,自动驾驶的车端应用是一个非常典型的iot服务应用场景。车端设备连接着车上的各种传感器和控制系统。momenta需要构建一个能够管理超大规模车辆的统一管理平台,管理海量的iot设备。
amazon iot core可以支持数十亿台设备、数万亿条消息,实现iot设备与云应用程序及其它设备的安全交互,并对这些消息进行处理,将其安全可靠地路由至amazon终端节点和其他设备。应用程序随时跟踪所有设备并与其通信,即使这些设备未处于连接状态也不例外。amazon iot core支持http、websockets和mqtt多种通信协议,方便momenta将车端的各种iot设备连接到云;amazon iot core会在所有连接点提供身份验证和端到端加密服务,确保车端管理和控制的安全。
“我们仅用了两周时间,就可以快速搭建车端后装设备iot原型并完成了方案验证,打通了整个闭环。这也是基于amazon iot和amazon lambda完成的。若完全独立开发必需的功能组件,至少需要两个月的时间。”白宇利说道。通过amazon iot core,将车端后装设备感应到的告警信息及时传到云端,lambda根据不同规则自动触发并将这些反馈数据推送给不同的b端应用。
未来,momenta车端数采监控平台有可能需要管理几十万、上百万的iot设备。借助amazon iot device management,momenta可以轻松而安全地大规模注册、组织、监控和远程管理iot设备,方便且可视化地管理权限、监控设备功能、排除故障,查询队列中任何iot设备的状态,通过无线方式(ota)发送固件更新等等。
除此之外,在数据传输方面,amazon提供的amazon snowball服务可以将大规模数据以低廉的成本,安全、高效地迁移至云端,大大节省运维成本,提升开发人员效率。
通过amazon提供的以上iot服务,momenta可以方便、快速地构建其车端的数采监控平台,实现实时位置回传、指令下发、车辆控制以及大量iot设备的管理。如果自己搭建这些服务,还要维持amazon的高可用性、扩展性以及不断创新的功能性,所需的人力物力是难以想象的。
强大的算力支撑机器学习平台
人工智能是momenta的核心竞争力,而模型的算法则是依赖amazon云端进行持续迭代。在深度学习模型训练方面,momenta将所有在车端采集的有效数据传回云端,云端根据这些数据产生更好的算法,再推至车端,车端更新之后,使得算法更加稳定、精确度更高,这就形成了一个闭环。
“因为我们的数据量非常大,且由众多小文件组成,因此训练规模也相当庞大,例如一个训练集大约千万或上亿的规模。利用amazon elastic compute cloud (amazon ec2) p3实例,对底层和训练框架进行优化,以实现对特有场景的支持。”白宇利说。
相对于本地部署,amazon ec2 p3.16xlarge实例具有良好的弹性扩展能力,能够自动增量、自动迭代,几乎可以实现无限的容量,并且可以按照工作负载需求轻松灵活地更改资源。例如在筛选环节,需要根据不同的数据量或项目规模,灵活配置资源进行云上推理。此外,强大的稳定性和超大的gpu可以帮助momenta加快机器学习的速度。
momenta作为apn高级凯发k8官网下载的合作伙伴,计划加入amazon marketplace china,借此向客户输出momenta在人工智能和机器学习方面的能力,在amazon基础架构之上,赋能千千万万的人工智能企业。
momenta主要使用了由光环新网运营的amazon中国(北京)区域。图1是momenta基于amazon的系统架构示意图,momenta采用的amazon服务包括:amazon ec2、amazon s3、amazon s3 glacier、amazon emr、amazon dynamodb、amazon iot core、amazon iot device management、lambda、amazon cloudwatch、amazon relational database service (amazon rds)、amazon direct connect、amazon kinesis、amazon simple queue service (amazon sqs)、amazon aurora、amazon cloudtrail等。
图1 momenta基于amazon的系统架构示意图
获得的成效
通过使用amazon,momenta获得的价值主要体现在以下几方面:
一是在公司创新加速时,更加稳定高效。通过使用amazon iot服务,momenta只用了两周时间,就快速搭建出一个量产自动驾驶凯发k8官网下载的解决方案的产品原型,并且验证了设计方案的可行性。
二是提升开发效率,节省运维成本。使用amazon ec2 p3实例,使momenta能够以经济高效的方式快速训练模型并进行调优。此外,momenta维持了非常精简的运维团队,其中大量的精力仍花在本地运维上,云上运维的工作量不足1人。同样的规模,如果不用云,至少需要10人以上的运维团队。
三是amazon提供了多种多样的支持。包括海外成功案例的借鉴,通过亚马逊中国创新日、amazon技术分享会、amazon marketplace开拓市场等等。同时,momenta的业务也将覆盖全球市场,在这一过程中,一方面可以通过amazon全球的区域实现快速部署;另一方面可以有更多机会利用amazon以及整个亚马逊的全球资源进行市场拓展。
更多信息
了解如何在自动驾驶领域连接和管理大量设备的iot凯发k8官网下载的解决方案,请访问amazon iot详细信息页面。
了解amazon为adas和自动驾驶车辆提供的整套支持服务,请访问“adas和自动驾驶”详细信息页面。