9 月 24 日,2020 oppo 开发者大会正式召开,全新 coloros 11 正式发布,秉承「创造无边界」的理念,为用户带来更加丰富精彩、多端互融、安全便捷的全场景体验。大会中,oppo coloros 设计总监陈希宣布,oppo 系统能力开放引擎进一步扩大到七个,增加 aiunit 与 fusionunit,帮助开发者在移动端部署 ai 算法,同时实现手机与其他设备快速、稳定、低延时协同,在智能化、多设备、多场景等方面,将 oppo 的系统能力全面开放,与开发者一同带给用户更好的创新体验。
在 2020 oppo 开发者大会技术能力开放专场,oppo 进一步向开发者讲述了aiunit 与 fusionunit 两大全新系统引擎的能力,同时全新升级的 hyper boost、cameraunit 与 mediaunit 也正式与开发者见面。
aiunit应用无限可能,ai 技术全面助力开发者
为了给应用开发者和从事ai 算法开发的研究人员提供更好的支持,oppo 进行了 ai 能力的开放。目前,oppo ai 开放能力主要包含 aiunit 算法引擎和 ai boost 模型推理加速框架。通过aiunit 来帮助应用开发者更好地开发 ai 功能,而 ai boost 可以帮助开发者部署算法到移动端。
aiunit 引擎能力提供了视觉算法、视频算法、音频算法、感知算法四大方向的能力建设,能够向应用开发者提供人工智能算法 api,使应用开发者高效地编写用于在移动设备上运行的 ai 应用程序。目前,aiunit 已经应用于 coloros 系统相册、视频编辑、音频及感知等相关应用中,如系统相册的老照片修复、人脸聚类能力、视频增强能力、铃声编辑能力等。
ai boost 作为面向移动端的 ai 模型加速框架,借助 oppo 终端强大的硬件计算资源,可有效帮助 ai 算法研究者将算法模型快速部署到 oppo 终端设备上,最大限度地提供端侧 ai 加速能力。在 eth 瑞士苏黎世大学 ai benchmark 的评测平台上,借助 ai boost,平台效能可提升 23-33%;在高通和 mtk 同芯片平台的产品中均优化达到了业界最佳表现,对标准的模型效能提升了 30% 左右。
fusionunit 智能互联能力,开启多端融合新场景
随着科技的飞速进步,用户身边的智能设备日益丰富,但繁杂的设备也需要用户花费更多的时间去了解、配置以及使用。针对用户在多设备使用的场景下,如何能够优化这些设备的管理、协同和联动,fusionunit提供了一整套的凯发k8官网下载的解决方案。
fusionunit 应用重定向技术让用户在系统或者应用界面中,可以将当前屏幕或某个应用界面共享给周边或远程好友,实现多人同看视频或好友观战等功能。同时,用户还可以为接收方赋予控制权限,允许对方使用此应用,并且在此过程中双方手机均可以离开当前页面。在支持设备上,该功能未来将会覆盖手机、pc、电视等终端。
通过 fusionunit 数据融合能力,多端设备可以实现便捷的应用级数据共享。例如,通过手机上的相册应用可以访问同 wi-fi 下其它所属设备上的照片文件,并且提供统一检索、传输能力,实现近场多设备数据一致,让用户可从任意一端进行统一资源管理。开发者借助fusionunit,即可实现应用跨端接续的能力,保证用户在多端使用时的无缝感。
同时 fusionunit 支持跨计算资源、跨设备算力的增强,可同时调动起cpu / gpu / npu / dsp 等计算单元进行运算加速。在 ai 相关的实时视频流解析、离线视频处理等任务中,可大幅提高 ai 计算能力和应用帧率,实现端内多芯片计算协同。
hyper boost系统加速引擎,保障应用高速流畅运行
hyper boost 致力于为用户带来流畅顺滑的使用体验,在此次大会中,hyper boost 带来更多技术革新,增加了gpu加速、ddr加速、大核绑定、温控回调、4d振感等能力,让开发者在应用优化过程中能够根据具体应用场景来选择对应的能力。
目前,微信、qq、淘宝、抖音、王者荣耀等头部应用和游戏均已接入 hyper boost系统加速引擎,国内市场日均调用次数超过 2 亿次。除此之外,hyper boost也积极走向海外,海外的开发者可非常简单地获取该能力,助力应用的流畅运行。
在开发适配方面,hyper boost 已由系统组件变为应用组件,让广大开发者升级调优更便捷。同时,hyper boost 还引入了云端配置管控功能,仅需在云端进行轻量化的适配工作,开发者便可以完成接入工作。
cameraunit 与 mediaunit,全面开放系统级影像与多媒体能力
cameraunit作为oppo影像能力的开放接口,可消除系统相机能力与三方应用之间的隔阂,将oppo相机的强大能力提供给三方应用使用。通过简单的api接口调用,三方应用可实现双摄同开、视频hdr、超级防抖、超广角、超级夜景等特性,实现与oppo相机同样的拍摄效果,为用户带来丰富的相机能力以及优质的拍摄体验。
当前抖音、快手等三方应用已经接入了cameraunit的超级防抖和超广角能力,接入后可利用系统原生的多源传感器信息融合和防抖场景智能分析,让用户使用三方应用拍摄视频时也实现超级防抖,在户外场景下拍出取景更大、内容更多、降噪明显 的视频成片,为5g时代年轻用户提供更多视频创作空间。
除此之外,oppo智能相册支持用户在使用时根据时间、地点、人物、模糊词等标签,快速找到想要的图片,当前智能相册能力可覆盖超过80个场景。同时,相册的智能选图推荐服务可帮助用户根据时间节日、地点图集、精彩回忆等类别进行分类,大大提升管理效率。
值得一提的是,包含这么多丰富功能的cameraunit仅20kb大小,三方应用只需要简单配置对应的能力参数即可完成接入。
mediaunit 支持将硬件级的低时延耳返能力开放给开发者,让用户可以自主调节音色、节奏、音准等各种参数,获得听唱同步的优质 k 歌体验。此外,针对直播、视频通话等场景,由于人们关注的往往是人的脸部表情和手部动作,通过提高这些区域的清晰度,可以有效的提高用户主观观看效果。凭借mediaunit开放的roi编码功能,开发者可以控制视频重点关注区域的码率分配情况, 弱化背景信息,在节约带宽的同时提升视频整体感官体验。
oppo 一直致力于和全球开发者及厂商合作,促进软硬件生态融合,提升消费者使用体验。截至目前,coloros 已开放系统能力数达到 27 个,拥有超过 100 家三方凯发k8官网下载的合作伙伴,日均接口调用次数达到 3 亿。未来,oppo 也将不断提升系统轻快流畅的使用体验,同时持续开放系统能力,与更多开发者和用户共享技术开放带来的便利。