从性能层、框架层入手,澎峰科技提供嵌入式AI解决方案深挖终端计算性能

WechatIMG72_meitu_1

【猎云网北京】5月31日报道(文/都保杰)

把人工智能做到终端上去已成为物联网时代发展的一个趋势,在智能终端设备上,深度学习带来了前所未有的交互体验变革,同时也对计算力有了更高的要求。

在诸多实际的AI商用场景中,普遍对数据处理的实时性和速度要求都比较高,不可能所有数据都上传到云端跑一遍,因此目前市场上有从专用嵌入式AI芯片入手来解决终端计算能力问题的,也有的厂商致力于最大化挖掘终端的计算性能进而实现事半功倍的计算效果。

猎云网日前采访到的澎峰科技的技术思路就是从应用算法层、框架层、性能层和硬件层综合考量提供嵌入式AI整体解决方案,为终端深度学习算法提供加速引擎,充分挖掘终端计算性能。

澎峰科技创始人兼CEO张先轶在2007年硕士毕业之后进入中科院软件所工作,一直从事高性能计算、性能优化、矩阵计算等方面的研究工作。2011年,读博期间张先轶带领小组创建了一个开源矩阵计算库——OpenBLAS,目前他也是该项目的主要维护者,在矩阵计算的细分领域,这是一个影响力较大的开源项目。

如果不是开发者,可能不太清楚OpenBLAS的价值所在,OpenBLAS支持几乎全部的主流CPU处理器和常见的操作系统,同时都能达到比较好的性能优化,进入了很多主流的Linux安装包,其用户广泛,从开源项目Julia语言、GNU octave,到深度学习的mxnet、Caffe,乃至IBM、ARM、英伟达等公司也都在他们的产品里边使用了OpenBLAS。

未标题-5.jpg

2014年底张先轶离开中科院去了美国,先后在UT Austin做研究员以及MIT博士后等科研工作经历,辗转两所知名高校探索最新的技术方向,彼时,深度学习和人工智能逐渐兴起,在大洋彼岸的中国,更是掀起了一场前所未有的技术变革浪潮。

“在MIT的经历对于我创业来说比较关键,那里的创业氛围非常好,各种创业比赛比较多,还有一个中国留学生的创业论坛。”通过一些沙龙和组织活动,张先轶结识了很多一线创业者汲取创业经验和帮助,正在犹豫接下来是留美工作还是回国的节点上,他最终作出了回国创业的决定。

张先轶表示:“我们看到人工智能确实变得很火,而我们其实做高性能计算有一些很底层的技术,在人工智能方向的应用领域将会越来越广,比如说基于OpenBLAS或其他底层技术对提升AI计算性能是十分合适的,而且越来越多的公司会有需要,这些技术将有很可观的商业市场,所以当时就觉得这个方向应该是对的,果断出来做这个。”

2016年下半年澎峰科技注册成立,交接完工作的张先轶年底回国开始组建自己的团队,除了自己比较擅长的底层算法框架,团队也强化了软硬件基因,中科院背景的贾海鹏博士加入负责软件研发进展,华中科技大学赵华龙博士负责硬件产品集成。

未标题-2.jpg

澎峰科技的技术优势就是能够分别从应用算法层、框架层、性能层和硬件层切入做计算性能的综合优化和提升。

在框架层,澎峰科技开源了一种轻量级的深度学习推理框架inferXlite,相比较目前的传统通用框架具备小、轻、快的优势,代码<100k,接口支持任何网络模型,可移植任何硬件平台,几乎没有依赖库,框架设计与性能加速分离,从框架层面对于算法加速给予了充分的考量。

为何要把这么一套框架做开源?张先轶有自己的考虑:“其实还是想进一步建立我们技术的美誉度,然后吸引更多开发者来用我们的东西,对于公司长远的发展这是一个比较好的做法。作为我们这样的技术公司直接去推和销售不一定能做的多么广,而由开发者实际体验后对未来的商业转化更有益处,另外,直白点说,也能显示我们做的技术比较牛。”

在性能层,澎峰科技推出了三款产品:深度学习优化矩阵计算库PerfBLAS、深度神经网络计算库PerfDNN、以及高性能计算机视觉库PerfCV。PerfBLAS针对ARM等嵌入式平台进行深度学习卷积算法优化,可广泛用于移动平台,手机、机器人、无人机等领域。PerfDNN是一个跨平台的轻量级深度学习算法库,实现了深度神经网络的核心算法;PerfCV是一个跨平台高性能计算机视觉库,实现了深度学习中主要的图像预处理算法,包括cvtColor、resize、warm_affine、warm_perspective等,PerfCV可在GPU、x86、ARM等多个硬件平台上实现高性能。

未标题-3.jpg

此外,澎峰科技还提供了一套深度神经网络自动量化工具DL-Quants,相比浮点运算,定点运算等对于存储和计算资源的占用更小、功耗更低、效率更高,可面向FPGA、嵌入式ARM等诸多嵌入式平台使用。

基于核心的软件框架和多种计算库,澎峰科技得以集成出一体化的硬件产品:嵌入式深度学习开发平台PerfBox和Perf-V工程板。据了解,PerfBOX采用六核64位ARM处理器,集成了ARM Mali-T860四核GPU,并拥有2GB/4GB DDR3和16G/32GB的eMMC,可用来做为学习、开发、部署深度学习应用的平台。Perf-V工程板则是澎峰科技为RISC-V开源社区设计的FPGA开发板,具备很强的灵活性,移植了多种RISC-V处理器架构,并配备丰富的学习资料,为RISC-V处理器设计和FPGA产品开发提供了一个很好的实验平台。

谈到公司的技术产品布局,张先轶表示,目前做CEO其实就相当于是一种产品经理的角色,技术出身的团队如何转换成产品思维很重要。“我们可能在计算性能优化上有一些非常突出的亮点,但单靠这一亮点技术不会那么好卖,特别是在国内,大家更希望还是要外包成一个解决方案或产品,这种接受程度才会高出很多。客户拿过去做一些简单的二次开发就可以用,这种整体性集成性更高一些,对客户的便利程度也会更多一些。”

未标题-1.jpg

据了解,澎峰科技的目标客户群体,大概分为两种类别,但可以确定是终端为主,偏视觉计算处理的方向,因为计算机视觉领域对计算性能的需求更为强烈。一类客户是移动APP类应用,澎峰科技可以提供整套优化技术的软件包SDK给客户嵌入到APP中,这部分主要是以提供软件服务为主;另一方面就是提供PerfBox硬件产品和Perf-V工程板,会面向智能硬件和智能终端设备的厂商,根据具体需求做灵活配置比如存储、内存、芯片的选型等,软硬优势互补从整体考量上提供高性价比的嵌入式方案。

张先轶说:“对于客户来讲,我们一个比较大的优势是没有给他绑定相对的硬件平台,可适配的芯片种类比较多,更跨平台一些。比如客户想规划不同的产品路线,如果他再用不同的芯片选型会非常的麻烦,而我们的服务可以非常地减轻他们的开发工作量,更快地推出产品。

目前,澎峰科技已完成了两轮融资,天使轮获得紫牛基金与明势资本的550万元起步资金支持,近期又完成了由丰厚资本、泽厚资本投资的千万级pre-A轮融资。

项目:嵌入式AI解决方案提供商
公司:澎峰(北京)科技有限公司
网址:www.perfxlab.com