2019可靠云交流会丨华为规范工程项目师何芦微:高特性对映异构

2019可靠云交流会丨华为规范工程项目师何芦微:高特性对映异构資源管理方法—Cyb Cyb是由华为主导的,并和想到、英特尔等企业1起协作,在OpenStack小区进行的新项目,也得到了小区普遍认同,于2017年9月份宣布变成了官方新项目。

7月2日,2019交流会在上海国际大会管理中心庄重揭幕。2019可靠云交流会以 智能化云网边,可靠创将来 为主题,由我国信息内容通讯科学研究院举办。

中午13:30交流会特设的智能化云论坛主题活动宣布刚开始,华为规范工程项目师何芦微做了《高特性对映异构資源管理方法 Cyb》的精彩演讲。

华为规范工程项目师何芦微

大伙儿好!我是来自华为的规范工程项目师何芦微,今日要很大伙儿详细介绍的是Cyb。

可能从下列4个层面详细介绍1下Cyb

甚么是Cyb?

Cyb发展趋势历程

Cyb涉及到到有关定义组件

下1个版本号的版本号方案

如今特有行业的硬件配置芯片。 NPU,关键是用于深层学习培训神经系统互联网的解决;GPU关键用于图象解决、AR/VR视觉效果解决;可程序编写智能化网卡。尽管边沿测算、人力智能化等必须高特性新业务流程的盛行,客户对这些GPU、NPU等硬件配置要求也日趋剧增。

怎样让的服务平台可以更好地管理方法、支撑点这些业务流程必须的GPU等,变成业界愈来愈关心和高度重视的话题。

针对当今云计算技术服务平台来讲,她们对管理方法这些特有硬件配置显著是不够的,由此带来1系列难题,如在人力智能化行业的业务流程上,基本设备没法合理生产调度CPU和GPU,致使GPU資源的比较严重消耗。在边沿测算业务流程上,因为基本设备沒有方法管理方法许多加快卡,致使在边沿测算的情景中没法去应用IPG(音)智能化网卡,在这类状况下,大家究竟怎样管理方法呢?

以便处理这1难题,Cyb应运而生。Cyb是由华为主导的,并和想到、英特尔等企业1起协作,在OpenStack小区(即全世界最大的云计算技术管理方法服务平台开源系统小区)进行Cyb新项目,也得到了小区普遍认同,于2017年9月份宣布变成了官方新项目。

Cyb新项目的出現便是为前面提到的这些特有硬件配置出示1套通用性的管理方法架构,以便便捷这些基本设备的出示商或客户可以更好、更方便快捷应用这些特有运用,去布署高特性业务流程。

Cyb详细的发展趋势历程。

最开始有关对映异构資源管理方法的架构设想最开始来源于于华为1位工程项目师,在OpenStack小区进行Cyb新项目。发展趋势到今日,这个新项目早已吸引住了国内外数百位开发设计者的参加和添加,从这个新项目的发展趋势和活跃度,发展趋势到今日能够看到对映异构資源管理方法早已变成许多企业的痛点。这也是为何Cyb的出現吸引住诸多开发设计者的添加。

 从几个维度看1下Cyb的发展。

(图)饼状图中数据信息意味着的是每家企业奉献度,2018⑵019年,从最开始8家企业发展趋势到后来10几家企业的添加,2018年,编码奉献比重占有率较大的是华为、英特尔和想到3家奉献较为多。2019年,新项目奉献比重除这3家之外,发展趋势了许多别的企业,如99云、挪动等企业的开发设计者也都参加进来,比重也在逐渐提升。

从1个开源系统新项目角度看来,越多越多企业开发设计者的参加针对这个新项目的设计方案、构架的成型、探讨、发展趋势落地会变得更为全方向,而不仅是趋向于某家企业。因此能够看到Cyb这个新项目正在朝着身心健康的构架方位去发展趋势。

从新项目自身完善度看来,在2018⑵019年時间里,Commit的数在逐渐提高。大家在参加1个开源系统新项目时,倘若有1个新项目时隔两3年才会递交几个Commit,能够看到这个新项目自身不活跃,害怕用它。由于会担忧这个新项目会不容易用到后来沒有人维护保养了。但Cyb这几年较为活跃,表明出开发设计者在这里的奉献,包含新项目自身能够看到多人参加的现况,因此这个新项目自身十分活跃和身心健康。

这个新项目一开始时只是1个抽象性的架构,并沒有实际的完成。那时候在11月份也有1个demo演试,鉴别人脸时用了LPG卡(音)。到了2019年,除最底层适用硬件配置权威专家,2018年仅有1个英特尔的LPG卡,2019年有英伟达、GPU等都早已完成了。除此以外还做了1些相近最底层机器设备配额管理方法,由于针对Cyb来讲,在这里只是1个独立的新项目,但要想落地,要想商用,务必根据跟Nova融合,因此还做了1个跟Nova的集成化。

Cyb构架。

它符合OpenStack别的新项目,如相近Nova等,Cyb也是有分层构架,有API构架有DB,针对API模组来讲,关键对加快器加快机器设备的实际操作,如List、conduetor等,LIST例举后端开发有哪些加快器机器设备。针对conduetor这个控制模块关键跟DB配套出現的,倘若对DB做1些加快器查寻升级实际操作,务必根据conduetor推送1个IPC信息去开启DB的查寻实际操作,针对DB来讲,conductor便是它的全线互联网操纵,防止了客户立即实际操作这个DB,当在应用量较为多或高繁杂状况下,有将会会把DB给击穿或致使浏览量太大,DB会出現难题,就设计方案了这个控制模块。

针对Agent来讲会和Nova互动,会把加快器分派给虚似机。

最下面1层是有不一样driver,不一样加快器机器设备有不一样联接方式,Agent必须有不一样driver联接各有硬件配置机器设备。

Cyb抽象性的机器设备实体模型。

针对每个硬件配置机器设备都仅有1个唯1的Controlpath ID,1个Device非常于1个物理学的对映异构机器设备,例如GPU机器设备是1个具体的物理学机器设备,针对Deployable是1个逻辑性模块,非常于1个机器设备会有好几个Deployable,它将会是1个加快器,也将会是1个local的运行内存。

Aelerator是能够具体实际操作的加快器模块。例如针对FPGA来讲,它里边会有两个Aelerator,针对TCPU、NPU,仅有1个Aelerator。

假如想认证Cyb做得对不对,能够根据Linux下面的命令去查,根据查它的PCI挂载详细地址能够查到。

Cyb下1个版本号要做5件事儿:

要跟Nova做提高,不可以独立存在,便是以便给虚似机去分派加快資源而存在,因此必须跟Nova集成化。

通用性驱动器的完成。对于不一样机器设备它有十分多机器设备驱动器,假如大家沒有1个通用性的话,将会必须开发设计的成本费会较高。

在现有基本上,后续会适用更多硬件配置,可让华为AI芯片开发设计driver。

Python3转移,对上面开发设计者来讲,不管是Python2還是Python3,对她们的危害其实不是很大,之因此要转移,是由于Python2在2020年年末终止维护保养了,因此要转移到3的版本号。

集成化认证检测工作中。关键是跟Nova做集成化时,规定Cyb出示检测,确保工作中平稳运作,这个工作中也是跟Nova集成化同歩做的。

Nova和Cyb的集成化,由于Nova是分派测算資源的,便是分派1台虚似机,要为它分派的这台虚似机挂载1个加快器,要做的便是为Nova分派的虚似机去出示1个由Cyb管理方法的加快器資源,便是做这个事儿的。

大家在做这些开发设计时,由于Nova早已较为完善了,针对Nova来讲其实不想做颗粒物度这么大的变化或改动,因此大家去推这个较为艰难的,但把这个事儿推动去了。下1步方案是把编码也给放进去。

Nova-Cyb集成化的简易小流程。

实际细节能够看它的编码,这里跟大伙儿简易说1下。

第1步针对Cyb来讲有1个配备文档,要先开启这些driver,才会协助你查询后端开发有哪些硬件配置机器设备,协助你做联接的实际操作。Cyb查寻到有这些硬件配置机器设备,必须挂载到Nova那边,但Nova实际操作的数据信息构造是Flavor,大家把这个信息内容发送给它,Nova去做,把这些信息内容分析成Flavor就行了,可是Nova不想维护保养最底层加快器的信息内容,因此就把这一部分公布交到Cyb自身去做,因此Cyb必须将查找到的后端开发信息内容分析成Flavor构造,发给Nova,非常于1个指整指向Flavor就可以了。

拿到这些数据信息,客户要在OpenStack起动1个虚似机,有1套命令,要起动这个虚似机务必配有华为的升腾AI芯片,就必须问Cyb要資源,把这个資源整合之后给Placement,挑选1个连接点,给它联接上对映异构的加快器資源。

全部步骤,Nova和Cyb是1个多线程开展的工作中。

通用性的driver,如今设计方案的是1个IPG卡和GPU的卡一样做Attach实际操作,大家以便让Cyb可以可拓展或设计方案更有效,期待把它这个插口抽象性出来,针对不一样window来讲,必须依据通用性driver插口自身完成那一部分逻辑性。

有关driver,2020年会完成华为升腾芯片的适用,也有英特尔会做1个高特性USB机器设备的适用。

如今Cyb也是有1个我国开发设计探讨组,平常探讨较为热情,大伙儿假如对对映异构資源管理方法有甚么难题或有甚么感兴趣爱好的点,都可以以寻找我这边,添加到这个群,大伙儿1起去做这个事儿。

感谢大伙儿!

相关阅读