九送新闻

您的位置: 九送新闻 > 科技 > 如何提升资源利用率?深圳先进院大数据分析系统性能优化已落地应

如何提升资源利用率?深圳先进院大数据分析系统性能优化已落地应

发布时间:2019-11-08 13:23:20  来源:  九送新闻

“我们开发的云平台资源管理软件技术中的一些技术已经与华为进行了实质性合作,最近在华为全连接会议上进行了演示。”10月13日,中国科学院深圳高级技术研究所(以下简称“深圳高级研究所”)俞志斌博士在南山图书馆举办的南山博士论坛中国科学院高级研究所专题活动上透露,该研究已获科技部国家重点研究发展计划资助,目前仅部分成果得到应用。“软件定义的云计算资源管理”主题将于2021年完成。

余志斌在题为“大数据——蚂蚁移动大米般的计算”的演讲中介绍说,随着计算技术和物联网的发展,“大数据”现象已经出现在城市交通、医疗保健、药物设计、金融和电信领域。然而,这些行业的“大数据”表现出总体“4v”特征,即体积(大量)、速度(快速数据生成)、价值(数据可以生成大量价值)和多样性(数据多样性)。"当大数据变成石油时,它也给传统的计算机系统带来了巨大的挑战."余志斌说道。

对此,余志斌一直深入从事“软件定义云计算资源管理”的研究,其中大数据分析系统的性能优化是一个重要的研究方向。据了解,本课题的研究是针对云计算平台目前面临的三大挑战:云平台管理和控制复杂、资源闲置严重、服务质量难以保证。造成这一困难的主要原因之一是云平台资源管理软件本身非常复杂,并且各种组件错综复杂、紧密交织在一起。

他说:“我们想从头开始研究和开发一个云平台资源管理软件,它可以像构建块一样按需构建。它被称为软件定义的云平台资源管理软件——变色龙。我们将变色龙的架构分为四个平面:物理资源平面、数据平面、配置平面和控制平面。目前,我们在每项飞机研究中都取得了阶段性成果。”

应当理解,物理资源平面是指云平台中的硬件资源,包括服务器、路由器、存储器等。数据平面是指云平台中硬件资源的数量、使用情况等。配置平面(configuration plane)是云应用程序(如大数据分析程序)的被动资源配置,即程序使用的资源在运行前进行配置,运行后资源量不能改变。控制平面是指云平台中的任务调度和资源分配。这是一种活动的资源分配,即程序使用的资源可以在程序运行后更改。

研究人员在数据平面、配置平面和控制平面上都取得了很好的阶段性成果。例如,在数据平面中提出了性能大数据的概念,并利用性能大数据来指导处理器芯片设计和程序性能优化。这项研究发表在2018年ccf a类国际会议上。

值得一提的是,在配置平面上,他们提出了一种机器自动配置复杂资源的方法,可以将程序性能提高89倍。该研究发表在ccf a级2018年asplos高级国际会议上。在控制平面上,他们提出了时空共享任务调度的抽象,并在云平台上复杂而深的软件井(栈)中搭建了一个梯子,通过标签来协调“井”中各层的任务调度。实验表明,该方法可以大大减少云平台的时间和空间(资源)浪费,提高程序的性能。这项工作已经在ccf a级国际isca 2019上发表。

据报道,作为中国科学院高级研究所的一次特别演出,南山博士论坛“创新知识与实践”首次登陆南山图书馆为更多观众服务。“创新知识与实践博览会”是由南山区科协和中科创科学院主办,深圳中科洪菊文化有限公司主办的高端科普活动,主要邀请国际科技前沿领域的专家学者围绕脑科学、新材料与新能源、人工智能、大数据、生物医学、机器人等战略性新兴产业进行专题演讲、圆桌对话,并与产业对接科技成果。

[记者]张秀娟

[摄影]朱洪波

[作家]张秀娟;朱洪波

[消息来源]南方报业传媒集团南方客户

湖北11选5 福彩快三 广西十一选五投注 上海快三开奖结果