项目名称:容器云资源调度关键技术及示范应用
项目编号:2021KTSCX167
项目类别:广东省普通高校特色创新项目
学科门类:计算机科学技术
项目负责人:叶力洪
主要成员:徐胜超、熊茂华、邓斌涛、田海梅
项目经费:3万元
一.主要研究成果
共发表5篇论文,分别为:
[1]徐胜超,宋娟,潘欢.INTER-VMM:融合虚拟机选择和放置的虚拟机迁移模型[J].数据采集与处理(CSCD扩展), 2021, 36(5):1107-1119
[2]田海梅,徐胜超.基于改进的花授粉算法的虚拟机分配策略[J].数据采集与处理, 2021, 36(5):996-1006
[3]邓斌涛,徐胜超.基于改进细菌觅食算法的容器云多维资源均衡调度[J].云南师范大学学报(自然科学版)CSTPCD, 2021,41(05):28~32
[4]徐胜超,熊茂华.基于深度学习的容器云弹性伸缩方法[J].云南师范大学学报(自然科学版), 2021,41(06):21~24
[5]徐胜超,熊茂华,叶力洪.云数据中心基于多组的多虚拟机迁移策略[J].海南大学学报(自然科学版), 2021-10-21,网络首发
二.成果内容简介
(一) 主要内容和重要观点、创新之处
以虚拟机为最小调度单位的资源管理方式不能灵活的实现云资源的细粒度的调整和云平台中应用服务的快速迁移。新兴的容器云技术可以在一定程度上弥补虚拟机的不足,但基于虚拟机的资源管理方式并不适用于以容器云作为底层实现技术的资源管理中,如果结合容器云构建分布式容器集群,研究出多种调度策略,实现容器云的初始化部署、弹性伸缩和迁移调度,就可以进一步提高云平台中的物理资源利用效率,降低能耗。
本项目主要研究内容为容器云中的资源调度关键技术。(1)针对容器云中的物理资源负载不均衡问题,研究基于节点多维资源平衡的动态调度算法,提高节点资源的利用效率。(2)针对容器云中的负载不均衡问题和电力能源浪费现象严重的问题,研究容器云中的迁移的调度策略,进一步提高容器云负载均衡度、减少能耗。(3)针对容器云中的动态变化和节点资源碎片导致的资源利用不高的问题,研究容器云中基于聚类算法的初始化部署方案,减少资源碎片的产生,提高资源利用率。
经过一年左右的深入研究,本项目已经完成了容器云资源调度的关键技术的研究目标,相关成果都在《数据采集与处理》《云南师范大学学报(自然科学版)》《海南大学学报(自然科学版)》等CSCD核心期刊和CSTPCD核心期刊发表,本项目的重要观点,创新之处和对策建议都在发表的这些论文中。
其中论文“INTER-VMM:融合虚拟机选择和放置的虚拟机迁移模型”提出了融合虚拟机选择和放置的虚拟机迁移模型INTER-VMM(Interrelation approach in virtual machine migration)。INTER-VMM设计了云数据中心的基于多维物理资源约束的能量消耗模型。INTER-VMM是一种将主机负载检测,虚拟机选择及放置结合起来考虑的虚拟机迁移策略。在虚拟机选择中采用HPS(high CPU utilization Selection)选择法,把超负载物理主机上的虚拟机中CPU利用率最高的一个进行选择,让其进入到候选迁移虚拟机列表。在虚拟机放置中采用SAP放置法(Space Aware Placement),考虑了充分利用物理主机空余空间使用效率的方法。仿真结果表明:INTER-VMM比近几年来常见的虚拟机迁移策略具有更好的性能指标,对云服务提供商具有很好的参考价值。
论文”基于改进细菌觅食算法的容器云平台资源均衡调度”引入改进细菌觅食算法,设计了一种新的容器云平台多维资源调度方法。通过将容器云平台两种调度方式在不同任务量下的集群资源利用率和负载不均衡度做对比,得出该文提出的容器云平台改进的优先调度流程对资源利用更充分,资源调度更均衡。为了验证改进后算法的性能,将基本细菌觅食算法BFA和改进的细菌觅食算法IBFA两种算法在完成相同任务量所用的时间和负载均衡度做比较,得出该文提出的改进的细菌觅食算法IBFA在收敛速度和任务完成时间上都优于基本细菌觅食算法BFA,是一种高效和准确的优化算法,值得推广。
论文”基于深度学习的容器云弹性伸缩方法”针对现有方法中容器云弹性伸缩方法中存在的一定不足,该文研究了基于深度学习的容器云弹性伸缩方法,通过全面衡量负载特性并对应用类型进行分析,利用深度学习方法中长短时记忆神经网络预测模型完善预测功能,使应用负载预测准确,同时可根据负载预测值和实际值双标准控制伸缩动作。经实验证实,该文研究方法具有预测精准,伸缩高效,应用性强的优势。容器云应用负载量的预测值与实际值最大误差值仅为3.2%,预测准确度高。
论文”基于改进的花授粉算法的虚拟机分配策略”提出了基于改进花授粉算法的虚拟机分配策略FPA-VMA(Flower Pollination Algorithm based Virtual Machine Allocation)。FPA-VMA中植物一朵花或一个配子就对应于虚拟机映射到物理主机分配优化问题中的一个解。描述了云数据中心的云客户端的资源请求模型和多维物理资源的能量消耗模型。FPA-VMA在花授粉的动态切换概率阶段的策略可以平衡全局最优解搜索和局部最优解搜索之间的切换,同时改善资源分配的全局的收敛能力。真实的虚拟机数据的访问测试结果标明,FPA-VMA比常见的虚拟机分配优化策略有更低的能量消耗和更高的物理资源利用效率。
论文“云数据中心基于组的多虚拟机迁移策略”提出了基于组的多虚拟机迁移策略GBM-VMM(Group Based Multi-Virtual machine migration model).GBM-VMM在虚拟机组选择的过程中,考虑了虚拟机迁移的时间代价和额外的能量消耗对主机响应时间的影响,根据资源的运行状态及组内剩余虚拟机的连接度(Degree of Connection,DoC )来完成侯选迁移虚拟机组的形成.仿真结果表明:与常见的单虚拟机和多虚拟机迁移策略比较起来,GBM-VMM使得云数据中心的各类性能指标都可以改善,该实验结果对于其他企业构造节能云数据中心有很好的参考价值.
(二) 成果的学术价值、应用价值
低能源消耗和高服务质量是目前云服务提供商构造云计算平台的两个最终目标。为了实现这种绿色节能的云计算平台,近年来政府和各大企业都进行了广泛的研究,从早期的分布式计算,到现在的虚拟机技术,容器技术的过渡,本课题将容器作为资源调度和部署的基本单位,通过对性能数据的实时分析,按照特定的算法策略对容器进行动态管理,实现应用服务的自动伸缩,以提升云平台中物理资源利用效率和集群的负载均衡度,本课题的研究成果可以很好的借鉴到其他的云服务提供商,为他们构造节能和高服务质量的云平台提供重要参考。
(三)社会影响和效益
节能减排是目前政府和云服务提供商重点考虑的问题,为了降低能量消耗,采用虚拟机和容器技术可以很好的管理云资源。(1)例如整个云平台的电力能量消耗,按照每周来计算平均值,单位为度(千瓦特小时或Kwh),每度电居民使用价格为0.57元/度,商业用电价格大约为1.0元/度以上,仿真结果标明本课题的研究可以节能云平台的能耗10~20%,这样直接降低了企业的经济成本,减少了碳排放量,保护了环境。
(2) 物理主机的资源利用率,本课题的研究的可以使得各位维度的云资源,例如CPU,内存,硬盘,网络带宽等等利用率都得到很好的提高,延长了硬件的使用寿命,降低了企业成本。
(3)本课题的研究的可以使得容器云资源调度的时间缩短,单位为秒,提高了云平台的QoS。
(4)本课题的研究的可以使得容器云资源调度优化算法的收敛时间缩短,单位为秒,这样也间接的降低了云数据中心的能量消耗。