【猎云网(微信:ilieyun)北京】3月25日报道
家里WIFI如果发生故障,检查下路由器基本就能发现原因。但对于拥有复杂架构的云计算平台来说,要找出故障原因极为复杂和耗时。阿里打造出根因分析通用框架,利用AI快速定位故障根因,已应用于部分云计算产品,节省时间超过一半,准确率超过80%。该框架也在近期举办的ICASSP’22 AIOps Challenge网络智能运维国际竞赛中获得冠军。
ICASSP(International Conference on Acoustics, Speech and Signal Processing)是信号处理领域规模最大的国际学术会议。其中,ICASSP’22 AIOps Challenge网络智能运维竞赛由香港中文大学(深圳)等机构主办,希望用机器学习等方式来自动找出网络故障的根本原因,此次共有382支队伍参赛。由阿里达摩院决策智能实验室和阿里云计算平台组成的团队获得冠军,并受主办方之邀将其中主要算法以论文的形式发表在ICASSP上。
阿里团队MindOps获得竞赛冠军
所谓根因分析(Root Cause Analysis),是指找到故障的根本原因,这是智能运维AIOps的重要研究方向。以云计算平台为例,其稳定性至关重要,但由于架构复杂,模块众多,一旦出现故障,如果纯靠人工来排查费时费力,已难以满足需求。因此,基于机器学习等智能方式的根因分析应运而生。
不过,根因分析的技术门槛颇高,挑战重重。首先是运维数据往往来源于不同系统,形式多样,需要大海捞针找出关键信息。其次是容易被表象迷惑,大型系统中,故障传播的链路往往很长,根本原因可能隐藏在深层次节点中。此外还存在标注样本数据少,异常少见等问题。
阿里打造的根因分析通用框架,解决了上述难题。针对多源异构的海量数据(603138),以时序分析技术来提取关键信息;针对标注样本少,利用时间序列相似性等多种方法来进行数据增强;针对故障传播链路长,运用结合了专家经验和因果图的图算法来找出根本原因。
该框架构建了丰富的算法工具箱和兵器库,已应用于阿里云实时计算、通用计算等多个重要产品中,如Blink/Flink、MaxCompute、Dataworks等,帮助运维人员及时发现异常,快速定位问题根因,准确率达80%以上,相较之前能节省时间一半以上。比如实时计算平台的热点机器问题,会导致负载过高、作业缓慢,其原因链条较长,可能出自硬件故障,也可能是作业本身,人工排查较为耗时,而使用该框架能够快速定位根因。此外,它还能帮助发现较为隐蔽的异常,比如部分机器下线会导致资源不足,迫使一些客户等待排队,这些在常规集群整体作业中难以发现。
根因分析工具箱
此外,基于该框架的一篇论文之前还被国际顶会CIKM2021收录,研究人员受邀作30分钟的在线演讲(Oral Presentation)。
-
郑州市召开“郑州爱眼联盟”筹备会为预防和减少可避免性视力障碍发生,促进学生健康成长,以实际行动落实习总书记关于青少年视力健康的重要指示精神,携手爱心...
-
河南飞播造林,助力筑建绿色生态屏障图片来自河南省林业调查规划院官网飞播造林,助力筑建绿色生态屏障。2019年是河南省飞播造林40周年。记者从河南省林业部门获...
-
老师发朋友圈自省拖堂问题张晟远同学所写的作文。优美的下课铃声响了,我像灌了一大桶咖啡一样,全身的每个细胞都活跃起来了。可是老师的耳朵像塞上了...
-
印尼锡纳朋火山沉寂400年喷发6月9日,在印度尼西亚北苏门答腊省卡罗县,锡纳朋火山喷出大量火山灰。锡纳朋火山位于印尼北苏门答腊省的卡罗县,在沉寂近400...
-
巨型“抹香鲸”亮相江苏南通倡海洋环保这是由海洋垃圾拼制成的巨型抹香鲸图案(6月10日无人机拍摄)。 6月10日,一幅由海洋垃圾拼制成的巨型抹香鲸图案亮相江苏省南...
-
郑州市召开“郑州爱眼联盟”筹备会
2021-05-12 13:38:12
-
河南飞播造林,助力筑建绿色生态屏障
2019-07-04 09:02:36
-
老师发朋友圈自省拖堂问题
2019-06-13 08:54:29
-
印尼锡纳朋火山沉寂400年喷发
2019-06-11 10:23:36
-
巨型“抹香鲸”亮相江苏南通倡海洋环保
2019-06-11 10:23:34
-
防城港抓好应急救灾物资储备库项目建设 着力提升安全发展水平
2022-07-01 09:25:52
-
当前快讯:市领导到卢氏县调研指导工作
2022-07-01 08:59:26
-
【焦点热闻】全市“能力作风建设年”活动政府债务管理专业知识培训会召开
2022-07-01 09:18:51
-
环球观察:高校通知毕业生应聘本校保安?就业服务需“用心”
2022-07-01 08:57:15
-
热点在线丨三部门联合印发通知 部署高校毕业生基层就业岗位发布工作
2022-07-01 09:00:40
-
【环球热闻】哪些海外院校接受高考成绩
2022-07-01 09:04:27
-
快报:商业银行二级资本债上半年成绩单:发行规模同比激增2.5倍 6月份成发行高峰
2022-07-01 08:59:29
-
防城区加快“菜篮子”“果盘子”等产业基地建设 推进乡村特色产业持续发展
2022-07-01 09:24:55
-
实时:招用高校毕业生可享扩岗补助
2022-07-01 09:16:59
-
世界热推荐:美国天然气期货单日跌超16% 6月跌幅创三年多来最大
2022-07-01 09:16:48
-
天天观速讯丨以前求职要“跑腿” 如今“点投”就管用
2022-07-01 09:02:08
-
焦点!80后“女将”卫濛濛上任外贸信托总经理,公司踩雷消金、地产,近半年收数张罚单合计被罚没近1600万元合规问题暗显
2022-07-01 09:14:01
-
焦点短讯!百度全资持股集度汽车、吉利关联公司退出 或为境外上市做准备
2022-07-01 09:00:09
-
天天短讯!市科技局扎实推进规上企业研发活动全覆盖
2022-07-01 09:12:43
-
环球速读:2022年度信阳市科技成果发布暨对接会(茶、食品专场)成功举行
2022-07-01 09:00:15
-
每日热闻!市人社局举行2022年度依法行政专题讲座暨新申领执法证人员人社法律法规知识测试
2022-07-01 08:58:58
-
当前快讯:浉河区2022年城市防汛抢险应急演练举行
2022-07-01 09:15:59
-
热推荐:济源调整高温津贴 每人每工作日涨至15元
2022-07-01 09:00:00
-
观焦点:光山县2022年第一学期主体班开班式举行
2022-07-01 08:57:33
-
世界热门:细化工作措施 全力确保创建工作走深走实
2022-07-01 08:56:17
-
世界微头条丨铁路暑运正式启动 预计发送旅客5.2亿人次
2022-07-01 09:08:11
-
今日热议:强化综合施策 确保如期完成各项目标任务
2022-07-01 09:01:56
-
环球短讯!国航恢复多条国际航线 航线每周往返执飞一班
2022-07-01 09:07:44
-
天天最资讯丨抢抓机遇 积极谋划 加快推进专项债项目入库工作
2022-07-01 09:12:50
-
环球今日讯!国航总裁助理赵阳辞职 去年薪酬为146.8万
2022-07-01 09:09:17
-
热资讯!上海公交车落水司机昏迷,河南兄弟俩徒手破窗救人,家人:他俩都不会游泳
2022-07-01 08:55:42
-
南宁积极维护新就业形态劳动者权益 构建和谐劳动关系
2022-07-01 09:23:24
-
南宁推进各民族互嵌式发展计划 不断丰富民族乡经济业态
2022-07-01 09:21:47
-
南宁市全面推动基层党建提质聚力 探索“党建+”促进基层治理精细化
2022-07-01 09:20:27
-
“一键游广西”项目完成投资近3亿元 初步实现“政务云+公有云”双云融合
2022-07-01 09:19:05