您现在的位置: 首页 > 新闻动态 > 业界动态

人工智能:站在HPC巨人的肩膀上会走的更远

                    栏目:业界动态   发布时间:2017-07-04 10:53:59

无论目标是建立一个更智慧的城市,为智能汽车提供控制中枢,还是提供个性化的精准医疗服务,我们只是刚刚开始了解人工智能的真正潜力。


相比云计算、大数据、物联网和移动互联网等技术,人工智能的崛起速度是前所未有的,在这其中,当然有市场惯性的逐热效应驱动,也有人工智能与实际生活快速结合的商业考量,但更多的,是人工智能带给我们的无尽想象和它所蕴藏的巨大潜力。



甚至于,我们到目前为止很可能都没有真的搞清楚人工智能的潜力有多大:就在五年前,无人驾驶汽车还只是蓝图设计和公司园区里慢慢跑着的奇怪汽车,但现在,我们已经在讨论无人驾驶的时代是在2022年还是2055年即将到来,更不用说全球物流行业正在大力支持无人驾驶货车的实现--不酒驾、不疲劳驾驶、不野蛮驾驶的大型货运车辆,对中国道路交通安全的拯救将是革命性的。


不仅如此,人工智能已经从语音识别、图像处理、智能机器人、无人驾驶领域走向了更广阔的天地,无论是通过人工智能构建更加智慧的城市管理网络,还是将人工智能用于个性化的精准医疗服务从而拯救人们的生命,亦或是在教育领域通过人工智能进行"1对1"的人性化教学,人工智能的潜力随着技术能力的增强和实践经验的丰富,被挖掘的越发强大



渴望计算:被推向HPC的人工智能



人工智能的强化和普及,必然是依靠人工智能的三大支柱的共同前进:(越来越强大的)计算能力、(越来越庞大的)数据集合以及(不断演进和优化的)模型算法,这三者必须同步发展缺一不可,就像一辆无人驾驶汽车:它需要不断通过传感器收集外界的所有数据,借由先进的模型和算法,通过高性能的计算中枢快速处理--没有人(或者准确的来说是车)能够等待慢吞吞的计算之后再做出反应--来"驾驶"车辆,如果你太慢,等待你的要么是难以想象的交通事故,要么是后车司机"比光速还快"的按喇叭速度。


棘手的问题是,无人驾驶汽车被安装了几十个激光雷达、雷达、摄像头传感器,每小时将会生成45TB的数据,这也就意味着无人驾驶汽车的主处理单元大约每秒要过滤和处理大约12.5GB的数据,什么样的计算系统能够处理规模如此庞大的数据并最终得到正确的结果?


看起来,未来的每一台无人驾驶汽车,都像是"一台行走的高性能计算机(HPC)"--这无论是听起来和看起来,到都是一个挺有趣的场景。



事实上,许多人工智能公司都在不经意之间建立起了计算量可观的"HPC系统",并将这些系统用于人工智能的机器学习和深度学习领域,"他们正在从一个完全不同的方向交叉而来,他们在做HPC,而他们却完全不知道。" Hyperion Research的分析师Steve Conway认为,以深度学习为代表的人工智能研究和应用,正在将那些"并不真正了解HPC的公司和组织,推向HPC的领域,而他们对此一无所知。"


"比如说深度学习,就是几个人工智能领域的'暗黑力量'之一,它正在促使建立越来越多的HPC系统,并且规模随着数据量的增长而不断扩大,那些在人工智能领域表现出色的公司,比如说Facebook、Amazon、Netflix、Google以及微软,实际上都在使用真正意义上的HPC系统,而其他的人工智能公司也一定会步他们的后尘。"


虽然已经成为新晋成立的人工智能创业公司Deeplearning.ai的老板,吴恩达在百度负责人工智能业务时的成就仍然值得津津乐道,他帮助百度在语音识别、自然语言翻译、搜索引擎优化和无人驾驶汽车领域得到了领先的优势,而他的大部分工作都是依靠HPC来完成的。


"机器学习真的需要HPC的帮助。"吴恩达说,优秀的HPC对于人工智能来说"是很棒的基础设施",就他的工作而言,像是百度的语音识别,在针对4TB数据的语音识别训练中,百度大约使用了10 Exaflops的计算力,熟悉HPC行业的人都知道,"这是一个非常大的计算量级"。



很显然,人工智能(特别是机器学习和深度学习)需要庞大的计算资源,"随着数据的增长,HPC变得越来越重要,只有拥有更好的HPC我们才能更好的训练(深度学习)模型",吴恩达在2016年ISC高性能计算会议上这样说到:"AI的研究已经持续了数十年,所以你可能会问'今天的AI有什么变化?如何变化?'答案是:现在有可用的大型数据集合(由于我们社会的数字化)和强大的计算资源,这样的组合允许这个领域取得很大的进步。"


于是,不难理解的是:计算是人工智能的发展基础,高性能计算(HPC)则是人工智能最为坚实、可靠的计算力供给源泉,但HPC与人工智能的关系还不仅仅如此……



不只是计算力:人工智能需要HPC专家



"能够快速迭代有关的数据和模型问题的能力直接与AI的进展相关联,这意味着HPC所重视的东西,例如使用大规模(并行)计算、面向密集计算的处理以及高带宽、低延迟的互联互通,这是人工智能未来发展的关键。"——HPC为人工智能所提供的不只是计算力那么简单


很显然,吴恩达谈到的高度并行化、大规模计算、面向密集计算的处理器、高带宽低延迟的互联互通,这些都是HPC领域在过去几年持之以恒去研究和解决的问题,包括加速器/协处理器(如NVIDIA的GPU和英特尔的Xeon Phi)的使用、高性能低延迟网络的普及(如Mellanox的InfiniBand网络)、新一代CPU处理器的快速普及(如英特尔Xeon至强系列处理器),无不都体现出了这一趋势。


换句话说,即使人工智能公司所搭建的系统并不是由HPC供应商所提供,或是他们并不把它叫做HPC,但两者在规划设计、部署搭建时的需求是一样的,人工智能的计算平台即使不是HPC,也可以称得上是"准HPC"


对于这件事,德国佛劳恩霍夫研究所的机器学习专家Janis Keuper博士深有同感:"与现在的HPC相比,我们现在运行的规模简直就是一个笑话,我们应当尽快去弥合人工智能(机器学习、深度学习)计算平台与HPC之间的鸿沟。"


"在很多时候,HPC的那些优秀设计,在人工智能领域并没有实践,通常使用的是工作站和服务器,它们最多是2~8个GPU,但是没有分布式解决方案,许多人都在使用单一计算实体来解决这些问题,因此,如果你的团队中有20个人,很可能每个用户都被分配了5个计算节点,每个计算节点都在一台机器上训练一个模型。"此外,他还强调"我们需要懂得高性能网络的专家。"



Janis Keuper博士为我们提供了一个全新的视角:第一,人工智能最好是基于成熟的HPC平台来构建,因为HPC在过去所面对那些问题,都是人工智能硬件平台现在所面对的;第二,如果你的计算体量较小,比如说开始做测试和验证,那么也最好由熟悉HPC的人来搭建,他们更熟悉大规模并行计算、异构计算、加速器/协处理器技术、高性能低延迟网络以及HPC最拿手的分布式(单一计算模型)解决方案。


此外,HPC社区和专家们在代码方面也有丰富的经验,比如说,某些算法在某些情况下在16位或8位环境下工作的更好,但代码开发和优化是非常困难的;模型压缩工作(从密集矩阵转移到稀疏矩阵计算,深度学习要求低精度和稀疏矩阵和更好的算法)也非常重要,而HPC市场已经在这个领域做了很久。


成熟的硬件系统搭建、强大的HPC(分布式架构)管理与优化、大量的高并行度代码运行与优化经验,这就是人工智能所需要的HPC,换句话说,这就是人工智能所需要的HPC供应商。



联想:站在HPC巨人的肩膀上聚焦人工智能



2017年6月,ISC 2017在德国法兰克福举行,大会公布了第49届全球高性能计算HPC TOP500榜单,联想以17%的系统占比位居全球第二,仅次于HPE,并领先于其他中国厂商,成为HPC领域事实上的"全球第二,中国第一"


联想上榜TOP500榜单的系统可谓"组合丰富":既有莱布尼茨实验室、意大利北方大学联盟、中科院超算中心、北京大学、南京大学等全球知名的教育、科研机构客户,还包括世界最大的风力发电公司维斯塔斯(VESTAS)、中国石油、南方电网等公交能领域的巨头、中国三大电信运营商,以及众多大型金融机构的客户,可以说,在HPC普遍应用的科学计算、医疗健康、生物科技、金融证券、通信、能源等领域,联想有着广泛的、多样化的覆盖。


而HPC TOP500榜单也从另一个侧面证明,联想在HPC系统规划设计、部署建设、管理运维角度已经是全球前列的供应商,这家中国企业所提供的HPC系统,就硬件角度已经成为全球HPC客户的主流选择,并取得了高性能、高效率的表现。




但联想在HPC领域的投入不仅如此,正如我们在文章前面所说,HPC系统领域包括一软一硬:既有硬件基础设施的部分,也有软件的部分,而后者看起来更像是一个"漂浮在海上的冰山"--在"软件"这个简单的名字之下,是一系列包括了计算软件、计算库、调度软件、监控软件、报警软件和分布式文件软件的完整软件生态系统,特别是在计算库、计算优化、代码优化、应用优化等领域,更是考验一家HPC供应商"软实力"的关键所在。


2016年,联想推出深腾X8800 HPC,它的核心是一套被称为联想智能超算平台LiCO(Lenovo Intelligent Computing Orchestration)的HPC平台级产品,集成了计算库、调度软件、计费软件、集群管理软件、集群监控软件和报警软件、分布式文件软件,并通过集成Web界面,降低用户的使用门槛。与此同时,通过开放的接口,为二次开发和定制化提供支持。


不仅如此,LiCO可以有效提升HPC硬件节点管理水平,配合具有国际品质保障的联想x86服务器产品,能够为E级超级计算机提供可靠性的保障,从而确保上万以上节点所需要的可靠性和稳定性——可以说,联想HPC+联想LiCO,构建的是一个"坚实可靠的HPC巨人"


仅仅是做到HPC巨人对于聚焦人工智能的联想来说还不足够,现在,随着人工智能时代的到来,随着人工智能和高性能计算相互借鉴、融合的趋势,随着人工智能对高性能计算的支撑力需求愈发迫切的显现,联想正积极地推动从HPC的角度推动人工智能。


首先,联想毋庸置疑有着完备的HPC产品线,为HPC用户提供从标准机架服务器到高密度服务器的一系列硬件基础设施,为客户搭建的HPC遍布全球各地的超算中心,它们中的不少正在被应用于AI或相关领域的研究;



其次,联想正在进一步优化强化LiCO平台的能力,为其注入更多专门针对人工智能应用需求的特性,针对深度学习平台的搭建、调优、兼容性测试、应用整合提供了大量的新技术、新功能,让用户能够用于科研、加速科研,而不是关注平台本身,以帮助各行业用户实现智能化业务系统的部署,满足他们为人工智能应用快速构建起进行人脸识别、自然语言处理等多种深度学习解决方案的迫切需求。


此外,在AI工作负载日渐普及的IPDC行业,联想也搭载了全球领先的GPU技术的5000个计算节点正在被用于深度学习应用--依靠它运行的消费者购买习惯分析算法,正服务着京东全国6000万客户。


不仅如此,联想与英特尔、NVIDIA、Red Hat等合作伙伴所建立的长期、紧密的合作关系,以及围绕着联想的庞大生态环境,也为联想借助HPC实力,聚焦人工智能行业发展,帮助人工智能用户快速提升计算性能、优化计算效率、构建完备的人工智能、深度学习、机器学习系统级平台,提供了坚实的基础和先进的技术能力。


可以说,联想已然成为HPC巨人,而联想的人工智能战略,则是站在HPC巨人的肩膀上推动人工智能领域的发展。


2017年,这是被称为"(中国)人工智能元年"的一年,无论是技术独到的创业公司,还是积累雄厚的企业级IT供应商,或是用户广泛的互联网、社交媒体巨头,无不将目光投向了人工智能,而人工智能的发展,必然伴随的是更大规模、更高效率、更具特色的计算平台与计算力的发展,HPC与人工智能之间的相互借鉴、相互融合显然会越发火热。


HPC与人工智能的交互,代表了逻辑处理与数值密集型计算的结合,在学术、商业、工业和政府环境中,这种交互将是热烈和频繁的,HPC的数据密集型统计分析和优化以及人工智能的搜索算法与专家系统,还有前者的大规模部署与后者的深度学习、神经网络、机器学习,这些概念的融合,将会深刻影响人工智能、高性能计算乃至整个IT行业的发展,这里面当然有挑战,但更多的则是机会。


很显然,那些具备了强大的HPC能力的人工智能从业者们,将会占得先机,对于他们而言,找到HPC专家的方法或许并不难:去看看HPC TOP500榜单是一个不错的办法。


*本文原载于《洞悉数字经济》,作者崔昊