华为技术有限公司陈亚新:运营商大数据平台建设思考与实践

2017-10-31 11:05

  最后一个是自动化,人工智能是现在很大的风口。华为基本的观点,人工智能应该等于大数据+机器学习。六十年前画了一个圈,我们是逐渐把这个圈缩小,从人工智能专家系统,又机器学习,又深度学习,一直变小。越来越接近于人所期望的一种状态。但即使是这样一种情况,我们想一想,现在大量的大数据的应用还是基于传统的工作模式开展,什么意思呢?首先由人或者专家圈定一个业务方向,再由机器验证是这个问题,人再考虑怎么解决。其实我们希望未来的商业模式,机器会告诉你我发现一种新的数据模式,但是我不知道这个数据模式意味着什么商业问题,人上去之后说这个问题值得考虑研究,机器去干,由人机人变成机人机。并不是说现在就一无是处,其实有大量的运营场景,包括运维、故障定位的,从大方面来看,人工智能在行业里面还是拿着锤子找钉子的状态。我们的观点是人工智能重在商业场景,算法已经具备了,但是钉子在哪里?

  回归运营商,我刚才说华为公司在2014和2015年的时候,在运营商领域生根的范围是大数据平台,大数据平台是什么?我们认为运营商领域大数据平台想象成一个花瓶,里面有水和肥料等等,这是基础,但是这个基础的目的是为了更好支撑应用的开发示范,所以运营商领域比较有名的场景是三个智慧一个开发。刚才讲到了管理,智慧管理,还有很多的问题要去解决,运营商庞大的网络资产的运营是很重要的运营场景。

  刚才魏总讲的大数据应用的现状,以及下一步的期待做了,我们也认为未来大数据会无处不在,它的组织形态可能变成一个企业里的大脑会带很多的小脑,这个小脑就意味着潜入生产中去,并不是所有的计算都要汇入到大脑中去,应该是大脑加小脑的协同机制。

  第二个维度,其实是从应用,特别是刚才说的三个智慧加一个开发的角度来思考,这些应用的开展到底需要什么样的公共数据服务来去沉淀。这里面举两个例子,第一个例子是运营商数据网络之后的VOLTE业务开展,用户体验的管理其实是运营商比较大的挑战,一个常规的VOLTE通线多个接口,根据不同的网络形态和模式,涉及到10多种呼叫子流程,客户体验不好,如果按传统的方式处理很难。用享用运营商的产品,这个产品需要由很多网络能力提供,这个网络能力对应着不同的单板和设备,这套流程如果处理不清楚,而且数据都需要在很短时间内捕捉蛛丝马迹,这种对于数据的理解就会变成很大的挑战。第二,运营商为什么强势,华为公司做了四年都没敢说把坐明白了,因为运营商的涉及到不同的方面,涉及奥完整性、准确性、精度、时效性,如果不去做好公共服务,每个数据都从原始开始加工的话,这个数据的竞争力肯定是不行的,所以我们才会想怎么做好公共的数据服务。数据的关联性的处理运营商大数据平台的又一个很重要的历史。

  下面详细的跟大家分享一下。我们为什么做?2010-2011年的时候传统运营商就是面临数据仓库挑战,那个时候计算规模达到了TB级,月末月初的时候为了给领导交一份完整的报告,需要熬很长时间通宵,而且发现有的系统越来越慢,结果出来的时候越来越延时,有的时候领导9点开会,你11点才能交报告。那个时候华为的架构出现了瓶颈,也正好在那段时间,运营商的IP网络开始投入生产,所以出现了类似像客户提供详单查询服务,以及提供网络信令数据处理任务,这些处理量已经不是传统的架构所能承受。技术和业务的发展在这个时候提出了新的挑战。

  我到华为公司已经十七年了,华为公司在运营商领域大数据,如果从传统的数据仓库开始算起的话,我回顾一下华为公司已经十一年了。这十一年的历史,华为公司给了自己很多的定位,一开始可以帮运营商构建数据仓库,但那时候数据仓库的主导权是国外厂家在把持。到了2010年前后,我们开始考虑做顶层的技术设施,包括华为公司的云计算,所以我们开始关注工具型产品的套件的研发做了MPP和Hadoop。在2012-2013年的时候,华为因为做过一些核心的部件,所以华为重新思考我们的定位是什么,我们经过蛮长时间的探索和摸索,我们从机构到平台,这个平台又是什么?这个过程中也做了许多探索。从2014、2015年开始,在运营商合作中的积累,我们把这些和产品服务跟合作伙伴带来了各行各业。

  很重要的一点,因为做大数据的人肯定会接受数据,会接受海量的数据,不是单一靠技术手段所能的,还有问题和风险,相应的安全管理的规范制度、审计流程,线下的组织层面是要考虑的。华为跟运营商合作过程当中,也在管控我们的数据公司。

  接下来我给大家分享一下华为在运营商领域十多年大数据的实践与思考,希望在接下来的时间,在大数据的这场马拉松的过程中,华为能给客户和合作伙伴一起携手往前走。

  基于这些领域和方向,华为公司经过这么多年的实践,总结出了我们应该做,或者是努力做好的事情。刚才说了第一个是开发,我们认为运营商企业到这个平台,无论是集中,逻辑的集中还是物理集中等等都是,集中就意味着,要去做。第二个是融合,还有一个是云化,平台的架构进一步的演进。既然做 平台,又做了数据融合,又做了云化,安全也是很重要的,大家也知工智能其实是社会的一个风口。刚才也说 让自动化嵌入到各个环节里面去,尤其是人工智能自动化,这五个方面,十一个字,从华为的历史过程当中,华为认为是要花很长时间要努力做好的事情。

  刚才说到我们在提倡汇集落后的数据资产,提供数据服务,安全就蹦出来了。尤其是在我们国家把网络定义成第五空间之后,安全的压力会承接在运营商高层、中层各个环节。安全的范围很广,我们只关心大数据平台本身的安全。从我们的视角上来看要解决三个法规问题,第一怎么和证明这个平台内部安全,不同的数据库安全的保障,以及对于用户信息的管控和虚拟置换等等。第二,我们做大数据突然意识到,原来运营商的网络和BIS是两个预测很难的,做了大数据之后发现把这两个域打通了,这两个是在大数据实施的时候比较头疼。就以服务一样,有一些是离线,有一些是实时在线,这些都是来自于网络。你做大数据的时候,本来是两个隔离的网络挡住了以后,很多网络级安全控制就要重新考虑。你做大数据理论上能到潜在的风险是不是有叠加上手段,这些就是我们对于大数据内部的小安全,仅仅说是小安全,我们的一些实践。

  回归到大数据平台,三个智慧一个开发,华为公司愿意跟所有的合作伙伴一起,从运营商走到各个行业,我们的合作模式五大类,现在的八大场景已经投入比较多了,也希望有更多的合作机会,使得大数据真正为社会解决一些商业问题,合作共赢,谢谢大家!

  最后我们总结一下,华为公司做大数据平台的五个特征。很核心的一点,平台本身不会做价值闭环,真正的价值闭环还在运营商内外部的应用,你是不是有更多的开发者,你是不是有更低的门槛。更多的数据、更多的服务、更多的最终用户、更多的开发者,这些东西更好就意味这你为大数据提供了核心的要求。

  (CWW)华为近日,由人民邮电出版社主办的“2017第四届中国国际大数据大会”在新世纪日航酒店举办,本届大会以“数据驱动,智能引领——共享数字经济新机遇”为主题,聚焦大数据全产业链创新与发展,务实推进大数据在各行业的落地应用,深化产业交流对接,引导产业与行业的融合合作,助推大数据产业务实健康发展。技术有限公司中国区运营商大数据总经理陈亚新,在会议现场发表了“运营商大数据平台建设思考与实践”主题。

  无论是传统云业务、移动互联网业务,用户的存量经营一直是运营商的核心,这三个领域的智慧我相信在未来很长时间还是运营商的核心。当然大数据来了以后,大数据能不能进到各行各业,社会很期待,这也是很重要的思考领域。

  正是因为考虑到这些核心的需求,华为把平台的云化提上议事日程。云华本质是要提供服务,大数据平台核心服务,基于角色我们定义出来三大类。第一类是最基础的,资源服务,无论是虚拟机还是物理机,哪怕是存储空间,包括网络代发,这些服务是不是能够被开发者轻易获得。我原来做大数据的应用有三个等待,一个等待资源到位,这个遥遥无期,第二个等待数据整合,所以我们后来把数据服务作为大数据平白的标准核定的服务提出来,这个数据服务为什么服务这种就是一个很典型的服务,可以跟应用无关,但是又是被各个应用所调用,这种公共的服务能不能做到可用、易用、成本低、准确性。还有一个,大家知道做数据测评、分析、挖掘涉及到大量的工具,这些工具由原来的自己干自己的能不能变成服务?这三大类服务是云化的核心。因为大数据平台是运营态,没有规矩不行,除了这些服务以外,相应的管理制度,或者说相应的应用开发的规范,作为一种软能力必须要思考。只有这三类核心服务做到了,才有可能使得大数据平台能够把应用呈现出来。数据没有变成服务之前,数据的准确,从提出需求到进入生产调试,最差的环节是体验三到六个月,如果需要等待很长时间,原来一两个月都是很正常的等待,服务化之后能一到两周,当然自动化、一键式安装也能省精力,云化的核心就变成三类服务。

  要去做的平台,华为公司,包括我们的客户遇到的第一个事情就是融合。在运营商里面大家经常会听到多域融合,我们遇到的第一个挑战是大家陷入争吵,到底这个平台是应用驱动来建,还是技术驱动来建,或者是数据驱动来建?这个讨论是比较激烈的。无论是从哪个方向考虑这个问题,都有独特的视角。但是华为公司在这个过程当中也走了很多弯,最后我们选择一种上下齐手的方式,基于运营商的数据来提供基础平台,运营商的数据资产不管怎么采集就在那儿,华为公司对运营商的网络和业务以及运营的理解,我们一门心思在整理运营商数据资产目录,这是一个维度。

  与此同时,其实我们也发现,运营商的各个业务部门对数据和数据分析服务的海量,这正好提出了2011年的那段时间整个运营商业务转型开始,网络转型开始,所以对数据服务的爆发式增长。基于数据业务这么发展,原来传统运营商以部门为单位,各干各的,最后需要打通用户、业务、网络,甚至可能要从财务的视角,从管理的视角进行流程的时候,很多数据服务和数据分析无从下手,或者是时效性不够。这个时候平台和业务分离就很重要。作为平台的被提出来了,这是市场的重新选择。

  有了有了数据,是不是这个平台就能起来了?这个挑战也是蛮大的。因为任何一个行业,大数据都有行业的特征特性,大数据如果运营的好,涉及到里面的组织形态、技术、业务能力、商业设计等各个方面。从运营商的视角上来看,你发现运营商领域做大数据平台规划和建设的关系人和业务的使用部门,包括系统和业务的人员,不同的角色其实都会有自己核心的独特的。总结来看,从我们华为公司做大数据这么多年的实践来看有两大,第一是跨地域、技术异构大容量的大数据平台你能不能处理的好,第二是不是能够把场景化定义出来,符合各个角色的期望,并且让它易用、能用。这些核心的不得不去处理好。