互联网+ 电子商务 智能家居 地理信息 高端装备 信息安全 3D打印 工业4.0 人工智能 光伏 新能源汽车 消费品 集成电路 移动支付 汽车 数据中心
2018世界人工智能大会·边缘智能主题论坛
当前位置:首页 > 产业动态 > 战新 > 新一代信息技术 > 正文

紫光西部数据副总裁东猛:创新数据存储打造“云的基石”

发布时间: 2018-03-27 12:47     来源: 满天星

  2018年3月22日,“2018中国IT市场年会——工大数据与云计算高峰论坛”在北京香格里拉酒店隆重举行。紫光西部数据副总裁东猛在大会上发表了主题演讲。
紫光西部数据副总裁 东猛
  以下为演讲实录:
  各位领导、各位嘉宾大家下午好,我是东猛,来自紫光西部数据,今天我们下午的分会场是非常有意义的,我们今天共聚一堂,探讨整个的信息科技最底层的技术,其实也是帮助我们每个人理清思路共同的赢在未来。我们紫光西部数据今天想跟大家分享的一个就是创新数据存储,共同奠定“云的基石”。
  刚刚很多嘉宾也分享了,包括北大的杨明刚院长,在目前整个的云的架构时代下,数据已经得到了一个爆炸性的发展,有相关的国际分析机构也共享了一个数字,预计到2020年,全人类社会会产生有用的数据44个ZB,如果从业者对于ZB不是很熟悉的话有一个形象的比喻,一个ZB相当于一百万个PB,相当于十亿个TB,个人用户几年以前对于TB还觉得是很庞大的数字,但是我们现在的笔记本,移动终端非常习以为常了,同样我们政府企业用户,谈到PB的时候,在之前觉得PB是很遥远,其实我们越来越多的跟我们行业,跟政府沟通的时候,PB已经成为他们日常需求了,还有一个数字,在整个云的架构如火如荼的推进,各种新兴的,无论是宽带技术,5G技术和人工智能的推进,到2020年,之前44个ZB很保守了,我们人类面临的真的是数据爆炸时代,数据海洋的时代。
  整个数据爆炸性增长,在云的整个环境里面会带来什么问题?这些数据能不能得到有效的获取,我们这些数据可不是仅仅意味着生产完之后就可以丢弃,我们现在谈人工智能,谈区块链,谈机械学习,这些数据是要经过海量的培训,海量的分析,这些海量的数据能不能获取,同时能不能通过性价比高的方式把他存储下来,并且加以分析利用,这些都是在整个云的发展过程中,对于数据的变革带来的一些重大的启示。
  这样的一个变革情况下,数据的性质和数量已经发生了天翻地覆的变化,我们数据的价值怎么才能实现,数据的获取,处理,存储,其实在整个的,无论是公有云,私有云,混合云。离不开两种技术,一个是数据库,我必须要通过一个结构化,非结构化手段,形成一定的梳理和逻辑,另外一个就是大家非常熟悉的虚拟化,无论是计算资源,网络资源,存储资源,我一个企业如果上云,必须要把他过去传统的,独立的,物理的IT资源进行处理,能够尽大可能分享给更多的用户,按需提供云计算能力和存储能力的服务。这两种面临的数据不同属性,首先对于虚拟化,如果我在整个的计算,网络,和存储的虚拟化过程中,无法解决一个瓶颈,当我很多的用户,云的用户,无论是私有云内部用户还是公有云外部用户,使用行为集中出现的时候,整个的IT架构能不能支持这样一个虚拟化的未来发展。
  回到数据本身,存储系统能不能用到最优化的架构,来支持整个云的虚拟化进程。回到第二个数据库,越来越多的数据,已经不是仅仅几千个文件这么简单,经常有一个数据统计,很多用户都不知道在整个云的环境里面已经达到千万和亿级的数据文件,为什么呢?用户说我没有那么多文件存在IT系统里面,不要忘了,在每一步云的处理,相关的传输,碎片化的计算里面,会产生很多的几何级数的中间过程数据,这些数据累加起来,当他达到一亿以上的时候,你的传统数型的结构很难掌控。如果我用一百级的文件系统检索目标数据的话,带来整个IT架构性能延迟和整个性能的瓶颈是非常可怕的,所以如何面对海量数据和传统数据库新型的,无论从文件的体量和文件的数量,我们都对于传统的数据价值挖掘提出了新挑战,只有克服了两个关键要素,数据库和虚拟化,我们才能对数据深入的分析,洞察,而不是仅仅成为数据的拥有者,其次我能够很快的,及时的响应用户需求,实现企业相关的决策,带来企业的决策力。最后我所谓的人工智能和深入学习,才可能带来企业未来的前瞻性和长远的运维的决策能力。
  我们基于此,提出一个观念,在云时代下,如果做数据的创新,可以抓住一个观念,叫数据极化,让我们每一个用数据的企业,无论是云服务的提供商,还是我们最终的用户,你要明白你面临的数据,最终是要怎么用的,我们把他分为两个极端的场景,如果你的数据是用在虚拟化的启动风暴里面,如果你的数据是用在实时运算,高频交易的场景里面,不妨把他起个名字,叫快数据。这样的数据具有非常典型的特点,通常本身体量都不大,不会大到几千个以上,反而要求的是小文件,极致的处理速度,延迟一毫秒以下,零点几毫秒,我们需要关注如何从计算到网络,到存储越快的处理,同时把整个性能推到极致,快速的处理方式。反而我们还有70%,大量的数据是什么?刚才说了,我们的视频,我们的图片,我们的文本,以及其他各种各样的海量的数据,我们把他统一定为一个大数据,这个大数据的特点,首先这些数据你真的能够存下来吗?如果随着5G时代的到来,包括现在越来越多的用户需求提高,你的这些数据,是不是真的能够保留下来,而不是像过去,我可能有一个电影的动漫工厂有一个例子说,如果能够从头再来,我可能再拿一次奥斯卡奖,为什么?美国做成最终影片的时候,抛弃了五百个同等质量的样片,为了保留最后一个。最终保留下来的样片是不是最佳呢,他没有办法确定。这样的例子以后会越来越多,随着我们人类对于生活品质的不断追求,我们手机容量只会越来越大,各种照片越来越多,没有人会接受我的容量越来越小,所以整个海量数据必须有一个手段,把他有效保存下来。同时保存下来,还要进行处理,还要进行分析,这样才能真正实现我们数据的有用性。这就是70%,占整个数据70%的海量数据面临的两个课题,一个就是有效存储,还连的有效存储,还有一个深度挖掘。
  回到我们现在各种云的平台里面,我们会面临什么样的困境,什么理念,把数据的创新真正形成我们所谓云的基石呢?刚才很多嘉宾提到一个关键我很赞成,首先云是跨地域,跨空间,跨时间的概念,云能够让所有的数据触手可得,我们觉得云首先需要一个统一的命名窥见,他所有数据囊括在里面。我们怎么做到所谓的统一空间实现云的创新,我们有一个医疗的客户,现在有一个非常时髦的概念叫医联体,三个城市三个医院,华东医疗创新他们做的还是比较成功的,很多数据,文档病例是要共享的,这个医生诊断过程中,不可能在一个文件服务器上转来转去,他需要一套服务系统,把影象和数据做实时共享,好多应用可以写在3D的共享数据平台上面,我们就提供了这样一个3D共享的数据平台,一共加起来20个P,相当于是一个统一的,共享的数据空间,形成这样一个3D医疗云存储平台,帮助我们三个医院用一个存储平台,形成方案。
  第二个,很多人关注的是数据真的能不能做到在云的情况下,有效的检索和处理,刚才有两点,一点就是我的虚拟化的瓶颈,有没有办法解决,我的数据库是不是存在一些数据上的处理瓶颈,可以通过我的技术进行解决,这里面一个现象,我的CPU,摩尔定律越来越快,内存越来越大,同时我的存储已经成为了一个趋势,我们跟很多央企,政府客户谈,我们很多传统的不接受全新的闪存技术的大国企,今年都在谈全闪存,有两个含义,一方面能够优于磁盘的堆叠,会利用企业级的性质,把整个闪存的性能发挥到极致,他是为闪存而生的架构,整个架构越来越成熟,这是一个趋势。第二,紫光集团有这样一个使命,让中国的闪存市场做的越来越本土化,现在国家帮助紫光在运用自己的闪存芯片产业,过去说到存储就两个企业,一个西部数据,一个希捷,全世界的硬盘,无论是谁,用的就是两个厂家。但是在闪存时代,中国终于有机会有我们自己的闪存品牌,从底层开始做,国家帮助紫光这样做,紫光也在秉承国家使命,真正让我们闪存技术从底层用到国产化,未来五年左右闪存成本会大量降低,让我们很多技术人员看到了,如果不拥抱闪存,当这个时代到来的时候,很多架构,很多IT性能,远远落后于同业的竞争者。传统的文件架构,一百G以上的文件,一亿个文件怎么检索,用对象存储的技术,用扁平化的原数据,刷是有一个形象的比喻,带客泊车,我不用记我到车到底怎么拐,只要给我一个编码,可以查到我的车具体停到那里,对象存储就是面向海量数据的,非常有效的存储技术。我们用这样的技术,比如说我们的金融客户,多少视频监控客户,以及越来越多的媒体客户,当他的数据这么大的时候,我们可以用对象存储的技术。
  最后一个,某某某幼儿园因为服务器硬盘坏了,监控调不出来,对于数据从业者这是一个笑话,为什么我们推崇企业级的存储架构?一个数据在里面绝对不依赖于一块硬盘的寿命。建议我们的行业用户,我们的企业用户,各个政府用户还是用到我们企业级的存储技术来,保证数据的安全。这是第二个案例,某一个区域的平台,他把各个区的委办局,办事处,社区,把他的一个数据进行打通,用底层的数据共享平台实现公开,既有我们海量数据共享,也有在办公人员虚拟化的时候访问瓶颈,很好的帮助我们客户实现这个性能。
  刚刚我简单介绍了一下紫光成立的背景,由清华紫光集团控股,2016年3月成立,紫光从芯到云,既有移动互联网芯片,也有企业云,存储解决方案。西部数据是全球领先的存储解决方案提供商,也有源于硅谷的闪存技术,我们共同携手成立了紫光西部数据,同时我们是国有控股,建立存储系统的厂商,我们的定义定位,我们用全新的存储技术,全新数据技术,建立全新的存储架构,给我们的市场全新的存储解决方案,我们希望成为这个市场的创新者,不做传统的磁盘阵列。我们很多的产品是既有国内的研发本地化,也有来自于全球的,经过若干年全球市场验证技术的背书,我们把他进行国产化,真正做到安全可控。我们最新一代的闪存系统,可以达到延时低于0.1毫秒,压缩成山可以达到四比一,可以解决很大的,我们云的虚拟化瓶颈,海量数据业内最高,单机柜6个P,也是基于西部数据的硬盘技术。
  我们立足中国,以服务中国的企业和整个的行业发展为己任,我们也有在南京的创新中心,做本土化相关应用开发,我们也乐于深耕,和广大合作伙伴一起,携手共赢,谢谢大家。

收藏