星空体育(XK SPORTS)官方网站- 返水最高、赔率最高、彩金最高网站首先弹性EC。EC是分布式存储通用的技术,同样的可靠性情况下,利用率可以增加很多,三副本利用率33%,通过EC,利用率可以达到66%,甚至可以做到更高。华为EC做到22+2,利用率高达91%。把EC利用率做高不是大的问题,关键一个问题需要解决,EC会带来的一个写惩罚的问题,EC高性能下降越快,如何在性能和磁盘之间的均衡。我们现在是通过弹性EC可以实现相同可靠性下EC的性能与副本持平,在利用率提升下性能还不降,这是我们独特的地方。记得今年三月份的时候深圳举办的多IT分布式存储的分会里面,也有人质疑,你不可能做到的。我们也在向大家邀请,大家有质疑的,可以到项目里面测试,到华为实验室一起测,这是一个开放的态度。
第三,端到端DIF。如果存储服务器出现了数据静默错误,会导致了文件系统源数据损坏,对于初创企业丢失了创立以来业务数据和业务数据,基本上公司就毁了。数据静默错误或者对数据一致性不重视产生的教训由此可见。我们在三个方面实现端到端DIF,第一个在线校验,写入磁盘的检查校验位。磁盘本地会做周期性的校验,在业务量比较低的情况下,避免数据静默错误和跳变。在数据读出的时候主机还会做一次检验,确保读出数据和磁盘数据一致的,数据出现不一致怎么办,优先通过本地副本、EC分片恢复,本地副本和分片都坏了,通过异地容灾中心副本做恢复。
除了节点数可以增加,容量可以增加,针对对象存储,华为还关注能够承载对象的数量,华为做到单桶1000亿对象。性能衰减比较快,也是业界的难题,华为解决了这个难题,可以让通常的业界比较多的单桶千万级到十亿级,扩展到千亿级,很多地方有应用场景的,某大城市交警的卡口,有20000个交通摄像头,还有像金融、车联网,按照国家规定网联汽车每15秒钟上报一次认证信息,未来数百万上千万辆网联汽车数据每15秒上报,这个量有多大。在实现数据对象增加的同时,我们还实现性能不降的,性能稳定的,这个我们经过第三方机构测评,有真实的数据和报告。
前面讲的是技术,接下来讲一个方案,大数据存算分离的方案。通常大家心目中大数据就是一个服务器既有计算又有存储,计算存储离的近,确实是一个优势星空体育(XK SPORTS)官方网站- 返水最高、赔率最高、彩金最高网站,但是我们大数据应用中发现,企业大数据业务计算存储不是均衡的,像运营商日志留存系统,这些数据存进来只是偶尔查询,计算需求非常低,存储需求非常高,存储不足的时候扩一台服务器,存储扩了计算也跟着扩,对资源系统很大的消耗,因此我们要做大数据的存算分离,华为提供了原生的接口,把大数据接口分出来。
第一个中国移动辽宁分公司。辽宁移动和我们合作非常早,从2014年开始第一次合作在开发测试环节应用分布式存储,现在分布式存储已经达到了10多个PB。最新今年把最核心的BOSS系统迁移到分布式存储。还有经营分析,时延从九毫秒降低到两毫秒,提升了五倍,原来做一次分析需要60个小时,现在只要10个小时。经营分析对企业的价值是可以及时调整策略。第二个是招商银行,招商银行和我们合作比较早,2015年开始,开发测试环节后来分布式存储替代,VDI,数据库大数据,今年在大数据场景合作,使用存算分离,精准营销,提供四种存储类型。还有这样一个大数据存算分离的案例,新加坡S公司以前使用开源Hadoop承载研发的日志的数据。原来是需要15个机柜,EC利用率仅66%,通过OceanStor分布式存储,我们把计算和存储分开,计算只需要两个机柜,存储通过两个方式实现节省,第一个方式EC利用率提升91%;第二是使用36盘位替代,机柜数节省了46 %,单机柜节省64%。
HASHKFK