曙光ParaStor十年记:做存储的坎他们都遇上了!

  大众创业时代,人们常谈“自研”。但在国内存储行业,将“自研”付诸实践,坚持10年的企业却没几家。

  但即使用10年时间,自研出代表行业先进水平的产品,生存和发展的压力仍在每名研发、产品、运营人员的肩头。

  这或许印证了中国存储人、中国IT人的使命抓住海量数据爆发的时代机遇,成就一款众人皆知的经典产品。

  下面讲述的,是中国最早自研分布式存储产品中科曙光“ParaStor”的10年往事。愿这些过往能给同为追求极致的IT人些许帮助和启示。

  站在中科院计算所大楼,眺望施工不断的中关村,已过而立之年的苗艳超,下定决心离开工作多年的计算所去企业。

  当时,鲜有人谈大数据、人工智能,少数国际厂商开始讲“分布式存储”。站在存储发展的十字路口,各大厂商开始了对未来的争夺。

  随着曙光服务器进入更多行业和领域,突破存储瓶颈成为当时要务。但此时,曙光还未有自研的,满足高并发IO需求的商业化存储产品。

  而苗艳超所在计算所智能中心,便一直研发有高并发IO特点的“集群文件系统”,但这些研究成果只停留在课题中,未形成商业化产品。

  “Parastor立项就面临技术路线选择问题,一个是以磁盘阵列作为基础部件;另一种是以x86架构的高性能服务器为底层硬件,数据冗余机制由上层文件系统负责提供的分布式存储系统。”苗艳超回忆。

  此时,为减少对大厂存储技术依赖,六合开奖。以及跟上“大数据”时代技术趋势,结合曙光自有的产品生态和优势,苗艳超和同事选择了更具前瞻性和挑战的分布式存储系统研发路线。

  但此时加上苗艳超,初期的ParaStor研发团队只有不到5人,相比同类厂商动辄上百人的研发队伍,连零头都不到。

  为加快研发进度,当时每人都领了不同产品领域去研究,经常半夜谁有想法就爬起来发邮件,一起讨论可行性。84384现场报码

  最终不到一年,ParaStor1.0便问世了。如今看来ParaStor1.0很原始,仅支持副本冗余,没有纠删码等如今“分布式”存储系统必备的技术,但它为ParaStor的发展明确了方向。

  2010年,ParaStor从1.0升级到1.5,这是ParaStor第一个商业化软件版本。为建口碑,当时团队内部定了一个目标,有BUG必须24小时内解决。很多BUG都是当天发现,研发团队通宵修改,第二天客户上班,BUG已解。

  最终,初出茅庐的ParaStor以高性能和良好的扩展性获得首批客户的认可,该版本也为国内首台性能超千万亿次的计算系统“曙光星云”,构建了当时国内最大的单一存储系统(16PB)。

  此次成功部署,使得“曙光能做分布式存储产品”的理念深入公司内外,从此ParaStor步入了高速市场化发展轨道。

  “三年后,曙光存储要占领国内10%的市场份额,进入存储主流市场”2012年7月,时任曙光存储产品总监惠润海,面对发布会现场记者立下战书。

  惠润海立下战书后不到半小时,现场就有媒体提问“在国际厂商抢先进入市场的背景下,曙光靠什么获得主流客户的认可?”

  对此,惠润海表示,曙光的立身之本有两点:一是要靠自主研发,掌握核心技术,应对海量数据增长所带来的一系列挑战;二是在行业深耕细作,通过对行业应用的快速适配和深入优化,打造差异化优势,实现重点市场的逐个突破。

  相比于2009年,此时已进入“大数据元年”,中国互联网产业在起飞。当时IDC研究报告显示,大数据技术和服务市场至2017年的增长率可达27%,增速是整个信息和通讯技术市场的6倍。

  但就在惠润海立战书的几天前,连媒体也没几人知道ParaStor。不知道ParaStor的,还有将成为ParaStor研发工程师的郭洋。

  2012年,在国内某IT大厂做存储产品的郭洋,决定从原先安稳的公司来到曙光。但在网上搜索自己要在新单位开发的产品“ParaStor”,却找不到太多信息。

  “当时的分布式存储还是国际大厂的天下,国内的产品严格上讲仅有两家,曙光算一个。此外,当时类型相近的国际大厂分布式存储产品价格是国产产品的五到十倍。”郭洋回忆。

  当时ParaStor面临的最大问题之一,就是如何提升存储空间利用率,根据团队之前的积累,实现这点对郭洋和他的团队并不算挑战。但相应的产品测试与验证调优,则是考验团队专业性的时候。“要考虑用户端可能出现的各种情况,要做多种排列组合数量的测试和优化。”郭洋说。

  在实现ParaStor升级的过程中,郭洋也理解“做到极致”的曙光产品理念,以及曙光存储坚持自研的原因。

  在一个CANU三代基因组装测试项目中,用户要求曙光ParaStor的性能必须超越某厂商宣称的“代表业界最高性能”的同类产品,才考虑把其业务迁移到曙光平台上。

  面对新挑战,郭洋和同事在两周内,将整个业务流程各阶段(涉及几十个进程)的数据IO特点梳理成报告,并同同事一起从底层代码逐一调优,最终用户计算用时从9.2小时降低到7.3小时,实测性能超过友商20%以上。

  就在郭洋和同事精益求精,不断将ParaStor产品性能做到极致时,市场也向曙光递来了橄榄枝。

  2013年,ParaStor2.0版本发布,增强了数据保护机制,可为用户构建数据全生命周期管理的一体化方案。同年,ParaStor为央视国际打造6PB存储资源池,并在全国多地中标气象局、环保局项目。

  2015年,据IDC报告显示ParaStor在国内NAS市场排名位居第一,营收同比增长42.6%,占全部NAS存储市场份额21.6%。三年前惠润海下的战书达成了,直到今天ParaStor一直保持国内NAS存储市场占有率的前两位。

  2018年夏的一天夜里两点,在睡梦中的曙光存储运维工程师吕山被客户的电话惊醒。

  当时一位江苏的视频存储业务客户,因操作不当导致后台出问题。吕山立刻利用客户提供的安全通道登录系统,查看日志,最终与同事一起找到问题并解决。

  存储作为数据中心的核心之一,任何架构、系统、应用的变化都有可能导致问题。这就需要曙光的存储运维人员耐心、负责地提供各种咨询、服务支持。

  2015年前后,随ParaStor产品销量增长,运维压力增加。“行业不同,客户运维人员水平不一,导致运维的个性化需求不同、复杂度增加,这就需要我们坚持本土化服务,解决用户痛点。”ParaStor产品经理石冬林说。

  河北姑娘石冬林,2012年研究生毕业即加入曙光存储产品线年起担任ParaStor产品经理,主要负责分布式存储产品定义、市场推广与运营工作。

  市场对存储产品的要求也趋于多元,相比满足单一的云服务、虚拟化等应用,如今客户希望不同应用之间实现数据灵活流动。

  ParaStor如何应对新市场的挑战,成为石冬林和同事不断思考的问题。目前石冬林给出的方案之一是“融合”。

  “融合性,简单举例来说,就是ParaStor除了支持文件、对象存储外,今后还要支持块存储。一套存储应对用户不同的业务需求,实现融合。”石冬林说。

  相比传统分布式存储产品,如今曙光ParaStor已成为省、市级别先进计算中心的首选存储平台。“在先进计算中心,ParaStor融合非结构化与结构化数据存储,融合通用计算、大数据、AI等业务应用”石冬林介绍。

  曙光存储事业部总经理惠润海表示,“ParaStor产品历经十年发展,过程特别不易,测试、产品、售前到售后支持都非常不容易。所有人都全身心地投入其中,就像呵护自家宝贝一样陪伴她成长。”

  在诞生10年之际,曙光表示这个“小宝贝”的最新版本ParaStor300S,实现了融合存储架构,集群存储系统可对外统一提供文件、对象、块等存储协议。此外,曙光ParaStor产品明确三大发展方向:本土化、闪存化、融合智能,领跑数字经济时代。

  经过十年发展,如今ParaStor管理着数EB存储空间,实现了TB级访问带宽。服务对象遍及气象、能源、生物、金融、广电、交通等多个行业。IDC排名连续7年位居国内NAS存储市场前二位;而曙光ParaStor产品、研发团队,也从最早不足5人,发展到如今数百人。

  “昨天已经过去了,明天仍充满挑战”惠润海最后表示,ParaStor十年取得的成绩令人振奋,但我们还有更高的目标,今后仍面临挑战。“未来10年,我们将继续专注技术、扎根本土、主动创新的传统,更贴近用户应用,不断满足中国存储用户需求。”惠润海说。

  “如果对明天没有要求”便不会有曙光分布式存储产品ParaStor的10年。

  技术迭代加速,IT产业竞争加剧。在莫测的市场环境中,只有持之以恒做好一件事,别无旁顾打造“极致产品”,持续为行业、用户创造核心价值,才能免于被时代所淘汰。

  将以上简单的道理付诸实践,坚持10年,这或许便是曙光人的发展和成功之道。

  更多曙光相关资讯,欢迎搜索微信公众号“中科曙光/sugoncn”,关注曙光公司官方微信。

  特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

  天猫精灵IN糖最贴心的功能就是可以和它交流自己的情绪啦~当我不开心时,喊它一声:“天猫精灵...

  大众创业时代,人们常谈“自研”。但在国内存储行业,将“自研”付诸实践,坚...

  近日,中国家用电器研究院和全国家用电器工业信息中心联合发布《2019年中国家电行业三季度报告》。...

  墨瀧港式海鲜餐厅。墨,特指汉阳墨水湖,据传古时墨水湖的风景优美,聚集大批的文人墨客来此舞弄水...

  随着数字化进程和企业上云的加快,越来越多企业数据库寻求高效稳定的云服务,数据作为企业发展的底...

  10月22-23日,“2019智慧城市创新创业大赛”全国总决赛在南京市建邺区朗昇希尔顿酒店正式...

  2019年10月28日至31日,第十七届中国国际社会公共安全博览会(以下简称“安博会”)在深圳会...

  随着80后、90后成为消费大军的主力,消费模式与消费理念也随着消费结构的的改变而改变。据由国家统...

  2020年1月,《三体》时空沉浸展即将登陆魔都,展览时间长达14个月。

  我们正身处在一个急速演进的时代,清障车的故障排除本港台kj118网站现场开奖直播,信息技术以前所未有的力量推动人类社会向数字经济时代迈进,数据...

  “日子过得好不好,看厨房就知道”,这虽然是老一辈对于厨房的认识,但也不是没有道理。

  10月27日,以“东方美▪锦绣芳华”为主题的糖豆达人年度盛典在浙江横店拉开帷幕。来自全...

  为提升教师能力,充分调动教师应用信息技术的积极性和创造性,促进新媒体新技术在课堂教学中的有效...

  眼瞅着就要进入11月,可凛冽的秋风和日渐走低的气温,却难挡我们广大人民群众那不断高昂的心绪。为...

  十月已经进入尾声,十一月的钟声即将敲响,万众期待的双十一狂欢购物节越来越近,各种大促活动优惠...

  随着双十一的脚步将近,每年都会听到网友调侃:“十月的工资交给国庆,十一月的工资交给双十一...

  近年来,网购发展迅速,伴随着传统电商的饱和,社交电商正在崛起。作为京东联盟合作伙伴,小绿券是...

  近日,“西万拓与阿里健康新技术新零售发布会”在杭州阿里西溪园区举行。作为全球助听器...

  国内权威数据公司QuestMobile于10月29日发布《2019中国移动互联网秋季大报告》(以下称简称《报告》)...