您的位置: 网界网 > 存储 > 正文

刘海锋:自研文件系统JFS令京东如虎添翼

2014年04月22日 11:04:38 | 作者:蔡思萌 | 来源:it168网站 | 查看本文手机版

摘要:4月10日,一年一度的中国数据库技术大会(DTCC)今日在北京五洲皇冠国际酒店召开。自2010年以来,国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix两大技术社区,已经连续举办了四届中国数据库技术大会。

标签
DTCC
文件系统
分布式存储

4月10日,一年一度的中国数据库技术大会(DTCC)今日在北京五洲皇冠国际酒店召开。自2010年以来,国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix两大技术社区,已经连续举办了四届中国数据库技术大会。今年,大会将继续秉承分享IT最佳应用实践的宗旨,围绕传统数据库和大数据[注]两条技术主线,深入探讨数据库技术的现状和未来的发展方向,以及我们在这个转型过程中的实践经验和教训。

在大会第二天下午的“存储和文件系统”专场上,来自京东系统技术部的负责人、云平台首席架构师刘海锋先生为我们分享了京东在分布式存储的持续研发上所做的努力和所遇挑战。

刘海锋:自研文件系统JFS令京东如虎添翼

▲京东系统技术部负责人、云平台首席架构师刘海锋

拥有一亿用户、营业规模达数百亿元的大型网络零售企业京东(JD.com),在网络零售市场深耕近十年之后,也正式迈入了PB级数据管理的新时代。对企业而言,PB级(1PB=1024TB)的数据管理算得上是衡量其数据规模和管理能力的一个重要标尺。目前,全球PB级数据管理俱乐部已经拥有Facebook、淘宝等重要成员,能够跻身其中对京东而言是荣誉,也意味着挑战。

上海五分钟网络科技有限公司高级DBA金官丁先生曾经在微博上发过一段话形容“产品、运营、技术”的三角恋关系:“成功的产品需要优秀的运营团队;好的运营团队也需要优秀的产品;再好的产品和运营,也要坚如磐石的技术作支撑,否则最多是一座小洋楼;再牛的技术人要是不能服务于产品和运营,就像深锁闺房的黄花大闺女。“

针对业务运营数据飞速增长的情况,刘海锋表示,传统的关系型数据库价格昂贵,没法按需扩容,只能定期删除数据,很麻烦。开源存储系统虽然便宜,但难以选型、定制和维护。这两点也是此前京东文件存储的主要痛点。

刘海锋:自研文件系统JFS令京东如虎添翼

▲京东过去一年在数据存储上所做的努力

因此(+本站微信networkworldweixin),京东选择根据需求驱动,自主研发了文件系统JFS(Jingdong Filesystem),截止目前的具体成果已包括:

·京东文件系统

·对象存储服务

·弹性块存储

·高速NoSQL平台

刘海锋:自研文件系统JFS令京东如虎添翼

该系统的定位很明确:针对海量非结构化的小文件,要求强可靠、强一致和高可用,并且key由系统本身生成。

刘海峰表示,之前京东是采用HDFS作为数据存储子系统,由于其85%的存储容量都是小于1MB的对象,对hadoop的扩展性和性能带来严重问题。现在京东已经用JFS已经替换了HDFS负责小文件存储,未来期望JFS能成为对象存储服务的唯一后端。

陈坚:融合致简 华为分布式存储技术实践

参考资料

1.大数据:(Big Data),研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 ...详情>>

[责任编辑:存储 chai_shasha@cnw.com.cn]