2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天,以推进行业应用中的大数据技术发展为主旨,拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。由中国计算机学会主办,CCF大数据专家委员会承办,南京大学与复旦大学协办的“2014年第二届CCF大数据学术会议”也将同时召开,并与技术大会共享主题报告。
本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者,深入讨论Hadoop、YARN、Spark、Tez、HBase、Kafka、OceanBase等开源软件的最新进展,NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势,OpenStack生态系统对于大数据计算需求的思考,以及大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用,分享实际生产系统中的技术特色和实践经验。
介文清将在12月14日“2014中国大数据技术大会”的“大数据技术”分论坛,和大家分享一个NoSQL的案例,借由实际的需求来介绍NoSQL的技术的应用方式,以发挥其特色。介文清认为NoSQL使用了新的方法,来解决新的问题,而不必在传统的方法上去做文章,尤其是聪明的使用内存式的数据管理。对于现在还在寻寻觅觅的人们,给予了一丝曙光。在短短的一年之内,NoSQL跳升为主流应用的方式。介文清在国内寻访了四年之后,了解了许多人的想法,他认为目前的用户,各行各业均有类似的需求存在,只是还在寻觅中。
VMware(中国)资深业务解决方案架构师介文清
介文清,IT行业的老兵,早期曾在中国推广Java,现在在中国推广云。投身IT超过三十年,在Sun工作过二十多年。现在在VMware公司,负责铁道部用户管理系统全国实施的规划,任首席架构师。
在大会召开之前,CSDN和介文清进行了一次简单的沟通。
CSDN:为什么12306购票网站的构建是个难题?难点在哪里?
介文清:使用了传统的IT架构技术来解决新的问题。传统的IT架构适用于企业内部,对于用户数是可预知的,新的问题是网站是面对整个社会,使用者的用户数是未知的。尤其是当峰值来临时,IT系统会承受不了。即使使用了许多台电脑,也解决不了问题。
CSDN:铁道部原有的线上和线下购票系统是怎样的?是否增加了问题的复杂性和难度?为什么?
介文清:原有的系统使用了传统的数据库结构来解决问题,瓶颈出现时,呈现出无解的状态。任何好的技术在适用的场景下,可以得到好的结果,但是当场景改变时,就必须寻找新的技术来适用而得到解决。
CSDN:架构一个高并发、强一致性的分布式系统,主要难点在哪里?
介文清:在企业级的应用,脱离不了RAS(可靠性,可用性,可服务性),一般来说,此种系统成功产品化的在国内使用的不普遍,但在国外老早使用多年。最近在国外也逐渐普遍了。国内的网站使用此类产品较多,但多为开源产品,然后需要大批工程师来维护。比较不适合企业使用。
CSDN:在12306的实际优化案例中,有哪些有意思的心得?对同类型网站的架构师,有哪些建议?
介文清:现今的企业应用要上网来迎接大量的用户峰值的挑战,已逐渐成为一个不可避免的事实。学习使用新的技术来取代老的技术,是IT人员一个新的挑战。
CSDN:请谈谈你在这次大会上即将分享的话题。
介文清:除了介绍如何解决案例,以及技术的细节,还要提醒大家一起来迎接NoSQL时代的来临。
CSDN:哪些听众最应该了解这些话题?你所分享的主题可以帮助听众解决哪些问题?
介文清:所有IT的使用者,决策者,应该了解这些话题。NoSQL可以帮助你解决你以前无法解决的问题,而不是一个新技术而已,因为传统的SQL技术目前已经踢到铁板了。