数据中心
数据中心的概念
数据中心,顾名思义就是数据的中心,是处理和存储海量数据的地方,英文全称为Data Center。用专业的名词解释,数据中心是全球协作的特定设备网络,用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。尽管数据中心听起来神秘高大上,但按照最简单直接的理解,数据中心实际上就是我们个人电脑的扩大版,你的家用电脑就是你个人的数据中心。一般来讲,数据中心主要有几大部分构成:机房(建筑物本身)、供配电系统、制冷系统、网络设备、服务器设备、存储设备等。那数据中心的这些构成模块相当于你家个人电脑的哪些东西呢?做个简单的类比,机房相当于你家的书房,供配电系统相当于你家的插座、电脑电源再加个笔记本的电池,制冷系统相当于你家的空调以及风扇,网络设备相当于你家的路由器以及运营商在你家安装的光猫等,服务器设备相当于你家的电脑主机,存储设备相当于你家的电脑里面的硬盘或者现在的外置存储。
数据中心的定义,作用,及分类
数据中心的定义 数据中心是全球协作的特定设备网络,用来在因特网络基础设施上传递、加速、展示、计算、存储数据信息。数据中心大部分电子元件都是由低直流电源驱动运行的。 [1] 数据中心的产生致使人们的认识从定量、结构的世界进入到不确定和非结构的世界中,它将和交通、网络通讯一样逐渐成为现代社会基础设施的一部分,进而对很多产业都产生了积极影响。不过数据中心的发展不能仅凭经验,还要真正的结合实践,促使数据中心发挥真正的价值作用,促使社会的快速变革。 数据中心的作用 随着数据中心行业在全球的蓬勃发展,随着社会经济的快速增长,数据中心的发展建设将处于高速时期,再加上各地政府部门给予新兴产业的大力扶持,都为数据中心行业的发展带来了很大的优势。随着数据中心行业的大力发展,将来在很多城市中都会有很大的发展空间,一些大型的数据中心也会越来越多。2017年全球经历了前所未有的自然灾害之后,很多数据中心管理人员都在积极制定灾难恢复计划。例如就可以通过云计算工具对电力使用的功率进行限制,在遭遇停电时间时将允许以降低的功率继续运行,可以为电力企业的正常运行提供有效的保障。还可以利用数据中心指定备份计划,对服务器的操作进行拓展,就不需要通过关闭和重启服务器操作。 数据中心是与人力资源、自然资源一样重要的战略资源,在信息时代下的数据中心行业中,只有对数据进行大规模和灵活性的运用,才能更好的去理解数据,运用数据,才能促使我国数据中心行业快速高效发展,体现出国家发展的大智慧。海量数据的产生,也促使信息数据的收集与处理发生了重要的转变,企业也从实体服务走向了数据服务。产业界需求与关注点也发生了转变,企业关注的重点转向了数据,计算机行业从追求的计算能力转变为数据处理能力,软件业也将从编程为主向数据为主转变,云计算的主导权也将从分析向服务转变。 在信息时代下,数据中心的产生,更多的网络内容也将不再由专业网站或者特定人群所产生,而是由全体网民共同参与。随着数据中心行业的兴起,网民参与互联网、贡献内容也更加便捷,呈现出多元化。巨量网络数据都能够存储在数据中心,数据价值也会越来越高,可靠性能也在进一步加强。 数据中心的分类 数据中心的发展历程 巨型机时代 具有很强的计算和处理数据的能力,主要特点表现为高速度和大容量,配有多种外部和外围设备及丰富的、bai高功能的软件系统。 在一定时期内速度最快、性能最高、体积最大、耗资最多的计算机系统。巨型计算机是一个相对的概念,一个时期内的巨型机到下一时期可能成为一般的计算机;一个时期内的巨型机技术到下一时期可能成为一般的计算机技术。现代的巨型计算机用于核物理研究、核武器设计、航天航空飞行器设计、国民经济的预测和决策、能源开发、中长期天气预报、卫星图像处理、情报分析和各种科学研究方面,是强有力的模拟和计算工具,对国民经济和国防建设具有特别重要的价值。 PC时代 PC时代说的bai是电脑、平板、手机甚至智能电视等duIT设备都zhi同时使用一个统一的操作系统的时代。dao
微软首席运营官凯文zhuan·特纳解释说,PC 时代就是所有的设备使用一个统一的操作系统,就像微软新的Surface平板电脑将使用完整版本的Windows 8平台一样。
扩展资料
有这样一种讲法,如果以公元2000年作为科技史的一个分水岭,那么公元2000年之前可以称之为“PC”(Personal Computer)时代;而公元2000年之后则被称为“后PC”(Post-Personal Computer)时代。
微软首席运营官凯文·特纳(Kevin Turner)在微软全球伙伴会议上发表讲话时驳斥了苹果关于当前的计算机行业环境是“后PC时代”观点,指出2012年是“PC ”时代。 互联网时代 1: 互联网时代是指在电子计算机和现代通信技术相互结合基础上构建的宽带、高速、综合、广域型数字化电信网络的时代。
2: 在信息高科技的强有力的支持下,Internet将人类的文化传播带进了一个崭新的时代,即人们所称为的互联网时代。人们几乎每天都要与互联网打交道,它已经成为日常生活中不可或缺的一部分,可以说互联网等大众传媒已经大大地改变了人们的生活 。
3: 所谓互联网时代是指信息的采集从互联网上取得信息的发布也可以拿到互联网上去发布。互联网时代已经是一个现实它对传统的信息采集、信息加工和信息分析及信息公布的方式形成很强的冲击对我国来说这也不是遥遥无期的事 。
4: 近来美国著名的因特网杂志“wIRED”将信息时代指称为互联网时代。高校网络框架为了更好地管理信息,二十世纪九十年代高校图书馆引入了图书馆管理集成系统,从而较早就与互联网接触,而且几乎所有的高校图书馆已具备了图B馆内部局域网。
5: 若将互联网作为社会交往和生活的主要和重要的手段的社会历史阶段称为互联网时代,我们可以说,当前我们正处在向互联网时代过渡的时期。
云计算大数据时代 全球知名咨询公司麦肯锡最早提出“大数据”时代的到来,麦肯锡称:“数据,已经深入到当今各行各业的职能领域,是重要的生产因素。人们不断对海量数据的挖掘和运用,意味着生产率增长和消费者盈余会成为新一波的浪潮。” 其在生物学、物理学、环境生态学等领域及军事、金融、通讯等行业也存在很久了,在近年来互联网和信息行业的发展才开始受人们关注。
1、大数据时代是指利用相关算法对海量数据的处理与分析、存储,从海量的数据中发现价值,服务于生活与生产。大数据是这个高科技时代的产物,如今的社会是一个高速发展的社会,科技发达,信息流通,人与人交流越密切,生活也更加方便,
2、随着云时代的来临,大数据也倍受关注。《著云台》的分析师团队认为,大数据一般用来形容一个公司创造的大量非结构化和半结构化数据,它在下载到关系型数据库来分析时,要花大量的时间和金钱。大数据分析主要是和云计算联系到一起,大型数据集的实时分析要像MapReduce的框架一样,给数十、数百或甚至数千的电脑分配工作。
3、简单来说,大数据技术也就是在各种各样类型的数据中,快速获得有价值信息的能力。这也是促使该技术具备走向众多企业的潜力。 云计算(cloud computing)是基于互bai联网的du相关服务的增加、使用和zhi交付模dao式,通常涉及通过互联网来提供zhuan动态易扩展且shu经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。 数据中心的组成 数据中心是全bai球协作的特定设备网络,用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。 它不仅仅包括计算机系统和其它与之配套的设备(例如通信和存储系统),还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置。 IDC(Internet Data Center) – Internet数据中心,bai它是传统的数据中心与Internet的结合,它除了具有传统的数据中心所具有的特点外,如数据集中、主机运行可靠等,还应具有访问方式的变化、要做到7×24服务、反应速度快等。IDC是一个提供资源外包服务的基地,它应具有非常好的机房环境、安全保证、网络带宽、主机的数量和主机的性能、大的存储数据空间、软件环境以及优秀的服务性能。 IDC作为提供资源外包服务的基地,它可以为企业和各类网站提供专业化的服务器托管、空间租用、网络批发带宽甚至ASP、EC等业务。简单地理解,IDC是对入驻(Hosting)企业、商户或网站服务器群托管的场所;是各种模式电子商务赖以安全运作的基础设施,也是支持企业及其商业联盟(其分销商、供应商、客户等)实施价值链管理的平台。形象地说,IDC是个高品质机房,在其建设方面,对各个方面都有很高的要求 网络建设 IDC主要是靠其有一个高性能的网络为其客户提供服务,这个高性能的网络包括其- AN、WAN和与Internet接入等方面要求。 IDC的网络建设主要有: – IDC的- AN的建设,包括其- AN的基础结构,- AN的层次,- AN的性能。 – IDC的WAN的建设,即IDC的各分支机构之间相互连接的广域网的建设等。 – IDC的用户接入系统建设,即如何保证IDC的用户以安全、可靠的方式把数据传到IDC的数据中心,或对存放在IDC的用户自己的设备进行维护,这需要IDC为用户提供相应的接入方式,如拨号接入、专线接入及VPN等。 – IDC与Internet互联的建设。
- IDC的网络管理建设,由于IDC的网络结构相当庞大而且复杂,要保证其网络不间断对外服务,而且高性能,必须有一高性能的网络管理系统。 机房场地建设 机房场地的建设是IDC前期建设投入最大的部分。由于IDC的用户可能把其重要的数据和应用都存放在IDC的机房中,所以对IDC机房场地环境的要求是非常高的。IDC的机房场地建设主要在如下几个方面: – 机房装修:机房装修主要考虑吊顶、隔断墙、门窗、墙壁和活动地板等。- 供电系统:供电系统是IDC的场地建设重点之一,由于IDC的大量设备需要极大的电力功率,所以供电系统的可靠性建设、扩展性是极其重要的。供电系统建设主要有:供电功率、UPS建设(n 1)、配电柜、电线、插座、照明系统、接地系统、防雷和自发电系统等。- 空调系统:机房的温度、通风方式和机房空气环境等。- 安全系统:门禁系统、消防系统和监控系统。- 布线系统:机房应有完整的综合布线系统,布线系统包括数据布线、语音布线、终端布线。- 通信系统:包括数据线带宽、语音线路数目等。 数据中心是全球协作的特定设备网络,用来在internet网络基础设施上传递、bai加速、展示、计算、存储数据信息。 它不仅仅包括计算机系统和其它与之配套的设备(例如通信和存储系统),还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置。 世界数据中心 (World Data Center)是国际科学联合会下设的科学数据组织,有40多个学科数据中心,分属四个数据中心群:WDC-A 美国、WDC-B 前苏联、WDC-C 欧洲和日本、WDC-D 中国。 1988年,中国加入WDC,并建立世界数据中心中国中心(World Data Center D)。WDC-D组织机构包括:中国国家协调委员会、科学委员会、中国中心协调办公室、科学委员会秘书处及九个学科数据中心。
数据中心的建设原则
1、数据中心将建在哪里 分析新建的数据中心所在地的气候条件是十分重要。这将有助于确定最合适的冷却措施,其中包括水冷机组,机械制冷空调,自然空气冷却、间接空气冷却,绝热冷却等,这些都是为了数据中心设施实现其更低的PUE目标。 2、需要多少个机架,它们的尺寸是多少 机架的数量决定数据中心的空间需求。传统的IT机架的尺寸为600x1000mm(宽x深),而一个空间为100平方米的机房可以容纳大约50个机架。当然机架也有其他的尺寸,而知道机架的尺寸和机架的数量,就很容易估测你的数据中心所需的空间。 3、需要什么等级的数据中心 数据中心的Tier等级确定了数据中心的冗余要求和电源分配路径。对于一个Tier2级数据中心来说,部署“N 1”架构的电源和冷却设备的冗余是足够的。然而,对于一个Tier3级的数据中心设施,通常都会包括“N 1”冷却设备冗余,具有双供电2N电源冗余,以及独立的双路配电机架。因此,了解数据中心的等级可以决定需要的冗余设计。 4、每个机架平均功率密度是多少 要注意的是,当设计数据中心的电源容量时,应该根据平均功率密度,而不是在最大额定电源,这是很重要的。机架的平均功率密度乘以机架的数量才是数据中心的最大IT负载量。然后,再加上数据中心的电源系统,冷却系统和交换机和存储设备等设施的功率。 为了避免产生昂贵的成本,并充分利用电力系统,使数据中心具有大小合适的电源和空间,采用模块化策略是明智的,可以降低成本,而不必牺牲未来扩展的灵活性。 5、运维人员应参加规划设计工作 a.运维参与前期规划设计,可弥补设计人员对系统运行管理知识的不足,提高设计质量,避免或消除设计缺欠; b.运维参与前期规划设计,可将运维阶段的需求在规划设计中得到充分考虑; c.运维参与前期规划设计,可充分了解和掌握所维护系统的结构、可靠性薄弱环节、遗留问题、潜在风险,有助于提高运维质量、有根据地制定运维计划和切实可行的改造计划。 6、避免受内外部因素影响,不能正确对待倾向、喜好、限制、约束的区别,不遵守科学设计原则 a.应避免受审批、决策等环节个别决策者影响,对一些关键功能按照个别人的意见进行删减调整,导致最终交付的数据中心功能不能满足运营和维护需求; b.应避免出于倾向、喜好或利益驱动。在规划设计阶段部分设备厂商可能会通过夸大设备性能、混淆概念等手段影响规划设计人员的方案制定和设备选型。 7、交流机架或直流机架需要什么级别的备份电池 服务器机架可能需要部署百分之百的直流电源,或百分之百的交流电源,或者是二者的组合。 例如,如果正在为托管目的建设数据中心,可能有配备交流(UPS)供电系统的需求,而如果是要成为一个电信设施,这可能需要部署直流电源系统。知道这些,就会知道所需要的直流电源或UPS电源系统的大小和规模。 在部署备份电池时,最好根据15分钟备用放电时间进行配置。这样部署备用电池,不会显著增加资本支出,虽然这将很难自圆其说,但这更符合成本效益。企业需要提高备用发电机组的冗余度,而不是在增加电池数量浪费更多的资金。 8、避免轻规划设计,重施工建设 业内存在轻规划设计,重施工建设的现状,主要表现在: a.先建楼体结构,后规划数据中心,为数据中心规划设计带来难以克服的困难; b.机房建设和设备安装完毕即开始改造的现象普遍存在; c.先确定设备,再确定方案,由于所购设备功能不满足方案要求,或场地不满足安装条件要求,因而设备尚未运行就要更换; d.建设结构很难满足数据中心场地布局要求,使机房分区规划不合理;空调室外机无法安装或距离太远;动力室与主机房距离太远,增加传输和管理困难,增加成本,降低可靠性。 9、避免忽视对系统可维护性和可修复性设计 系统三分建设、七分维护,任何设备都可能发生故障,可快速修复已经成为提高可用性的关键指标。 忽视可维护性和可修复性的现象表现在: a.规划设计阶段未考虑后期维护通道、维护空间,例如设备距离墙壁太近,电池靠墙摆放,线缆布局不合理、线缆管路或走线架挡住上方弱电线槽导致后期无法维修、维护工具难以施展等; b.故障发生时,应急物资和备件无法快速搬运,故障设备和器件更换无维修操作空间等问题,延误了故障处置时限甚至引发重大事故; c.未考虑后期发生故障进行设备维护时系统的冗余保障能力; d.未尽可能采用自动化手段,最大程度减少维护人员手动操作环节,降低因手动操作存在的不确定性和不可控性。 10、避免可用性设计缺乏科学依据 系统可用性是数据中心规划设计的最重要的指标,但规划设计时缺乏科学依据,主要表现是: a.数据中心在规划设计时都会进行各系统可靠性的推算,但目前各设计院、不同的设计人员对可靠性的推算依据和数据来源尚未统一,造成对同一数据中心的设计等级和可靠性存在不同定义和不同的结果; b.对可用性存在着先进行规划设计、施工,建设完成后再反推设计等级的案例,并以反推的等级标准向数据中心用户进行推介。此为本末倒置的设计,往往因为设计中的某些关键缺陷导致虽然绝大部分设计满足等级要求,但因为关键缺陷的存在造成等级下降; c.只注意设备或环节(子系统)的可用性,而忽略在整个系统中各子系统之间的相关性对可用性的影响。 11、避免在脱离实际需要和可行性情况下,确定高指标 在规划设计初期,主观臆断确定数据中心的功能指标,不切实际地一味追求规模大、高可用性等级、高机架功率密度、低能耗指标PUE。 而具体规划设计时,又没有严格按照规划原则和程序做详细的论证,具体方案和实际措施与总体规划部匹配,其结果是: a.由于实际需求不明确,缺乏可行性的必要条件,反复设计、修改,不仅造成成本的浪费,还大大延长了建设周期; b.已建成并投入使用的机房得不到充分利用,究其原因或因无预想的业务需求量,或因机房条件不满足用户需求而必须进行再优化改造才能使用; c.规划设想的功能不能实现,如系统可用性达不到规划等级、制冷方案不支持规划的机架高功率密度、发电机不支持系统连续运行条件、过度规划使系统能耗指标PUE居高不下等。 12、避免重设备轻系统的认识误区 业内特别是规划设计人员普遍存在着重设备轻系统和重局部忽视大局的现象,主要表现在: a.先确定设备规格型号甚至生产厂家,然后根据设备选择或修改设计方案; b.供电系统按最高可用等级2N冗余设计,但所设计的结果是仅仅UPS系统有2N功能,而整个供电系统却存在单路径故障点; c.整个系统按最高等级冗余容错系统设计,但是空调制冷设备却是单路径供电; d.为系统配置了交流备用能源柴油发电机,但发电机没有自动启动功能,因为规划设计者缺乏连续制冷也是系统连续运行的重要条件的认识。 13、注重统筹设计 提高系统统筹设计能力对优质地完成规划设计任务是非常重要的。 a.在数据中心建设过程中存在着大量因规划设计对分阶段、分专业实施阶段工程,以及不同专业施工间衔接问题考虑不足造成交付的数据中心不满足业务及维护需求,有些问题甚至需要大笔投资进行改造方可完成; b.不同设计人员只关注自身所负责内容,对于其他专业的是否完美衔接,是否与其他专业设计之间存在矛盾和冲突缺乏全局考虑; c.规划设计人员对未来业务发展缺乏准确把握,对后期容量管理、扩容等方面考虑不足; d.规划设计人员对周围资源环境和物理环境不熟悉,所设计的方案会出现实施可行性差或者为后来运维工作带来难以克服的困难。 云计算。 大数据时代的数据中心发展趋势
数据中心的基本单元—-服务器
塔式服务器 塔式服务器一般是大家见得最多的,它的外形及结构都与普通的PC机差不多,只是个头稍大一些,其外形尺寸并无统一标准。由于塔式服务器的机箱比较大,服务器的配置也可以很高,冗余扩展更可以很齐备,所以它的应用范围非常广,应该说目前使用率最高的一种服务器就是塔式服务器。我们平时常说的通用服务器一般都是塔式服务器,它可以集多种常见的服务应用于一身,不管是速度应用还是存储应用都可以使用塔式服务器来解决。 就使用对象或者使用级别来说,目前常见的入门级和工作组级服务器基本上都采用这一服务器结构类型,一些部门级应用也会采用,不过由于只有一台主机,即使进行升级扩张也有个限度,所以在一些应用需求较高的企业中,单机服务器就无法满足要求了,需要多机协同工作,而塔式服务器个头太大,独立性太强,协同工作在空间占用和系统管理上都不方便,这也是塔式服务器的局限性。不过,总的来说,这类服务器的功能、性能基本上能满足大部分企业用户的要求,其成本通常也比较低,因此这类服务器还是拥有非常广泛的应用支持。 塔式服务器的主板扩展性较强,插槽也很多,而且塔式服务器的机箱内部往往会预留很多空间,以便进行硬盘,电源等的冗余扩展。这种服务器无需额外设备,对放置空间没多少要求,并且具有良好的可扩展性,配置也能够很高,因而应用范围非常广泛,可以满足一般常见的服务器应用需求。 这种类型服务器尤其适合常见的入门级和工作组级服务器应用,而且成本比较低,性能能满足大部分中小企业用户的要求,市场需求空间还是很大的。 但这种类型服务器也有不少局限性,在需要采用多台服务器同时工作以满足较高的服务器应用需求时,由于其个体比较大,占用空间多,也不方便管理,便显得很不适合。 机架式服务器 对于信息服务企业(如ISP/ICP/ISV/IDC)而言,选择服务器时首先要考虑服务器的体积、功耗、发热量等物理参数,因为信息服务企业通常使用大型专用机房统一部署和管理大量的服务器资源,机房通常设有严密的保安措施、良好的冷却系统、多重备份的供电系统,其机房的造价相当昂贵。如何在有限的空间内部署更多的服务器直接关系到企业的服务成本,通常选用机械尺寸符合19英寸工业标准的机架式服务器。机架式服务器也有多种规格,例如1U(4.445cm高)、2U、4U、6U、8U等。通常1U的机架式服务器最节省空间,但性能和可扩展性较差,适合一些业务相对固定的使用领域。4U以上的产品性能较高,可扩展性好,一般支持4个以上的高性能处理器和大量的标准热插拔部件。管理也十分方便,厂商通常提供人相应的管理和监控工具,适合大访问量的关键应用,但体积较大,空间利用率不高。 机架式服务器的优点,和其他两种样式服务器对比。机架式服务器相对于塔式服务器要节约空间,但是散热稍微差一点,因为空间紧凑。 按结点密度分类 网络节点服务器(NNS)是SNA网络节点(NN) ,一种服务器装置,节点服务器是针对服务器集群来说的。主要应用在WEB、FTP。VPN等等的服务上。所以节点服务器并不是单指某一种服务器。它由多个节点和管理装置整体的管理单元构成,其特征在于: 各节点具备切换该节点的动作模式的模块管理部,该模块管理部根据从所述管理单元传递的构成信息,切换各节点单独动作或与其它节点协调动作.提供一种服务器装置,除以前的刀锋服务器系统的向外扩展型的扩展性外,还具备基于SMP结合多个节点间的向上扩展型的扩展性。各节点具备与其它节点SMP 结合用的单元,各节点的模块管理部根据系统构成信息,切换该节点作为刀锋服务器单独动作或作为SMP服务器的构成模块来动作。在背板上对各节点间链路进行等长布线,通过在各节点内也进行与背板上的各节点间链路等长的环路布线,取得节点间的同步。在背板上搭载向各节点分配基准时钟的基准时钟分配单元,利用各节点内部的时钟分配器来切换基准时钟,由此进行SMP结合的节点的基准时钟的同步。 高质量可靠的UDT通讯协议; 多层级联服务器结构体系; 采用了数据挖掘技术,能够迅速找到资源宿主; 支持用户信息、频道信息的统计分析; 提供内容监管策略; 提供安全管理权限策略; 提供用户手工配置策略;
CISC是英文“Complex Instruction Set Computing”的缩写,bai中文意思是“复杂指令集”,它是指英特尔生产的x86(intel CPU的一种命名规范)系列CPU及其兼容CPU(其他厂商如AMD,VIA等生产的CPU),它基于PC机(个人电脑)体系结构。这种CPU一般都是32位的结构,所以我们也把它称为IA-32 CPU。(IA: Intel Architecture,Intel架构)。CISC型CPU目前主要有intel的服务器CPU和AMD的服务器CPU两类。 (1)intel的服务器CPU (2)AMD的服务器CPU RISC是英文“Reduced Instruction Set Computing ” 的缩写,中文意思是“精简指令集”。它是在CISC(Complex Instruction Set Computer)指令系统基础上发展起来的,有人对CISC机进行测试表明,各种指令的使用频度相当悬殊,最常使用的是一些比较简单的指令,它们仅占指令总数的20%,但在程序中出现的频度却占80%。复杂的指令系统必然增加微处理器的复杂性,使处理器的研制时间长,成本高。并且复杂指令需要复杂的操作,必然会降低计算机的速度。基于上述原因,20世纪80年代RISC型CPU诞生了,相对于CISC型CPU ,RISC型CPU不仅精简了指令系统,还采用了一种叫做“超标量和超流水线结构”,大大增加了并行处理能力(并行处理是指一台服务器有多个CPU同时处理。并行处理能够大大提升服务器的数据处理能力。部门级、企业级的服务器应支持CPU并行处理技术)。也就是说,架构在同等频率下,采用RISC架构的CPU比CISC架构的CPU性能高很多,这是由CPU的技术特征决定的。目前在中高档服务器中普遍采用这一指令系统的CPU,特别是高档服务器全都采用RISC指令系统的CPU。RISC指令系统更加适合高档服务器的操作系统UNIX,现在Linux也属于类似UNIX的操作系统。RISC型CPU与Intel和AMD的CPU在软件和硬件上都不兼容。 目前,在中高档服务器中采用RISC指令的CPU主要有以下几类: (1)PowerPC处理器 (2)SPARC处理器 (3)PA-RISC处理器 (4)MIPS处理器 (5)Alpha处理器 VLIW是英文“Very Long Instruction Word”的缩写,中文意思是“超长指令集架构”,VLIW架构采用了先进的EPIC(清晰并行指令)设计,我们也把这种构架叫做“IA-64架构”。EPIC处理器主要是Intel的IA-64(包括Intel研发的安腾处理器)和AMD的x86-64两种。 按功能分类 服务器的功能分类 为了让服务器提供各种不同的服务,实现各种不同的用途,通常需要在服务器上安装各种软件。因此服务器按照功能可以划分为文件服务器、数据库服务器、邮件服务器、Web服务器、DNS服务器… 1.文件服务器 文件服务器是以文件数据共享为目标。它的特点是将供多台计算机共享的文件存放于一台计算机中,这台计算机被称为文件服务器,如Windows Server 2003文件服务器。 2.数据库服务器 安装了不同的数据库软件,提供不同的数据库服务的服务器被称为数据库服务器,如Oracle数据库服务器、MySQL数据库服务器、Microsoft SQL Server数据库服务器等。 3.邮件服务器 邮件服务器是用户所需要的重要的网络服务之一。没有邮件服务器的网络是不完整的网络。提供邮件功能的服务器被称为邮件服务器。它们通常安装的软件包括WebEasyMail、Sendmail、Postfix、Qmail、Microsoft Exchange等。 4.Web服务器 web服务器也是网络服务器,如Apache、IIS等搭建的服务器,其目的是提供Web网页服务。 5.DNS服务器 提供域名服务的服务器称之为DNS服务器。通过DNS服务器,可以实现域名服务的查询、应答。 6.代理服务器 代理服务器的功能好比网络的中转站,主要功能如下。 .突破自身IP访问限制,访问受限游戏服务器。可以通过代理IP,将自己的IP变成国外IP,从而可以访问游戏服务器。 .访问一些组织内部资源,如使用教育网IP地址段内的免费代理服务器,可以登录教育网内部的各类FTP下载学习资料。 .突破IP封锁:出于安全或其他原因考虑,很多网站对某些IP段限制访问,这种限制是认为的,所以不能访问时可以换一个代理服务器试试。 .隐藏真实IP:可以通过代理的方法隐藏自己的真实IP,免受攻击。 7.FTP服务器 FTP服务器是提供FTP服务的服务器,掌握了FTP账户和密码登录FTP服务器后,可以对服务器的文件进行上传、下载、删除、修改等操作。Windows下最广泛使用的FTP服务器软件是Serv-U;Linux下最广泛使用的FTP服务器软件是VsFTP。 8.应用服务器 这类服务器是提供各种不同应用服务器的统称,如网络游戏服务器。例如,传奇游戏服务器通过8000端口提供游戏过程中服务器与游戏玩家的客户端之间的数据传输以及处理;QQ聊天软件通过QQ服务器来传输文字、视频、音频数据等。 所以应用服务器指的是通过制定的网络端口与客户端计算机进行特定的数据交互的服务器。
数据中心选址
DT时代互联网的发展,直接把人类带入一个信息爆炸的时代。海量的数据改变了传统商业、科学研究以及日常生活的方方面面。而随着互联网特别是移动互联网的兴起,数据中心也成为了一个非常热门的概念。不管是通信行业、金融行业、IT行业、政府部门,数据中心这四个字都随处可见。马云一直说我们的世界很快从IT时代走入DT时代,这个DT时代实际上就是指数据的世界。DT就是数据处理技术,而要进入DT时代,就离不开现在最热门的数据中心。人类的活动无时无刻不在产生数据,你的活动轨迹是数据,你身体的变化是数据,你的言语是数据。。。在这个DT时代,你的一举一动都可以用数据量化。在以往,与你相关的这些数据都是过去式,但是进入DT时代,你的这些数据就可以实时保存到数据中心。比如你每天使用手机付款消费产生的交易信息,可以实时储存到数据中心去。一整年下来,这些交易信息就形成了庞大的数据,通过对这些数据进行统计,就可以分析出你的消费习惯、消费时间、消费类别,精准的刻画出你的人物画像。而实现这一统计分析的前提,就是要建立储存你这些个人数据的数据中心。不过对于很多普通人来说,数据中心都还是一个略显抽象、有点神秘的存在。出于安全性的考虑,大部分的数据中心并没有对公众开放,大部分并没有实地见过数据中心。再加上现在见诸媒体的数据中心选址都比较特别,更是给数据中心增加一层神秘感。比如著名的腾讯公司就将其重要的数据中心建在贵州的某个山洞里,该山洞也被广大网友戏称为“山洞鹅厂”。不仅如此,国际巨头华为也在贵州几乎挖空了一座小山,用于自己数据中心的建设。另外在内蒙古的大草原上,各大运营商、知名IT产商也兴建了大量的数据中心。而在国外,像微软则直接把数据中心建在海底下,脸书将数据中心建在了北极圈。冰岛这个人口不到40万、极度寒冷的国家,更是被评为建立数据中心的最佳选择。那么到底什么是数据中心,为什么他们有的在山洞里,有的坐落在大草原上,有的建在北极圈呢?数据中心的选址从地理位置的选址上来看,近二十年数据中心的选址经过了三个阶段。第一阶段,选址在市中心。早些年还没有数据中心这一名词,当时各大单位承担数据中心这一职能的一般叫计算中心或信息中心,机房的规模不大,几乎都在500平方米以下。这时候的机房一般都位于市中心的各大办公楼中,比如银行、保险、电力、政府机关等单位,其机房与办公楼都融为一体。即使到今天,在大街小巷的办公大楼中仍然有大量微型的数据中心在运行。第二阶段,选址在郊区。随着互联网的发展,数据量开始井喷,传统的机房已经不能满足需要,这个时候的机房选址就开始呈现郊区化,几千平方米的数据中心开始出现,但由于中心城市土地资源极度稀缺,这些几千平方米的数据中心就只能在郊区安家。许多大型机构像银行、保险等开始呈现全国数据集中化的趋势。运营商是这类数据中心的建设鼻祖,早期各大运营商的通信枢纽机房慢慢演变为全业务机房,不仅承担着语音通信数据流转的核心作用,还承担着辖区内用户数据、计费数据、业务数据以及互联网数据处理的作用,该类机房的面积一般在5000平方-10000平方米。后来随着互联网业务的发展,托管业务需求大量出现。所谓托管,就是指一些互联网公司租用运营商的机房,将自己的设备存放在运营商的机房中,由运营商提供相应的机房基础设施及网络的接入,各类IDC机房开始涌现。随着互联网公司的不断壮大,托管的设备呈现井喷之势。从成本及数据安全性考虑,一些大的互联网运营商开始筹建自己的数据中心,比如腾讯第一代数据中心在2006年前后起步。该类数据中心的特点是直接租用运营商的传输链路,在数据中心内部划分部分区域作为运营商传输机房,直接接入到运营商的网络中。比如笔者工作过的某行数据中心,就位于上海外围。该地区集中了各大银行总行级的数据中心,每个银行的占地规模都超过100亩,如此大的用地在市中心几乎不现实。第三阶段,选址异地远程化。数据中心开始大量的异地远程化建设,从地理位置上看,逐步远离一二线城市。上万甚至数万平方米的数据中心开始大量出现,数据中心的耗电量越来越大。而数据中心的制冷系统是数据中心的耗电大户,为了节约能源、节省成本开支,各大互联网巨头开始在温度低、散热条件好、电费低的区域大规模建设数据中心。在第三阶段有两个数据中心建设的热门区域,一个是内蒙古,一个是贵州。实际上在贵州之前,内蒙古就成为了各大互联网企业的香饽饽。内蒙古的呼和浩特、鄂尔多斯、乌兰察布等地方都密集开始了IDC的建设。随着第三阶段数据中心的建设发展,也进一步促进了国家级互联网骨干直联点的建设。国家级互联网骨干直连点作为国家重要通信枢纽,主要用于汇聚和疏通区域乃至全国网间通信流量,是我国互联网网间互联架构的顶层关键环节。早期,全国只有北京、上海、广州三个国家级骨干直连点。2013年12月30日,工业和信息化部在北京、上海、广州三个骨干直联点外,宣布增设成都、武汉、西安、沈阳、南京、重庆和郑州七个新的骨干直联点,使国家级直联点增加至10个。 截止2014年9月,全国10个骨干直联点已经全部投入使用。2016年11月,工业和信息化部组织召开专家评审会,对浙江、福建、贵州增设国家级互联网骨干直联点的申请进行了评审。 会后陆续批复同意增设杭州国家级互联网骨干直联点、贵阳贵安国家级互联网骨干直联点、福州国家级互联网骨干直联点。 这使得国家级直连点增加到13个。如果数据中心所处的区域没有国家级网络直连节点,那么该数据中心的对外服务实际上是需要经过北京、西安等地的上级节点跳转。那么国家级网络直连点有什么好处呢?福州国家级互联网骨干节点开通时是这么介绍的:2017年度,福州国家级互联网骨干直联点在全国率先采用100G板卡互联,具备双向800G网间互联能力,建设带宽位居10个新增直联点首位。根据福建省公布的数据显示,福州骨干节点建设完成后,福建省内互联网网间平均时延由原来的50毫秒左右降低至10毫秒左右,降幅达80%,丢包率下降到接近于0%;出省互联网网间平均时延由原来的100毫秒左右下降至40毫秒左右,降幅超60%;丢包率由原来的1%左右下降至0.3%左右,降幅达70%。国家级互联网骨干节点意味着更快、更稳定的访问服务,而这些对大型的数据中心都是必不可少的。在骨干节点城市,往往都聚集大量的数据中心,具有发展数据产业的先天优势。
数据中心的能耗
从发电的角度说,2年前三峡的电已经不够数据中心用;从用电角度说,数据耗电超过了农业全行业。以能耗作为标准,未来的数据行业是当之无愧的”重“工业。
这么大一盆水,已经撑不起国内数据中心了以往我也以为计算机、手机这些数据终端,以及为其提供网络服务的大部分设备和服务器都属于传统的“弱电”领域,不是节能的主要领域。我的同事也大多数这么想。换过几个单位,所有办公室下班后必定会关灯关空调,但对是否关电脑不甚在意。半夜的办公室里往往是黑暗中闪烁着几十个蓝莹莹的光点。但从全国的角度来看,为“计算”而付出的电量增长相当惊人,这部分用电量从无足挂齿到明显影响全国电力消耗,仅仅用了几年时间。按工信部数据, 2014年中国数据中心年耗电量占全国总用电量的1.5%。中国数据中心节能技术委员会称,2016年中国数据中心总耗电1200亿千瓦时,超过了三峡全年发电量(约1000亿千瓦时),占全国量的2%左右。和农业的总耗电量相当。
红线是数据中心耗电,蓝线是三峡发电量众所周知,中国目前每年发电的大部分仍然来自燃煤:
换算一下,2016年数据中心的用电需求,等于烧掉了4000万吨标准煤。据ICT Research咨询公司研究统计,截至目前,中国数据中心保有量约有近6万个,机房总面积约1650多万平米,即每平方米机房面积消耗2-3吨多煤。考虑到煤炭堆积的松散度,这意味着把所有机房都用来存煤,从地板堆到吊顶,才差不多能满足自身的耗能。
早在2001年互联网泡沫破灭之前,已经有人注意到:IT业能源消耗年增长幅度约为8%-10%,远远快于全球平均能耗2%的年增幅。2007年,美国环境保护署就根据当时的美国数据中心耗电量增长趋势预言, 2005-2010年,全球服务器和数据中心能源使用量将翻2倍,最终超过1000亿度。从实际发展来看,美国2010年IT业总耗电近800亿度,占全美用电量2%,超过了传统上被认为是高耗能、高污染的造纸业。在这种背景下,AMD、惠普、IBM、Sun Microsystems等IT业巨头于2006年联合创建了绿色网格组织(The Green Grid,TGG),协助企业降低数据处理的能耗。Stanford大学的土木与环境工程教授Jonathan Koomey就在这个组织下工作是其中之一。正是因为IT行业的未雨绸缪和大规模跨领域的产学研结合,美国数据中心耗电规模自08年后明显趋缓(也有金融危机的影响),占全美总用电量的比例基本稳定在2%以下,尽管这期间数据中心的规模和数量不断增加。环境保护署耸人听闻的预言却并未实现,而是出现了以Koomey教授名字命名的Koomey定律:每隔18个月,相同计算量所需要消耗的能量会减少一半。
United States Data Center Energy Usage Report,2016IT业巨头们创建TGG,当然有构筑行业技术壁垒的用意。但不可否认,TGG的努力的确大大降低了美国计算能耗。电用到哪里了?数据中心的能耗,分IT设备能耗,空调能耗和供电能耗三部分,其中IT设备能耗又可分为处理器能耗和存储能耗两部分。根据TGG在07年所做的测算,当时的数据中心,耗费在空调设备和供电设备上的电能普遍超过了IT设备本身的耗电。
对于处理器能耗,相应的节能技术和方案有:采用节能指标更好的处理器用以构架服务器,,优化调度算法,合理调节处理器工作组之间和服务器之间的业务负荷等。对于存储能耗,相应的节能方案有固态硬盘替代机械硬盘,通过缓存预取技术减少硬盘的I/O操作,推动小型数据中心的云化等。对于空调能耗:相应的节能方案有优化机房布局及送风路线,采用如热管空调,双冷源型空调等新型高效冷源,在机房内应用智能调节制冷系统等。但最有效的方案是将数据中心规划建设在地下水下等易于利用自然冷源的地方。TGG最具影响力的产品之一,就是制作了一张数据中心选址地图,发掘了各种适合数据中心的风高水寒地区。供电能耗:相应的节能方案有采用智能配电模块,提升计算资源使用率,采用LED照明等。评价这些努力最重要的指标是PUE(Power Usage Effectiveness)= 该数据中心总设备能耗/该数据中心IT设备能耗。显然PUE越接近1,数据中心的能耗效率越好。近年来TGG又提出了DCP(Data Center Productivity)、DCeP(Data Centerenergy Productivity)和PPW(Performance per Watt)等指标模型,用来描述数据中心IT设备本身的能耗效率,寻找进一步挖掘节能潜力的空间,但PUE仍然是反应数据中心技术与节能水平的核心指标之一。2015年工信部的《国家绿色数据中心试点工作方案》披露,中国数据中心PUE普遍大于2.2,而美国的数据中心平均PUE已降到1.7以下。早在2013年底,作为当时国内数据中心最集中的地区,北京市十部委就已经联合发文,禁止PUE>1.5的数据中心建设投产,2014年3月,工信部发布《关于进一步加强通信行业节能减排工作指导意见》,规定从2016年开始,新建大型数据中心的PUE值必须小于1.5。但这个要求根本未能落实。为什么中国PUE降不下来?数据中心投资收益 = 数据中心累计运营收入 – 数据中心建设成本 – 数据中心累计运营成本根据行业经验,在数据中心的运营成本中,75%以上都是能源成本。数据中心通常规划用15~20年收回全部成本,而在收回成本时,累计的运营成本通常会比建设成本多出4倍以上。
在建设新的数据中心时,采用低PUE的设计方案,有利于降低数据中心的运营成本。但是另一方面我们看到,和PUE指标关系很大的电力、空调和土建的建设成本占到了数据中心建设成本的80%以上,规划建设一个低PUE的数据中心,将会不可避免地带来数据中心建设成本的上升。
基于行业经验数据做一个简单的估算,计划收回数据中心成本的时间取20年,累计运营成本达到建设成本的4倍,能源成本占运营成本比例取75%,那么只要在数据中心建设中每提升1%的PUE,导致的相关的建设成本上升不超过3%,就能够使得提前收回投资成本,从而对投资者更加有利。然而数据中心的节能问题,涉及到建筑工程,电气电子技术,制冷与空调技术等诸多内容,是一个典型的跨学科跨领域课题。迄今为止,仍然没有一套有效的模型或开发系统能够在设计阶段准确地量化出数据中心的PUE。很多投资者,特别是第三方资本,他们的投资收益往往只来自出租运营数据中心的计算资源,数据本身对这些投资者并没有什么额外的价值,这使得投资者对投资回报周期N尤其敏感,一个需要在节能方面砸大量的真金白银,却难以确定效果的建设方案,对投资者没有吸引力,他们往往宁可在数据中心运作起来之后,根据实测得的PUE及机房的具体情况再搞一些修修补补的调度和优化。这也反过来说明了,国外的谷歌、脸书,国内的阿里这些拥有大量自有数据的IT业巨头,为什么会热衷于极地机房、水底机房这样激进的大手笔投资建设方案。阿里千岛湖云数据中心,号称平均PUE达到了1.3以下,极低时可达到1.17。
根据JonathanKoomey的不完全统计,目前谷歌拥有全球3%的服务器,但是只使用了全球数据中耗费总电能的1%。这意味着谷歌数据中心的运作效率远高于行业水平。这些用先进技术打造的庞然巨物般的IDC,看似吞噬电能的无底洞,其实比分散数据中心节约了海量电能。美国数据中心能耗飙升势头被遏制后,有些专家乐观的宣布,人们过分夸大了云计算的能耗,节能降耗技术已经取得重大突破,数据中心和云计算的能耗不会失控。但Koomey教授仍然在其2016年的United States Data Center Energy Usage Report的结语中写道:“本报告(United States Data Center Energy Usage Report 2016)肯定了数据中心行业近几年来在稳定自身电力需求规模上所获得的成功。尽管如此,我们仍有必要对整个ICT(Information Communication Technology)领域相关设备进行更深入的研究,而该领域节能技术也需要取得进一步的突破。只有这样,我们才能保证当前的行业电力需求规模,并不是仅仅因为处在一个即将到来的,电力需求随数据业务一同增长的时期前的短暂平静期,才得以保持了目前的稳定。”中国人口是美国四倍多,电力供应形势和环境压力更严峻,电商发展更超前,核电比例低得多,但由于资本投机性太强,导致数据中心耗费了更多宝贵的电能。美欧数据中心暂时通过技术研发 行业自律避开了电能瓶颈(只是暂时),爆炸性发展的中国数据中心产业能否避得开呢?在数据中心耗电超过三峡工程和农业用电的时候,这个问题已经不可忽视了。
数据中心能耗评估
PUE = 数据中心总能耗/IT设备能耗,其中数据中心总能耗包括IT设备能耗和制冷、配电等系统的能耗,其值大于1,越接近1表明非IT设备耗能越少,即能效水平越好。 DCIE
数据中心的主要节能措施
数据中心属于能耗密集型产业,从网站到网上银行,现代数据中心几乎运行着一切信息应用,因而其对电力的消耗增长显著,大规模数据中心更是能耗巨大,数据中心能耗成本往往占据数据中心总体运营成本的50%以上,让数据中心的运营单位不堪负重。现在的数据中心已经开始意识到能耗的问题,但如何解决却颇为头痛,毕竟诸多绿色厂商提供的节能方法都要花费大量的金钱,这样的投入往往让数据中心的管理者望而却步,同时这些节能的方法所能带来的节能效果也总不能让数据中心满意。一方面是数据中心急切需要降低运营能耗;另一方面是绿色厂商带来的节能方法花费太高,两个方面供需存在矛盾。作为数据中心的管理者其实还可以找寻一些省钱的节能方法,本文就来说一说那些零成本投入的数据中心节能方法。 调高数据中心温度 为保证数据中心里设备的良好运行,数据中心内全年保持恒温恒湿,温度维持在20℃24℃。国际标准要求平均温度是,冬季在18℃22℃,夏季在21℃~25℃,温度的变化率下于5℃/h.温度对于数据中心非常重要,按照通用的评估方法,温度每提高10℃,可靠性要下降25%.数据中心这样常年保持在较低的温度虽然可以最大程度保障无局部热点,但是却造成了能源的极大浪费。现在的数据中心设备都会做高低温实验,工作温度上限可达45℃,所以适当地提升数据中心的运行温度,不仅可以节约能源,而且并不会给增加设备的故障率。目前,在数据中心行业提升数据中心的运行温度已经成为了普遍共识,有些数据中心专门采购耐温的设备,降低数据中心的能源消耗。综合来看,适当提升数据中心运行温度不用多花一分钱,而且利大于弊。 评估数据中心设备运行情况 数据中心里的设备多种多样,其中不乏有老旧设备,过老的服务器其工作效率只有新服务器的1/3,但是能耗却能达到新服务器的3倍,所以要及时淘汰掉这些老旧设备,将业务搬移到其它服务器上,虽然增加了其它服务器的一些负担,但整体能耗却降低了。还有不少的数据中心,存在有大量的闲置服务器,可能周期性的运行一些应用,但长时间处于闲置,这就要将其关闭或者重新分配工作任务,要周期性的对数据中心设备的运行负载情况进行评估,有不合理的、偷闲的设备就要及时调整。评估的标准是这些设备的CPU是否运行在正常的水平,有的设备长期CPU利用率只有20%,利用率过低,应该及时调整,一般服务器的CPU维持在50%左右就可以,可以保证正常业务的运行。 虚拟化技术的应用 在数据中心通过部署虚拟化可以提升设备的使用效率,一般一个服务器只能跑一个业务或者几个业务,通过虚拟化技术,将服务器虚拟成多台设备,这些设备都独立运行,提升了服务器的使用率,这样就可以减少数据中心同时运行的服务器数量,当需要增加新的业务时再开启一些服务器。一般的服务器运行功率都在400瓦左右,这样的服务器连续运行一天就会用掉十几度的电,虚拟化能在计划范围内针对低利用率或者高能耗对症下药。 及时关闭不必要的用电设备 大多数的数据中心都是通过远程进行管理,进入到数据中心设备区的情况比较少,而我们进入数据中心机房时经常会发现,灯火通明,而这些机房几天也可能不会进来一个人。大量的照明灯不仅造成能源的浪费,而且会增加机房的温度。所以出进入机房时应该及时将照明灯关闭,这样也可能为数据中心节省不少的费用。现在有些声控系统可以在人进入到机房中时,自动开启照明设备,在人离开的时候自动关闭照明设备,这种方式更加智能化。除了照明设备,数据中心里的设备外接显示器,用电跳线架,如果没有承载业务都应该及时关闭。有的数据中心新购设备往往在机房里空载运行数月,这大大造成了浪费,应该减少测试时间,及时更新,带新业务运行。 充分利用自然散热 北方的冬天零下20~30℃,而数据中心里却要保持在22℃,巨大的温差让空调系统长期高负荷运行,可以适当地开启门窗,扩大通风,通过自然冷却数据中心温度,通过对出入气流的隔离引导,可以充分利用外界的冷空气将数据中心内部产生的热量带走。数据中心的空调耗电是非常大的,其每停转一分钟都可以节省几度电能。已经有不少国外企业将数据中心建在了天气寒冷的冰岛,或是离海水近的地方,都是希望通过自然将温。有的数据中心甚至声称可以做到零能耗散热,这的确是一个降耗的办法。将正在运行的数据中心都搬到温度适宜的地方不太可能,但可以通过周期性地开启门窗,将外界的冷空气引入,通过自然降温。 人为因素 数据中心运维的人员应该有这样节能的意识,在工作的点点滴滴中就可以节能。以上介绍的方法都是一些宏观的方法,其实节能需要渗透到工作的方方面面。离开工作位随手关闭电脑,减少进入机房的次数(这样会产生多余的热量),业务更新要及时调整,尽量让现有运行的设备高负荷工作,每一次业务调整都需要对整体的能耗进行评估,让节能的思想深入人心。一旦人有了这种节能的意识,他会关注到自己工作的诸多细节,而改善这些细节往往会给数据中心带来意想不到的效果。每个数据中心都有自己的特点,只有这些掌握工作细节运维的人员主动去关注节能,才能真正为数据中心带来节能。 Bingdata优网助帮汇聚多平台采集的海量数据,通过大数据技术的分析及预测能力为企业提供智能化的数据分析、运营优化、投放决策、精准营销、竞品分析等整合营销服务。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/185485.html原文链接:https://javaforall.cn