思维导图
ChatGPT最核心的技术是什么
模块名称 | 类比 | 主要功能 | 重要性 |
---|---|---|---|
自然语言处理模块 | 神经中枢/中央处理器 | 理解用户语言,判断需求,生成回应 | 核心部分,决定回答的准确性 |
知识库模块 | 存储器 | 存储海量知识信息,如常识、新闻、专业知识等 | 辅助部分,提供信息内容 |
学习模块 | - | 学习用户语言和交流习惯,优化对话模型 | 重要部分,负责模型的不断优化 |
GPT架构 自然语言处理模块、知识库模块和学习模块是ChatGPT架构的三个主要部分。
- 首先,自然语言处理模块是ChatGPT的核心部分,相当于神经中枢或中央处理器,它的使命是准确、深入地理解用户所表达的语言含义,并根据用户的语境和场景判断用户的实际需求究竟是什么,从而生成合适的内容去回答用户的问题。ChatGPT生成的答案正确与否,这个模块将起决定性作用。
- 其次,知识库模块是ChatGPT的辅助部分,相当于存储器,它主要负责存储来自用户的海量知识信息,不仅包括日常生活中的常识性问题、新闻资讯、娱乐资讯等,还包括不同领域的专业知识,以及刚刚发生的新闻。作为AI,它拥有人类无法比拟的记忆力,从而能够根据用户的需求调用丰富的信息来提供服务。
- 最后,学习模块是ChatGPT的重要部分,它主要负责孜孜不倦地学习用户的语言表达方式和交流习惯,并以此为基础来构建对话模型,从而不断优化自身的对话能力。ChatGPT正是通过这一模块实现了飞跃式成长,今天从和你的对话中学到的表达,明天就可能用于和其他人的对话。
人工神经网络发展历史
方法名称 | 描述 | 应用场景 |
---|---|---|
数据并行 | 在不同的GPU上运行同一批次的不同子集 | 用于分配数据和加速训练 |
流水线并行 | 在不同的GPU上运行模型的不同层 | 用于更有效地管理模型的不同部分和层 |
张量并行 | 分解单个运算的数学运算,如矩阵乘法拆分到GPU上 | 用于执行复杂的数学运算,节省内存 |
专家混合(MOE) | 仅通过每层的一小部分处理每个示例 | 用于提高模型效率,特别是在大规模模型中 |
在推出GPT-3.0时,OpenAI公司曾发表过一篇博文,介绍了以下四种基于GPU的节省内存的并行训练方法。
- 数据并行:在不同的GPU上运行同一批次的不同子集;
- 流水线并行:在不同的GPU上运行模型的不同层;
- 张量并行:分解单个运算的数学运算,例如将矩阵乘法拆分到GPU上;
- 专家混合(MOE):仅通过每层的一小部分处理每个示例。 一切表明,OpenAI公司最终创造的人类反馈强化学习的训练方式并非一日之功,没有深厚的技术积累、数亿次的实验和高密度的版本迭代,就不会有今天我们在ChatGPT身上所看到的惊艳表现。
人机合作潜力与局限
主题 | 内容概要 | 重点 |
---|---|---|
“ChatGPT之父”萨姆·阿尔特曼 | 阿尔特曼分享自己的技术看法和创业感悟 | 畅销书《创业脚本:41位超级创始人的独家创业笔记》 |
面世五天注册百万用户与订阅服务 | GPT-4.0前进行了六个月的对抗性测试 | 可控性提高,但仍有提升空间 |
计算机程序的编写与调试 | ChatGPT不会替代程序员,但会帮助提高代码质量 | 人依然是核心的主导 |
撰写报告 | 从打字机到办公软件,工具不替代人,人学会使用工具是关键 | 工具是手段,人是目的 |
文学与艺术创作 | ChatGPT能节省时间,但质量和创造性需人来把控 | AIGC目前无法解决的问题 |
AI制图工具Midjourney | 与ChatGPT一起使用,通过Newbies Robot生成图像 | ChatGPT的对话内容可作为prompt |
“ChatGPT之父”萨姆·阿尔特曼
阿尔特曼还经常分享自己对于技术的看法。这些创业感悟也被收录于畅销书《创业脚本:41位超级创始人的独家创业笔记》
面世五天注册百万用户与订阅服务的推出
鉴于在GPT-3.5中的经验教训,在GPT-4.0上线之前,OpenAI公司花费了六个月的时间进行对抗性测试,以此来确保ChatGPT的可控性。尽管测试取得了一定的效果,但是显然结果并不是非常地完美。
计算机程序的编写与调试
人们很容易陷入这样的误区,认为人工智能最终可能会替代程序员的工作。然而,核心的主导依然是人,能否让ChatGPT在计算机编写与调试程序上实现最大化价值也在于使用它的人。所以,ChatGPT带来的改变是让程序员可以将更多的时间投入到代码的质量上,而不是花费大量时间去解决出现的各种复杂问题。
撰写报告
过去,人们通过打字机来完成文档输入,而随着办公软件走进千家万户,人们在个人电脑上完成打字输入工作。取代人的始终不是工具,而是先学会使用工具的人
文学与艺术创作
尽管它能够帮助创作者节省很多文本生成的人工与时间成本,但是质量和创造性没有办法保证,依然需要由人来把控,这是AIGC目前无法回避的问题。
AI制图工具Midjourney就是可以与ChatGPT一起使用的工具,它让ChatGPT创作图像成为可能。创作者需要调用Newbies Robot(基于Midjourney的自动图像生成工具)来让ChatGPT的对话内容成为prompt(输入内容)
企业服务
浪潮 | 时期 | 主要特点 | 受益者/影响 | 商业模式 |
---|---|---|---|---|
第一次浪潮 | 1998年前后 | 互联网基础技术爆发,信息全球化 | 大量Web网站、亚马逊、雅虎、国内三大门户、BAT等 | 面向企业客户的广告推送、竞价排名等 |
第二次浪潮 | 2007年次贷危机 | 移动互联网工具兴起,企业管理软件 | Salesforce、ICT服务企业、硬件企业、移动通信运营商、物联网应用商 | 面向清晰且强烈的企业级付费客户,提供整体解决方案 |
第三次浪潮 | 现今 | AI引擎引领创新和变革 | ChatGPT类的AI应用,优化企业人力成本,中小企业 | 为陷入困境的企业提供优化方案 |
每一次浪潮都从大规模流量开始,以消费服务的短期变现来提升产品体验,然后积累数据,探索并确立商业模式,最后通过企业买单来完成闭环,形成新的产业格局。
全球经济周期波动所引发的“互联网三次浪潮”。
- 第一次浪潮发生在1998年前后,互联网基础技术的爆发,使得信息的全球化成为可能,一夜之间,大量Web网站如雨后春笋般涌现,基于互联网的媒体服务、信息搜索、电子商务,国外的雅虎、亚马逊等也好,国内的三大门户、BAT也罢,其实都是受益于这一波时代红利而崛起的。虽然在此后历经跌宕起伏,有些巨头公司已然成为历史,但毕竟曾经辉煌照耀一个时代。 在本质上,这些工具所服务的对象并不仅仅是普通人,其商业模式都是面向企业客户的。不论是广告推送,还是竞价排名,付费的都是企业主。
- 2007年次贷危机之际,大批企业倒闭,经济一片萧条,第二次浪潮随即来临,在一片暗淡中点亮了复兴之灯的,正是移动互联网工具的兴起。和第一次浪潮相比,工具类企业的形态和目标都更加精准,以Salesforce为代表的企业管理软件,围绕企业生存发展所必需的各个环节,从销售开发到财务人力,再到项目管理,功能一应俱全,帮助企业主通过信息化手段有效监督员工,以便捷的数据分析取代了部分员工的职责,助力企业降本增效,减员求生。 第二次浪潮中,异军突起或主要受益的ICT服务企业,不仅有深谙企业经营之道、在算法上占领先机的软件开发者,也有以服务器、智能手机等为代表的硬件企业,更有提供基础服务的移动通信运营商,还有将软硬件集合成整体解决方案的物联网应用商。时代所给予它们的回报,就是成千上万的付费意愿清晰且强烈的企业级客户。 ICT服务在这些企业中的广泛应用,逐渐淘汰了部分蓝领岗位,让一些效率低下、成本高昂的产业得以优化。例如,人工和机器的互补配合,让一些大家电的维修或升级不必排队等待,可以通过远程更新轻松实现。但是,在生产制造领域,机器人依然是被当作工具来使用的,流水线可以实现自动化,但设计或决策环节,必须由人来完成。
- 而今天,我们正面临着互联网的第三次浪潮,全球性经济衰退带来压力的同时,也将成为经济增长的驱动力,以ChatGPT为代表的AI引擎将引领并推动创新和变革,从而深刻影响时代发展。 如果不出预料,ChatGPT类的AI应用将取代一部分从事基础工作的初级白领,能够大幅减少企业的员工总数。在企业的裁员策略中,保留核心岗位,让高级人才远程办公、斜杠兼职成为可能,而这可以更好地优化人力成本。这种力度的降本增效,或让面临发展困境、业务陷入低谷的中小企业能够存活下来,艰难度过经济寒冬,守望下一次春暖花开的时刻。这样的解决方案,随着ChatGPT被不同领域开发者的不断演绎和创造,将快速提供给企业客户,比起破产清算,垂死挣扎的企业主们当然更乐意为此类方案付费。
服务业
在内容生成越来越简单的时代,我们曾经认为“产品的内容化”是大势所趋,任何产品都需具有自我表达能力。而如今,AI聊天机器人极简的互动模式,无疑大大加速了这一进程。
智能互联网:社会管理、生产制造的变革
阶段 | 解决的主要问题 | 特点与发展 | 主要终端 | 社会影响及未来展望 |
---|---|---|---|---|
古典互联网阶段 | 信息传输的桎梏 | 依靠固定网络,解决了信息传输的基本问题 | 电脑 | 打破了信息传输的桎梏 |
移动互联网阶段 | 日常生活服务和社会效率 | 依靠3G、4G、5G,智能手机主导,多元化的生活服务体系 | 智能手机 | 极大地便利了日常生活,社会效率有显著提升 |
智能互联网阶段 | 社会管理、生产制造和环境保护 | 5G/6G基础上的高速网络,多媒体和多设备整合,千兆传输成为标配 | 多样化的智能终端 | 智能化渗透社会各个角落,包括交通、社会管理、生产制造等 |
在经历了古典互联网阶段、移动互联网阶段之后,互联网的未来发展将迎来人类互联网发展的第三阶段——智能互联网阶段。
- 古典互联网阶段的终端主要依靠固定网络,电脑是主要的终端。古典互联网阶段解决了人类突破信息传输的桎梏问题
- 移动互联网阶段主要依靠3G、4G、5G网络,智能手机是主要的终端;而移动互联网阶段则建立了一个惠及大众的生活服务体系。智能互联网无论在网络、终端和业务上,都会站上一个新的台阶。
- 智能互联网阶段的网络系统远不再是低速率的固定网络和移动通信网,其网络系统以5G为基础,不久的将来还会有6G的支持,可供大速率的信息流动,不但可以快速传送文字、声音和图片,而且视频也将成为重要的信息载体,480P、720P、1080P以及更高清晰度的视频,将极大地提升应用体验,同时传输的信息会更加丰富。传输网络能让移动通信网络提速——双千兆越来越成为未来的发展方向。另外,除了5G的移动网络,固定网络也将以FTTH为代表,让千兆宽带入户,和Wi-Fi 6组成家庭中高速度、低成本的通信网络。在智能互联网阶段的网络中,480P的视频传输成为基本配置,多媒体、多设备的整合也将是智能互联网的重要支撑。千兆传输速度逐渐成为智能互联网阶段的标配。 智能互联网的终端呈现出多样化的状态,尽管电脑和智能手机在智能互联网中依然扮演着重要角色,尤其是智能手机,除了传统的计算、存储、通信能力之外,它会和卫星进行双向通信,而大量的感应器被安装在智能手机上,影像、声音、距离、速度、雷达、角度、重力、压力、电磁等众多感应器进一步强化了智能手机的功能。而加入终端队伍的,还有社会生活服务中方方面面的产品。
交通工具都会逐渐成为智能终端,今天除了高铁、地铁具有自动驾驶的能力外,运输卡车、乘用车也正在逐渐具有自动驾驶能力。10年前,汽车的主体还是燃油车,如今新能源车已经在逐渐取代燃油车。智能交通将成为未来交通系统不可逆转的发展趋势,所有的汽车都有可能成为一个终端,相关部门和机构通过智能网络进行管理。 至于社会管理系统中诸如道路、路灯、井盖、桥梁等公共基础设施都会被智能化,为这些设施加载感应和通信能力,进行智能化管理。相信不远的未来,通信和感应能力会让一切公共基础设施成为智能终端。
我们家中的门锁、门铃、冰箱、洗衣机、空气消毒机、微波炉、窗帘、晒衣杆都会被智能化。智能互联网终端可谓丰富多彩、无处不在,可以说一切与生活、社会管理、社会运营、生产制造设备、产品有关的东西都有可能成为智能终端。
智能互联网是由移动互联、智能感应、算力数据、人工智能整合而成的,它不仅可以用于信息交互、生活服务平台的构建,还会渗透到社会的每一个角落。社会管理、社会运营、生产制造将是智能互联网最后攻克的堡垒,智能互联网通过移动互联、智能感应、算力数据、人工智能等,能够大幅提升社会效率;强化社会功能;降低社会运行成本。尤其是在环境保护方面,智能互联网还能促进生态环境的改善,让青山绿水遍及世界,从而帮助人类构建绿色生态环境。
智能互联网的发展,必须伴随生态建设,这需要将信息通信基础、产业链及生态链整合建设成一个完整的体系。2023年2月,中共中央、国务院印发了《数字中国建设整体布局规划》(以下简称《规划》), 从党和国家事业发展全局和战略高度,提出了新时代数字中国建设的整体战略,明确了数字中国建设的指导思想、主要目标、重点任务和保障措施。建设数字中国是数字时代推进中国式现代化的重要引擎,是构筑国家竞争新优势的有力支撑。《规划》指出,着力夯实数字中国建设基础。一是打通数字基础设施大动脉,统筹推进网络基础设施、算力基础设施和应用基础设施等建设与应用,围绕5G、千兆光网、IPv6、数据中心、工业互联网、车联网等行业领域发展需求和特点,强化分类施策,促进互联互通、共建共享和集约利用。二是畅通数据资源大循环,构建国家数据管理体制机制,建设公共卫生、科技、教育等重要领域国家数据资源库,增强高质量数据资源供给,加强数据资源跨地区跨部门跨层级的统筹管理、整合归集,全面提升数据资源规模和质量,充分释放数据要素价值。这充分体现了我国在智能互联网发展的战略性思考。
2022年底,我国移动网络终端链接数已经达到35.28亿户,其中移动物联网链接数为18.45亿户,超过了智能手机的用户数,移动通信互联网由4G、5G和窄带物联网(NB-IoT)等协同构成。 基于人工智能创造出的智能互联网服务将会产生数百万亿元的产值,也会释放出巨大的市场机会,这将是人类真正意义上的一次有关信息、生产力的革命
美国企业的紧张情绪和应对之策
瑞银分析师蒂莫西·阿库里分析,ChatGPT已导入至少1万个英伟达高端GPU来训练模型。 2023年一开年,英伟达的股价就在一个月内大涨40%,这让黄仁勋的个人财富增加了51亿美元。根据彭博亿万富豪指数显示,黄仁勋成为迄今为止美国亿万富豪中净资产增幅最大的人,目前在美国亿万富豪榜上的排名上升至第80位