GPT-4多模态模型

2023-03-13 11:13:59 浏览数 (2)

GPT-4 模型是OpenAI开发的第四代大型语言模型(LLM),它将是一个多模态模型,会提供完全不同的可能性-例如文字转图像、音乐甚至视频。GPT 全称为 Generative Pre-trained Transformer,是一种使用人工神经网络的深度学习技术,能够使机器像人一样聊天交流并进行创作。

GPT-4 建立在 GPT-3 之上,GPT-3 于 2020 年 5 月发布,并迅速成为使用最广泛的自然语言处理模型之一。 GPT-4 比 GPT-3 更大更强,能够更准确、更流畅地处理和生成文本。

在GPT-4之前是GPT-3.5,由该模型开发的聊天机器人 ChatGPT 一经面世,便引爆 AI 界的军备竞赛

多模态或成GPT-4最大亮点

  微软 AI 技术专家 Holger Kenn 和 Clemens Sieber 对多模态 AI 的相关功能进行了介绍。

  根据 Kenn 的说法,多模态 AI 不仅可以将文本转化成相应的图像、音乐甚至是视频。在微软宣布前,机器学习专家 Emil Wallner 就在推特上预测,称 GPT-4 可能具备这种能力。

  Sieber 则介绍了一些多模态 AI 产业化的潜在案例,例如多模态 AI 能够将电话呼叫的语音直接记录成文本。根据估算,该功能能为微软位于荷兰的一家大客户节省 500 个工作小时/天。

  这项技术已经发展到基本上“适用于所有语言”,也就是说“可以用德语提问,然后用意大利语得到答案。”

  近期接受媒体采访时,OpenAI 首席执行官 Sam Altman 直接否认了一些传言,比如 GPT-4 可能会使 AGI 有和人类一样的意识。

  Altman 强调,GPT-4 是一次进化,而不是一项革命性的技术。ChatGPT 的下一个版本不会是 AGI ,也不会有 100 万亿个参数

  OpenAI 的首席技术官 Mira Murati 认为少宣传是好事,但表示 GPT-4 可能会“为人们拓宽发展机会”。

GPT简介 

GPT,即 Generative Pre-trained Transformer,是由 OpenAI 提出的一系列非常强大的预训练语言模型。该系列模型基于互联网上的可用数据上进行训练,在 NLP(自然语言处理)方面表现卓越,可用于问答、文章生成、机器翻译、代码生成和对话 AI 等。

在 GPT 系列模型推出之前,传统的 NLP 模型都是针对特定任务(如分类、翻译等)进行训练的,并且往往使用监督学习,这就导致了两个问题:缺乏大量的标注数据,模型也无法概括和泛化任务。

以下是GPT的演变历史

GPT-1

OpenAI 在 2018 年推出了 GPT-1,模型参数数量为 1.17 亿,通过未标注的数据训练出一种生成式语言模型,再根据特定的下游任务进行微调,将无监督学习作为有监督模型的预训练目标。

GPT-2

时隔一年后,2019 年具有 15 亿参数的 GPT-2 出现。与 GPT-1 相比,GPT-2 在结构上并没有太多创新与设计,使用了更大的数据集和更多的模型参数进行训练,以此强化并提高模型性能。

从 GPT-1 的 1.17 亿到 GPT-2 的 15 亿,超 10 倍的参数差距带来了性能上的飞跃。这似乎意味着,随着容量和参数量的增多,模型性能还有更大的潜力

GPT-3

2020 年 GPT-3 的参数量翻了 100 倍:1750 亿,其预训练数据量也高达 45TB(GPT-2 是 40GB,GPT-1 约 5 GB)。

事实证明,海量参数确实让 GPT-3 具备了更强大的性能,它在下游任务表现的非常好。即便是复杂的 NLP 任务,GPT-3 也表现惊艳:可以模仿人类写作,编写 SQL 查询语句、React 或 JavaScript 代码等。

InstructGPT

2022 年初推出全新的 InstructGPT 模型,只要 13 亿参数,效果就比 GPT-3 更好。InstructGPT能根据用户的反馈数据进行训练。

ChatGPT

ChatGPT,由 GPT-3.5 系列中的模型微调而成。自从去年 11 月发布以来,ChatGPT 迅速火爆全球。根据 Similarweb 的测算,其访问量已经从 1 月的 6.16 亿达到目前的超过 10 亿。

ChatGPT API

3月1日,OpenAI 放出了ChatGPT API(GPT-3.5-turbo 模型),1000个tokens为$0.002美元,等于每输出 100 万个单词,价格才 2.7 美金(约 18 元人民币),比已有的 GPT-3.5 模型便宜 10 倍。

GPT-4

GPT-4 模型是第四代大型语言模型(LLM),它将是一个多模态模型,会提供完全不同的可能性-例如文字转图像、音乐甚至视频。

0 人点赞