国产版的ChatGPT为何难产

2023-09-09 09:17:10 浏览数 (1)

ChatGPT很火,很多人也在分析为什么国内搞AI的大学这么多,没有一家搞出ChatGPT。网上把技术账算得差不多了,这里我想算算经济账。问题核心在于:假设国内大学有能力造ChatGPT,那么,有足够资金造吗?

先说一个观点:深度学习不仅需要技术,还需要氪金。

训练一套ChatGPT需要多少钱呢?ChatGPT是基于GPT-3.5打造的,相关数据还没有,但是GPT-3的数据是有的,训练一次的费用是460万刀,总训练成本1200万刀。

这里注意两点,第一,单位是“刀”,到了。第二,这里只是总训练成本,运行要不要成本呢?要,而且很高。模型运行也是要跑高性能GPU的,有个流传很广的估算,ChatGPT每条回复花费1美元,每月至少300万美刀。注意单位,是刀,到了。这个估算有人说多了也有人说少了,不管怎样,OpenAI这几天有点要爆单了多半是真的。

为什么这么贵,我写过一篇开玩笑的文章:

怎样劝退深度学习的坑

好了,回到我们大学,如果有人有技术,国内大学能搞出ChatGPT么?科研领域,钱不是问题,问题是没有钱。这是一道很容易被忽视,但经常实实在在绊倒很多项目的门槛。

我看过好几篇开创性的论文,人家开篇就说,我这个方法其实不是开创性的,前面有人做过,但效果不好,因为模型不够大,数据又太小,没办法触发“Emergent Abilities”。解决方法很简单,两个字“重氪”。

有人会说,我们大学一年的科研总经费多少,这点钱怎么也是能挤出来的。

没错,而且有数据支持。2022年我国科研经费支付将超过3万亿,就算单位换算成刀,怎么也是能罩住的。但是,这些经费分散到了全国这么多领域的这么多的项目组,又能分到多少?

特别是,这个很多人暗暗分类为“智能玩具”的项目,又能申请到其中的多少呢?

0 人点赞