ChatGPT一出来，一堆搞NLP的立马哭了。为什么？不该问为什么哭，而该问为什么还不哭。
有两个立马大哭的理由。
第一个理由很多人说了，范式改变。
虽然说没有哪个研究领域，甚至没有哪个领域敢说自己真的是天道酬勤绝对公平，但早年NLP这块总的来说还是有一些个人发挥聪明才智的地方。原因不太好意思说，因为NLP总体都不怎么样，所以聪明人就把NLP切成很多小块，有的小块里再切小块，只要你有足够的聪明和足够的运气，能搞一点奇技淫巧，没准就能魔改出来一套新算法，在哪个小块或者小小块里面出一点的成果，没准比大公司大团队还要好。
不过，那是过去的范式，现在不行了。现在是什么范式？四个字，力大飞砖。
我知道现在说到新范式，很多人喜欢说的是各种新概念，譬如什么提示学习、RLHF、指令对齐等等等等。不是不对，没有抓到变的本质。变的本质就是力大飞砖，个人那点小聪明小技巧根本不够看，在氪金玩家绝对实力的面前都是渣渣。
机器学习搞了很多概念，但要搞清楚这里说的范式改变，只要记得三要素，叫算力、算法和数据。人称人工智能三要素。
那新范式是什么呢？高算力 大数据 朴实无华的算法。
为什么搞NLP的人看到ChatGPT要大哭？是感叹自己的见识短浅，不懂得也不可能懂得什么提示学习、RLHF、指令对齐吗？不是。自注意力模型难吗？刚出来的时候都说难得要命，现在人均手撸一遍。扩散模型难吗？刚出来的时候也都说难得要命，现在不也都会手推了。
难的是算法吗？不是，是无论如何也搞不来满足条件的高算力和大数据。大部分的人这辈子连硬件门槛都跨不过去，再谈算法就已经毫无意义了。
所以第二个理由就是两个字，垄断。
现在谈到范式转变，如果首先谈的还是算法，那说明还没有透彻理解范式改变范式改变，首先要改的是什么。是什么？是参赛资格。
过去我相信大企业大团队聚拢了许多聪明的脑袋，但我也相信不是所有的聪明的脑袋都聚在大企业大团队里面，有时候普通聪明的脑子再加上一点运气，没准也能在NLP里搞出一点什么东西来。
现在你没大企业大团队那条件还能搞出来新的方法吗？还能的。去翻一翻用大模型搞出来的爆款论文，作者们非常谦虚，都说论文里的方法是别人，也早都发了论文了。那为什么自己还要做呢？因为人工智能是一个用结果说话的领域，原创最终的效果不怎么样，我重现了一遍，发现效果拔群，所以就又发出来了，名气比原创还大。
那为什么别人不行而我的效果拔群呢？很简单，我花了点钱标了一个大大的高质量数据集，再用原来的方法搞了一个大大的模型，接着再花了点钱搞了一千块A100，每块大概十万人民币的样子，然后跑了俩月，最后效果就拔群了。没错，有钱就是这么朴实无华。
可是，如果你是原创，你会作何感想呢？没有大企业大团队支持，你就没有了参赛资格，根本没法去想什么冲金夺银，哪怕你一百米真的只要跑九秒。
有点像什么？有点像三体，智子已经锁死了人类科技。要知道，智子不是无所不能，没办法直接把人干掉或者把脑子封住，谁可以再去提一百个一千个理论和假设，但是，提的对不对呢？不知道，永远不知道，因为智子锁死了高能粒子实验。
所以，为什么哭？
因为，对于大多数研究者来说，NLP已经不存在了。
最后我们还是要乐观一点，无论怎么说，现在掌握这颗智子的不是三体人，NLP的科技不会被锁死，顶多也就是被垄断。
