算法工程师之死

2022-06-13 09:25:55 浏览数 (1)

“我们的算法工程师水平太差了,完全解决不了问题!”

——作为一个经常和传统企业打交道的乙方,这种抱怨陈老师听得太多了,类似惨痛画面也见得太多了。今天我们系统说说。

模型厉害不厉害,厉害!你看阿尔法大狗子都把天才少年柯洁咬哭了,能不厉害吗。于是,很多企业咬牙跺脚,出高薪,聘请来自互联网大厂的算法工程师、数据挖掘工程师、数据建模师,期望他能做出超厉害模型。“只要你能预测精准了,那我肯定能如鱼得水”是他们的口头禅。

又刚好,一批2019年左右混入所谓互联网大厂的算法工程师们,被裁员了,以为自己可以打着“前头腾阿高级算法工程师”旗号收割一波传统企业,从此乌鸡变凤凰,走上人生巅峰。两者一拍即合。悲剧就从这里开始……

1

不考虑业务,背锅死

阵亡案例1:某传统企业,想建立产品推荐模型,精准匹配用户需求。结果才半年,招来的算法就被炒了。炒人理由:推荐不精准,反而干扰了正常销售。甲方市场部的头头还不屑地说:阿里的推荐算法也不咋样啊。

仔细研究业务场景就发现:亲,不是阿里有问题,是你这公司不是阿里呀。阿里是平台方,在平台上有无数商品等着推。但具体到你这个企业,就会发现:

1、有的产品是安身立命的爆款,不推也好卖。

2、有的产品是业务的心头肉,只要出一点问题,那就是千刀万剐。

3、有的产品先天短腿,功能不行、定价不合理,根本干不过竞品,推荐算法有毛用。

4、有些产品品质还行,只是在内部政治地位不高,拿不到资源,或者定价不合理,导致后天短腿。

上一任算法小哥哥,不考虑这些业务上明争暗斗,就直接上模型了。所有产品一锅炖了做推荐(还是用协同过滤,完全没考虑企业的用户粘性,用户行为数据量问题)。结果,主打产品出现下滑情况,销售部、市场部联手,一起把锅往他身上甩。结局,不但被赶滚蛋,而且搞得声名狼藉。

认真分析了这些背景以后,一个优化方案出炉(如下图):

先做好产品分析,选好后天短腿的小品类,找到背书的部门,这时候可以开干了。果然,第一波推广马上见效。于是甲方开开心心接手,自己回去优化迭代去了。

2

不细化场景,麻烦死

阵亡案例2:某连锁店,希望能建立模型,精准预测每个店铺的鱼蛋、肠粉、饭团、面包……具体到每一个SKU的销量,这样门店既不会因为积压浪费食材,又不会因为缺货错过销售。结果七个建模的小哥折腾了半年也不够精准,离职了4个,剩下仨垂头丧气。到底如何100%精准呢!

认真思考这个问题场景,就会觉得很搞笑:真有100%精准预测鱼蛋香肠的本事,这七个小哥还打个屁工啊,直接去炒期货呀。仔细研究以后发现:所谓的“缺货错过销售”,根本就是一句话空话。因为没有一个正式的缺货登记系统(很多企业有,但这家没有)。但是积压导致的损耗率,却是结结实实的高,于是,一个优化方案出炉(如下图)。

这样运行了俩月,损耗率明显下降,实实在在地看到了成本的减少。同时,虽然也有人抱怨:“诶呀,有些店缺货了呀”。可证据呢?证据呢?证据呢!没有数据,空口白话,说了鬼信!于是顺利扭转局面。也不出意外地,甲方自己接手继续优化了(是滴,甲方就是不喜欢签二期、三期,都以为自己能搞掂后边的,当然这是后话了,哈哈)。

3

不应对变化,含冤死

阵亡案例3:某大型渠道商,希望能建立模型,精准预测手机、平板销量,避免积压。先后换个5个做模型的,都不满意!业务给的反馈是:预测不够精准,导致决策失误。

仔细研究以后发现,问题根本不在预测上,而是业务方的反复横跳。考核模型效果,看的是总销量,但总销量分配给每个渠道负责人后,总有人跳出来要求加量、减量。而且常常看头2周买得好,就拼命加,结果导致积压。看头2周差就都不想做,能甩就甩。最后整体数据偏差大,反而回头怪算法预测的不准。

知道这帮孙子的搞法,于是,一个优化方案出炉。优化以后,效果立现:所谓的预测不准,90%是因为业务方自己不靠谱的谈判、预判、骚操作搞出来的。不但顺利脱身,而且也帮前边五个冤死鬼洗刷冤屈(如下图)。

4

数据质量差,着急死

阵亡案例4:某大型企业,想建立智能客服,高薪挖来一个小哥,结果来了才发现,不但原始数据混乱,因为客服培训做得太差,连最基础的分类标签:咨询、投诉、建议都是错乱一堆。结果嘛,自然是干了半年没成绩,黯然滚蛋。

阵亡案例5:某大型企业,想建立“和抖音一样的内容推荐算法”,高薪挖来一小哥,结果来了才发现,内部根本没有内容分类标签,用户打的标签全是垃圾,90%都是空的……领导还说:“我都给了你那么多钱了,你咋不能干,为啥还要小妹来帮忙,你看人家抖音不都是算法工程师做的??”

╮(╯▽╰)╭

是滴,越是迷信算法模型的,反而越不重视数据建设,都是一脸:“你都有算法了,你还要数据干啥,数据不是初等低级的吗???”

对了,应该有同学注意到,这些完蛋的周期都是半年。为啥,是因为很多算法岗位,在互联网公司就是吉祥物,为了能证明公司走在“人工智能大路上”,维持股价。所以在互联网公司的考核是远没有实体企业严格的。在实体企业半年不出业绩,不滚蛋还怎样。

5

问题的表面原因

以上场景,如果换一个2010年左右入行的数据挖掘工程师,完全不会存在。因为那个年代的数据挖掘工程师大部分做的是电信、银行的项目,对于数据分析方法掌握非常扎实,对于数据模型的生效场景非常谨慎。然而,一来,这些人不是轻易请的动的,二来,人家懂行。一看你这企业:

领导期望过高

业务相互甩锅

不懂基本原理

数据基础太差

急于产出业绩

缺少清晰目标

人家根本就不会来!

于是就有了开头的画面。2019年开始的一波人工智能热潮,吸引了大量新人涌入数据挖掘、算法领域。有相当多的人根本没有数据分析基础,读的是《西瓜书》 《统计学习方法》,做的是《泰坦尼克》《鸢尾花》《波士顿房价》,遇到问题就上模型,干就完了奥力给!这种情况,自然是盲人骑瞎马,夜半临深池了。

6

问题的本质原因

问题的本质在于:数据建模,本质上对抗的是低效率。是帮助人们解决运算变量多过时,手工计算复杂,难以处理的问题。这是一种计算方法,不是智慧高于常人的神秘力量,不是仙风鹤骨的世外高人。数据建模应用最好的领域,也不是诊断经营问题,而是图像识别、语音转化这些相对客观的领域。

而传统企业面临的问题,比如:

  • 突发情况多:天气预报有雨,于是备货少了,结果突然没下,货不够卖……
  • 目标不清晰:因为老板个人喜欢,所以上了某款商品,结果老板看走了眼……
  • 业务能力差:预判不准,情绪化,收了客户、供应商回扣,迎合老板态度想邀功

这些乱七八糟的情况,更适合用数据分析方法来解决。数据分析,本质上对抗的是不确定性。是通过认真的采集数据、梳理业务流程、诊断业务问题、进行数据测试。把主观臆断关进笼子里。把“我以为”换成“我确信”。所以遭遇复杂的企业经营问题,最好的做法是认真做好数据采集、认真建立分析模型、一点点积累分析经验。而不是指望一只阿尔法大狗子汪汪一叫就拨云见日迎春归。

所以我们看到,只要把复杂场景梳理清楚,撇除乱七八糟的因素,模型是可以在一定程度上解决经营问题的。然而遗憾的是,从朋友圈文章,到管理层的内心,到正在调参的小哥的键盘,所有声音都是:

  • 算法又打败人类了!
  • 算法比你自己更懂你自己!
  • 算法实现了99%的超精准预测!

所以这种悲剧还会继续上演,而且随着2022年大量企业加速数字化,会上演更多,更惨烈。我们拭目以待哦。

最后,有同学说:陈老师你举的都是实体企业的例子,那互联网企业就是一片净土呀。呵呵!别的不说,单说生鲜电商,疫情影响,大家都觉得生鲜电商有前途,于是一帮连饭都没有煮过、娃都没有生过的算法工程师们,正在努力研究“蔬菜精准推荐”“买菜智能预测”算法呢。

是滴!还是用熟悉的协同过滤,还是用熟悉的关联规则哦。至于结果,我们找个机会再做吐槽。

以上吐槽,都是陈老师12年来做了各种项目的经验总结。

0 人点赞