算法工程师的现状分析：数据质量差，着急死

编辑导语：算法工程师就是利用算法处理事物的人，输入相应的指令将会得到相应的输出；但是算法工程师的要求也非常高，在实体行业，他们还要会数据分析，才能在实体行业中计算出精准需求；本文作者分析了算法工程师的现状，我们一起来看一下。

“我们的算法工程师水平太差了，完全解决不了问题！”作为一个经常和传统企业打交道的乙方，这种抱怨我听得太多了，类似惨痛画面也见得太多了。今天我们系统说说。

模型厉害不厉害，厉害！你看阿尔法大狗子都把天才少年柯洁咬哭了，能不厉害吗。

于是，很多企业咬牙跺脚，出高薪，聘请来自互联网大厂的算法工程师、数据挖掘工程师、数据建模师，期望他能做出超厉害模型；“只要你能预测精准了，那我肯定能如鱼得水”是他们的口头禅。

又刚好，一批2017年左右混入所谓互联网大厂的算法工程师们，被裁员了，以为自己可以打着“前头腾阿高级算法工程师”旗号收割一波传统企业，从此乌鸡变凤凰，走上人生巅峰。

两者一拍即合。悲剧就从这里开始……

一、不考虑业务，背锅死

阵亡案例1：某传统企业，想建立产品推荐模型，精准匹配用户需求；结果才半年，招来的算法就被炒了——炒人理由：推荐不精准，反而干扰了正常销售。

甲方市场部的头头还不屑的说：阿里的推荐算法也不咋样啊。

仔细研究业务场景就发现：亲，不是阿里有问题，是你这公司不是阿里呀！阿里是平台方，在平台上有无数商品等着推。

但具体到你这个企业，就会发现：

有的产品是安身立命的爆款，不推也好卖。

有的产品是业务的心头肉，只要出一点问题，那就是千刀万剐。

有的产品先天短腿，功能不行、定价不合理，根本干不过竞品，推荐算法有毛用。

有些产品品质还行，只是在内部政治地位不高，拿不到资源，或者定价不合理，导致后天短腿。

上一任算法小哥哥，不考虑这些业务上明争暗斗，就直接上模型了；所有产品一锅炖了做推荐（还是用协同过滤，完全没考虑企业的用户粘性，用户行为数据量问题）；结果，主打产品出现下滑情况，销售部、市场部联手，一起把锅往他身上甩。

结局，不但被赶滚蛋，而且搞得声名狼藉。

认真分析了这些背景以后，一个优化方案出炉（如下图）：

先做好产品分析，选好后天短腿的小品类，找到背书的部门，这时候可以开干了；果然，第一波推广马上见效；于是甲方开开心心接手，自己回去优化迭代去了。

二、不细化场景，麻烦死

阵亡案例2：某连锁店，希望能建立模型，精准预测每个店铺的鱼蛋、肠粉、饭团、面包……具体到每一个SKU的销量，这样门店既不会因为积压浪费食材，又不会因为缺货错过销售；结果七个建模的小哥折腾了半年也不够精准，离职了4个，剩下仨垂头丧气。

到底如何100%精准呢！

认真思考这个问题场景，就会觉得很搞笑：真有100%精准预测鱼蛋香肠的本事，这七个小哥还打个屁工啊，直接去炒期货呀。

仔细研究以后发现：所谓的“缺货错过销售”，根本就是一句话空话；因为没有一个正式的缺货登记系统（很多企业有，但这家没有）；但是积压导致的损耗率，却是结结实实的高。

于是，一个优化方案出炉（如下图）：

这样运行了俩月，损耗率明显下降，实实在在地看到了成本的减少；同时，虽然也有人抱怨：“诶呀，有些店缺货了呀”。

可证据呢？证据呢？证据呢！没有数据，空口白话，说了鬼信！于是顺利扭转局面；也不出意外地，甲方自己接手继续优化了（是滴，甲方就是不喜欢签二期、三期，都以为自己能搞掂后边的，当然这是后话了，哈哈）。

三、不应对变化，含冤死

阵亡案例3：某大型渠道商，希望能建立模型，精准预测手机、平板销量，避免积压；先后换个5个做模型的，都不满意！业务给的反馈是：预测不够精准，导致决策失误。

仔细研究以后发现，问题根本不在预测上，而是业务方的反复横跳。

考核模型效果，看的是总销量，但总销量分配给每个渠道负责人后，总有人跳出来要求加量、减量；而且常常看头2周买的好，就拼命加，结果导致积压；看头2周差就都不想做，能甩就甩；最后整体数据偏差大，反而回头怪算法预测的不准。

知道这帮孙子的搞法，于是，一个优化方案出炉。

优化以后，效果立现：所谓的预测不准，90%是因为业务方自己不靠谱的谈判、预判、骚操作搞出来的；不但顺利脱身，而且也帮前边五个冤死鬼洗刷冤屈（如下图）。

四、数据质量差，着急死

阵亡案例4：某大型企业，想建立智能客服，高薪挖来一个小哥；结果来了才发现，不但原始数据混乱，因为客服培训做的太差，连最基础的分类标签：咨询、投诉、建议都是错乱一堆；结果嘛，自然是干了半年没成绩，黯然滚蛋。

阵亡案例5：某大型企业，想建立“和抖音一样的内容推荐算法”，高薪挖来一小哥；结果来了才发现，内部根本没有内容分类标签，用户打的标签全是垃圾，90%都是空的……领导还说：“我都给了你那么多钱了，你咋不能干，为啥还要小妹来帮忙，你看人家抖音不都是算法工程师做的？？”

是滴，越是迷信算法模型的，反而越不重视数据建设，都是一脸：“你都有算法了，你还要数据干啥，数据不是初等低级的吗？？？”

对了，应该有同学注意到，这些完蛋的周期都是半年，为啥？是因为很多算法岗位，在互联网公司就是吉祥物，为了能证明公司走在“人工智能大路上”，维持股价；所以在互联网公司的考核是远没有实体企业严格的；在实体企业半年不出业绩，不滚蛋还怎样。

五、问题的表面原因

以上场景，如果换一个2010年左右入行的数据挖掘工程师，完全不会存在。

因为那个年代的数据挖掘工程师大部分做的是电信、银行的项目，对于数据分析方法掌握非常扎实，对于数据模型的生效场景非常谨慎；然而，一来，这些人不是轻易请的动的，二来，人家懂行。

1. 一看你这企业：
2. 领导期望过高；
3. 业务相互甩锅；
4. 不懂基本原理；
5. 数据基础太差；
6. 急于产出业绩；
7. 缺少清晰目标；
8. 人家根本就不会来！
9. 于是就有了开头的画面。

2017年开始的一波人工智能热潮，吸引了大量新人涌入数据挖掘、算法领域；有相当多的人根本没有数据分析基础，读的是《西瓜书》+《统计学习方法》，做的是《泰坦尼克》《鸢尾花》《波士顿房价》，遇到问题就上模型，干就完了奥力给！

这种情况，自然是盲人骑瞎马，夜半临深池了。

六、问题的本质原因

问题的本质在于：数据建模，本质上对抗的是低效率；是帮助人们解决运算变量多过时，手工计算复杂，难以处理的问题。

这是一种计算方法，不是智慧高于常人的神秘力量，不是仙风鹤骨的世外高人；数据建模应用最好的领域，也不是诊断经营问题，而是图像识别、语音转化这些相对客观的领域。

而传统企业面临的问题，比如：

突发情况多：天气预报有雨，于是备货少了，结果突然没下，货不够卖；

目标不清晰：因为老板个人喜欢，所以上了某款商品，结果老板看走了眼；

业务能力差：预判不准，情绪化，收了客户、供应商回扣，应和老板态度想邀功。

这些乱七八糟的情况，更适合用数据分析方法来解决。

数据分析，本质上对抗的是不确定性；是通过认真的采集数据、梳理业务流程、诊断业务问题、进行数据测试；把主观臆断关进笼子里。把“我以为”换成“我确信”。

所以遭遇复杂的企业经营问题，最好的做法是认真做好数据采集、认真建立分析模型、一点点积累分析经验；而不是指望一只阿尔法大狗子汪汪一叫就拨云见日迎春归。

所以我们看到，只要把复杂场景梳理清楚，撇除乱七八糟的因素，模型是可以在一定程度上解决经营问题的。

然而遗憾的是，从朋友圈文章，到管理层的内心，到正在调参的小哥的键盘，所有声音都是：

算法又打败人类了！

算法比你自己更懂你自己！

算法实现了99%的超精准预测！

所以这种悲剧还会继续上演，而且随着2020年大量企业加速数字化，会上演更多，更惨烈；我们拭目以待哦。

最后，有同学说：陈老师你举的都是实体企业的例子，那互联网企业就是一片净土呀。

呵呵！别的不说，单说生鲜电商，疫情影响，大家都觉得生鲜电商有前途，于是一帮连饭都没有煮过、娃都没有生过的算法工程师们，正在努力研究“蔬菜精准推荐”“买菜智能预测”算法呢。

是滴！还是用熟悉的协同过滤，还是用熟悉的关联规则哦。