AI/机器学习项目构建“终极指南”如何正确的开展ML/AI系统

谷歌首席决策智能工程师Cassie Kozyrkov最近写了一篇AI/机器学习项目构建“终极指南”。既然是入门级，文中对算法、模型等技术内容几乎没提，而是从寻找合适项目负责人开始，讲到用户案例、性能指标、再到团队招募、测试标准制定等，洋洋洒洒而又条理清晰，值得初涉AI项目的人士参考。

目前，许多团队正在试图通过深入研究算法和数据来启动一个应用型AI项目，然后再确定期望的输出和目标。

不幸的是，这个过程就好比在公寓里养了几年小狗，然后惊讶地发现它不能帮你放羊。

相反，你需要在养小狗（ML/AI系统）之前，明确自己的目标或需求是什么，然后再有计划地对其进行训练。

这篇指南就深入的研究了如何正确的开展ML/AI系统，并将从以下五个方面进行讲解：

明确项目负责人

识别用户案例

做一些事实核查

制定性能指标

设定测试标准，来消除认知因素产生的偏差

本指南使用人群：决策者、伦理学家、ML/AI工程师、分析师、定性专家、经济学家、心理学家、可靠性工程师、人工智能研究员、领域专家、用户体验专家、统计学家、人工智能控制理论家。

明确项目负责人：找到说了算的人！

在机器学习和人工智能项目中，第一步应该是明确正确的领导人选

我们将要解决的问题是谁来当项目负责人，也就是说，该由谁来发号施令。

如果你选择了一个博士研究员来担任这个职位，那可能是由于这个人的决策能力和对你的业务的深刻理解。如果你打算让他们担任这个角色，事后再对他们的能力进行评定，那么你选错人了。我们所称的决策者(可以是个人或委员会)是应该拥有最终决定权的实体。

如果决策者不精通决策的艺术和科学，有一个解决办法：将他们和定性专家进行配对。

识别用户案例

关注输出

ML/AI不是魔法，它不能解决所有问题。它们只是一个标签，你需要自己去弄清楚你要往上面贴什么标签。

事物标签不仅仅意味着分类。这里的标签是指输出。它可以是一个类别，一个数字，一个句子，一个波形，一组ID，一个单一动作，一个操纵杆运动，一个动作序列等等。

如果你读了我最近一篇关于算法如何工作的文章，你就会注意到这篇文章想当然地认为有必要给一杯茶贴上Cassie喜欢或不喜欢的标签。

谁会同意浪费每个人的时间去做这样的用例呢？！它将如何帮到企业？那个分类器甚至应该存在吗？假设它可以工作，那它值得花时间和精力去建造吗?

现在谈“输入”并不是一个好时机

决策者中有很多人对数据非常熟悉。有些人可以同时谈论输入和输出方面的事情。但我的建议是：不要谈论“输入”！原因如下：

原因1：会错失良机

这是非常显而易见的。有些利益相关者对数据并不会像你那样熟悉，他们很容易混淆。在早期，你可能会向他们介绍你的想法，希望为你的项目获得资源。但不要让他们对此产生困惑！要告诉他们项目是做什么的，而不是怎么做的。

很多对数据比较熟悉人都会遇到一个问题，那就是他们会想当然的认为别人对数据也是非常敏感、熟悉的。而让我干到非常震惊的是，科技界许多绝顶聪明的人对数据并不了解，所以我现在知道不应该将这件事情看得那么理所当然。

原因2: 我们默认的情形不一定是最优的

作为一名有着多年经验工程师，我发现我们这些人越来越喜欢关注细节，去他的大局观。这实际上一种是风险很大的选择：比如当你花了6个小时与你的伙伴讨论，变量x是否是一个很好的输入，是否可以作为预测输出y的适当记录，这时其实你已经默认y是值得寻求的产出了。你已经确信了这一点，最后可能会做出并不需要的东西。

你可能还没有为机器学习做好准备

仍在忙着寻找用户实例吗？先停下来分析一下吧，分析的目标是为决策者创造灵感。一旦你受到了启发，你就可以回到ML /AI过程中并重新开始。分析（比如数据挖掘）对于每个项目而言都是一个好主意，而ML / AI仅适用于利用数据自动化标记的项目。

虽然它们之间的数学基础通常是相同的，但具体过程有很大差异。数据挖掘就是最大限度地提高发现速度，而机器学习是实现高性能的自动化过程。在数据挖掘中，你的团队只会犯一个错误，而后者可能犯的错误不胜枚举。只有处理确实值得投入资源的实例时，再着手处理这些令人头疼的问题。

让我们想象一下这个用例，标记图片是不是一杯茶。首先要确保不是仅仅考虑标记一两个杯子。 ML/AI对于自动执行许多重复决策很有意义，它不是一次性的。

拿一支笔，写下你自己判断的标记，（本例中只涉及是/否，很容易）。写下你如何判断出这个结果的，写下标记错误会是什么样子的。然后预计机器学习中会出现的错误。

核对事实很重要

一旦你能清楚地表达出你所寻求的标记，就可以快速检查一下：你手头关于这个商业问题的数据吗？

这些数据必须具有相关性。你不能使用大数据的模式来预测你的血糖水平。显然，无用的数据是不算数的。你不必分析数据（这事放在项目的后期来做），但应该确定在时机成熟时需要进行分析的内容。因为没有数据，AI项目就不复存在了。

此外，你还需要确认是否具备处理数据的计算力。

没有数据支持，AI项目就会像这头牛一样

在组建团队之前，有必要检查以下事实。确保以下问题的答案都是肯定的，下面是这些问题的概览：

适当的任务:你是否在自动进行许多决策和标记过程？是否无法每次都完美找到答案？

合理的期望:你的系统可能会很优秀，但并不是完美无瑕的，你能否接受偶尔会出错的系统？

潜在的有用输入是否存在？你能否获取到这些输入（目前没有这些数据也没问题，未来制定计划可以拿到这些数据就行）

充足的实例:当有机会和统计学家或机器学习工程师一起喝酒时，记得提一嘴现在自己手头有多少实例可用，想要获得什么样的输出。

计算机性能:你是否拥有足够的计算力来应对你使用的数据集？有了云技术，这一点其实不再是什么大问题了。

团队:你是否足够自信，认为一定可以招募到拥有必要技能的队友？

基本事实:除非从事非监督式学习研究，你能够正确获取输出吗？如果不能，是不是要花钱请人为你完成这项任务？

可以开始组建团队了！

明智地确定衡量标准

如果你是个新手，下一步可能会有点棘手。你要决定每个标记结果的价值。被标记为“是”的令人作呕的一杯茶的味道比一杯被标记为“否”的美味的茶的烂多少倍？ 全都由你决定！

如果你已经头大了，可以找一些对数字敏感的人一起头脑风暴。如果你想要最好的帮助者，可以向一些经济学家求助。经济学家为AI项目提供了很多有用的意见。

在搞清楚如何把握单一输出结果的权衡问题之后，就该考虑如何处理几千个结果的问题了。使用平均值是一个一般选择，但不一定非要取平均值。

制定指标

制定指标的方法有很多种。在本文中上面的例子里，你可以选择一个非常简单的标准：准确性！也就是说“不要出错。”假设每个错误都同样糟糕（取值为0），每个正确反应的作用都一样好（取值为1），然后取平均值。

也许你不想浪费自己的时间，你要确保当系统判定为美味时，它真的值得喝喝看，但你可能因此错过非常好喝的茶。嗯，这个度量标准称为精度。

遇到问题需要帮助了？你之前找来的经济学家已经走了？没问题！或者你有喜欢设计游戏的朋友吗？游戏爱好者在不知不觉中在整个生命中都在进行训练！如果你和这类人没那么深的交情，你可以打电话给你的分析专家，他们的工作就是帮助决策者确认对这类事情的观点。

咨询专家意见

在涉及到重大问题的应用中，请多咨询专家，确认不会以某种不正当和有害的方式对某些指标打了高分。

应该请哪些专家？你是否听说过一个笑话，说一位决策者、伦理学家，AI控制理论家，统计学家，用户体验研究员，行为经济学家，领域专家和可靠性工程师一起走进酒吧......

当然，这种情况对于无害的商业应用程序来说可能有点过分，因此您求助的专家对这些学科的熟悉程度非常重要。

创建业绩指标！

当你完成上面的步骤后，就已经创建了业务绩效指标！

与损失函数不同，在绩效指标方面，存在的可能是无穷无尽的，要由决策者决定哪些指标才是真正重要的。如果您对解决这个问题感到焦虑，我正在酝酿更多文章来帮助您掌握这些指标的开发。

损失函数是用于优化的，不是用来测试的

“在AI应用中，损失函数应该用于优化，而不是用于统计测试。统计测试中应该问的问题是：“模型的性能是否足以构建和启动？”

为方便起见，您可以使用标准化的损失函数进行优化，前提是该函数与你的领导想象中的函数相同（可通过分析或模拟执行相关性检查），但测试时，请使用自己的损失函数。

针对目标人群设置测试标准

明确你感兴趣的目标人群

在指定打算使用哪些实例之前，谈论系统是否能够“正常工作”是没有意义的。是的，这意味着你需要指定对那些特定的人群感兴趣。

设置测试系统的标准是决策者的责任，应该引起重视。

预先设定标准是保护我们避免打造出可怕的机器学习和人工智能系统的重要一步。

这个标准不是唯一的。你也可以制定一个团队可以达到的性能水平，但这不是测试标准的，测试时请使用最低限度的标准。

克服固有认知偏见的影响

事实证明，作为人类的一员，我们都存在一些可爱的认知偏见，可以简单归结为：当我们为某件事投入了时间和精力，我们就会爱上它，即使产生的是一堆有毒的垃圾！

所以，趁着你现在仍然清醒，在将大部分时间和精力投入某个项目之前，应该对业务项目中问题进行冷酷而严格的审视，并能够达到：“如果这个项目达不到最低要求，我保证砍掉它！”

不要太苛刻

如果你总是要求AI模型的表现比人类更好，那你可能会让你错过机会。这有点像说，你只愿意聘请奥运会金牌得主来为你家的装修铺地砖。也许奥林匹克运动员比普通人的能力更强，但采用如此严格的招聘标准可能会让你无人可招。

应该适当地降低标准，使其能够满足业务需求即可，但不低于最低标准。正如经济学家所说，将标准放低至最低限度是具有激励作用的。

有时自动化生产的产品的单位质量会低于手工制品，但机器制造的规模和速度使其具备了商业上的价值。这对你的业务有价值吗？嘿，负责人是你，不是我。祝你好运！

以上就是AI/机器学习项目搭建的第一步指南！如果你发现本指南中的任何观点还算有价值，请分享给身边的人中最有可能负责决策的人。让我们建立一支技术娴熟、负责任的人工智能领导者团队，共创AI的美好未来！