0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

数据是从机器学习模型中获取可行见解时最关键的问题,对AI人才的需求依旧很高

jf_f8pIz0xS 来源:贤集网 作者:绕波特   2021-03-05 16:33 次阅读

根据云服务提供商Rackspace Technology的一项新调查,大多数公司都在努力制定可行的人工智能策略。这项调查包括制造业,金融,零售,政府和医疗保健等各个行业的1,870个组织,该调查表明,只有20%的公司拥有成熟的AI /机器学习计划。

几乎每个行业中机器学习的前景都是如此。

将机器学习模型应用于实际应用程序的好处包括更低的成本、更高的精度、更好的客户体验以及新功能。并且,正如许多组织和公司正在学习的那样,在将机器学习的力量应用于您的业务和运营之前,您必须克服几个障碍。

公司将AI技术集成到其运营中时面临的三个关键挑战是技能,数据和策略领域,Rackspace的调查清楚地说明了大多数机器学习策略为何失败的原因。

机器学习模型以计算资源和数据为基础。得益于各种云计算平台,对训练和运行AI模型所需的硬件的访问变得更加容易获得和负担得起。

但是数据在规划和采用AI策略的不同阶段仍然是主要障碍。

在Rackspace调查中,有34%的受访者表示数据质量差是机器学习研发失败的主要原因,另有31%的受访者表示他们缺乏可用于生产的数据。

这凸显了将机器学习技术应用于现实问题时的主要障碍之一。尽管AI研究社区可以访问许多公共数据集来培训和测试其最新的机器学习技术,但要将这些技术应用于实际应用程序时,要获得高质量的数据并不容易。在工业,卫生和政府部门中尤其如此,在这些部门中,数据通常很少或受到严格的监管。

当机器学习计划从研究阶段转移到生产阶段时,数据问题再次出现。在使用机器学习来提取有价值的见解方面,数据质量仍然是最大的障碍。数据工程问题也带来了一个严重的问题,例如数据孤岛,缺乏连接不同数据源的人才以及不够快地以有意义的方式处理数据。

数据是从机器学习模型中获取可行见解时最关键的问题

Rackspace Technology的首席技术官杰夫·德维尔特(Jeff DeVerter)表示,尽管规模似乎是两者之间的关键区别,但初创企业和成熟公司都面临数据问题。初创企业往往受制于并非所有正确的资源来实施高质量的数据管道,并随着时间的流逝不断地对其进行管理。企业通常拥有规模,而随之而来的是严格的要求。

公司应对AI策略的数据挑战的最佳方法是对其数据基础架构进行全面评估。消除孤岛应该成为每个机器学习计划中的关键优先事项。公司还应具有清理数据的正确程序,以提高其机器学习模型的准确性和性能。

人工智能人才需求仍然很高

对于大多数公司而言,第二个难题是获取机器学习和数据科学人才。根据Rackspace的调查,缺乏内部专业知识是导致机器学习研发计划失败的第二大原因。招聘中缺乏技能和困难也是采用AI技术的主要障碍。

许多公司都在努力获取人才以实施其AI策略方面遇到困难

机器学习和深度学习直到最近才在生产环境中得到主流使用,因此许多较小的公司没有可以开发AI模型的数据科学家和机器学习工程师

数据科学家和机器学习工程师的平均薪水与经验丰富的软件工程师的薪水相称,这使得许多公司很难组建一支能够领导其AI计划的才华横溢的团队。

尽管众所周知,机器学习和数据科学人才的短缺,但没有引起人们注意的一件事是需要更多的数据工程师,建立,维护和更新数据库,数据仓库和数据湖的人员。根据Rackspace的数据,许多计划失败了,因为公司没有足够的能力来调整其数据基础结构以用于机器学习。严重缺乏公司的一些领域是:打破孤岛、迁移到云、建立Hadoop集群以及创建可以利用不同平台的功能的混合系统。这些缺点使他们无法在公司范围内部署机器学习计划。

大数据

随着新的机器学习和数据科学工具的发展,人才问题已变得不那么严重。谷歌,微软和亚马逊已经推出了平台,使开发机器学习模型变得更加容易。一个示例是Microsoft的Azure机器学习服务,该服务提供具有拖放组件的可视界面,使无需编码即可轻松创建ML模型。另一个例子是Google的AutoML,它可以自动完成繁琐的超参数调整过程。尽管这些工具不能代替机器学习人才,但它们为想要进入该领域的人们降低了障碍,并使许多公司能够重新培养其在这些不断发展的领域中的技术人才。

内部数据科学人才的匮乏不再是障碍,因为现在越来越多的服务可以使用他们自己的ML来帮助这方面,以及拥有这些人才的咨询公司。

该领域的其他发展是云存储和分析平台的发展,它极大地降低了创建创建和运行AI系统所需的无缝数据基础架构的复杂性。一个例子就是Google的BigQuery,这是一个基于云的数据仓库,可以轻松地对存储在各种来源中的大量数据进行查询。

我们还看到机器学习工具中的兼容性和集成功能正在不断增强,这将使组织更轻松地将ML工具集成到其现有软件和数据生态系统中。

在进入AI计划之前,每个组织都必须对内部人才,可用工具和集成可能性进行全面评估。知道您可以依靠自己的工程师多少以及雇用人才将花费多少,这将成为机器学习计划成败的决定性因素。另外,请考虑是否需要重新技能。如果您可以提高工程师的技能以从事数据科学和机器学习项目,那么从长远来看,您会更好。

外包AI人才

近年来增长的另一个趋势是AI计划的外包。在Rackspace调查中,只有38%的受访者依靠内部人才来开发AI应用程序。其余的要么完全外包他们的AI项目,要么雇用内部和外包人才。

大多数公司依靠外部人才来计划和实施他们的AI计划

现在有几家公司专门研究和实施AI策略。一个例子是C3.ai,这是一家专门从事多个行业的AI解决方案提供商。C3.ai在诸如Amazon,Microsoft和Google之类的现有云提供商之上提供AI工具。该公司还提供AI咨询和专业知识,以逐步引导客户完成战略制定和实施阶段。

根据Rackspace的报告,成熟的提供商可以随着时间的推移从战略到实施再到维护和支持带来一切。策略可以避开AI和机器学习工作可能失去动力或变得复杂的领域。动手专家还可以使组织免于清理和维护的麻烦。这些专业知识加在一起,可以为最终取得成功发挥一切作用。

但是,值得注意的是,将组织的AI战略完全移交给外部提供商可能是一把双刃剑。成功的策略需要AI专家与实施该策略的公司的主题专家之间的密切合作。

这与转向DevOps开发方法并试图将整个开发外包的公司非常相似。DevOps要求开发人员,业务分析师和业务中的其他人员之间保持紧密的合作关系。以同样的方式,人工智能项目不仅需要战略和技术专长,而且还需要与企业以及领导层建立紧密的合作伙伴关系。

必须精心完成外包AI人才的工作。尽管它可以加快开发和实施AI策略的过程,但您必须确保专家完全参与该过程。理想情况下,当您与外部专家一起工作时,您应该能够建立自己的内部数据科学家和机器学习工程师团队。

您如何评估您的AI策略?

最后,另一个使从事AI之旅的公司感到痛苦的领域是预测AI策略的结果和价值。鉴于机器学习在许多领域都是新的应用,因此很难预先知道AI策略将计划和实施多长时间以及投资回报率是多少。反过来,在获得对AI计划的支持时,组织的创新者很难让其他人参与进来。

在Rackspace调查的受访者中,有18%的人认为缺乏明确的业务案例是采用AI策略的主要障碍。高管人员缺乏承诺也是最大的障碍之一。缺乏用例和高级管理层的承诺再次出现在机器学习过程中的主要挑战中。

AI通常会四处寻找解决方案,以寻找组织内部的问题。我相信这是在组织内部广泛采用的最大障碍之一。由于AI从业人员可以展示有关AI如何使他们的特定公司受益的实际示例-领导力将进一步为这些活动提供资金。像任何企业一样,领导者需要知道它将如何帮助他们省钱或赚钱。

评估AI计划的结果非常困难。根据调查,衡量AI计划成功与否的前两个关键绩效指标(KPI)是利润率和收入增长。可以理解,这种对快速利润的关注部分是由于AI计划的高成本。根据Rackspace的调查,组织平均每年在AI计划上花费106万美元。

但是,尽管良好的AI计划可以带来收入增长和更低的成本,但在许多情况下,机器学习的长期价值在于开发新的用例和产品

如果短期财务收益与那些可以由这些短期收益提供资金的长期战略不匹配,则可能是近视的。

如果您负责组织中的AI计划,请确保清楚地列出AI策略的用例,成本和收益。决策者应清楚了解其公司将要开展的工作。他们应该了解投资人工智能的短期利益,但他们也应该知道从长远来看会获得什么。
编辑:lyn

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    26424

    浏览量

    264030
  • 机器学习
    +关注

    关注

    66

    文章

    8116

    浏览量

    130550
收藏 人收藏

    评论

    相关推荐

    FPGA在深度学习应用或将取代GPU

    、笔记本电脑或机架式服务器上训练神经网络时,这不是什么大问题。但是,许多部署深度学习模型的环境对 GPU 并不友好,比如自动驾驶汽车、工厂、机器人和许多智慧城市环境,在这些环境硬件必
    发表于 03-21 15:19

    防止AI模型被黑客病毒入侵控制(原创)聆思大模型AI开发套件评测4

    在训练一只聪明的AI小动物解决实际问题,通过构建神经网络模型并进行推理,让电脑也能像人一样根据输入信息做出决策。 在上述示例,我创建了一个简单的深度学习
    发表于 03-19 11:18

    使用CUBEAI部署tflite模型到STM32F0模型创建失败怎么解决?

    CRC IP,用MX生成工程时已经启用了CRC,代码也有。 但是依旧无法生成模型。 想问问该如何解决,还是说F0还是无法部署AI模型
    发表于 03-15 08:10

    如何使用TensorFlow构建机器学习模型

    在这篇文章中,我将逐步讲解如何使用 TensorFlow 创建一个简单的机器学习模型
    的头像 发表于 01-08 09:25 357次阅读
    如何使用TensorFlow构建<b class='flag-5'>机器</b><b class='flag-5'>学习</b><b class='flag-5'>模型</b>

    【KV260视觉入门套件试用体验】Vitis AI 构建开发环境,并使用inspector检查模型

    量化 七、Vitis AI 通过迁移学习训练自定义模型 八、Vitis AI 将自定义模型编译并部署到KV260
    发表于 10-14 15:34

    AI智能呼叫中心

    数据驱动决策以及人力成本节约,旨在深入剖析其核心优势和对企业的重要意义。一、自动化处理AI智能呼叫中心通过引入自然语言处理(NLP)、机器学习和自动化技术,使得呼叫中心的处理过程更加
    发表于 09-20 17:53

    机器学习模型评估指标

    机器学习模型指标在机器学习建模过程中,针对不同的问题,需采用不同的模型评估指标。
    发表于 09-06 12:51 446次阅读
    <b class='flag-5'>机器</b><b class='flag-5'>学习</b><b class='flag-5'>模型</b>评估指标

    如何使用机器学习在M480上执行关键字识别

    应用程序: 本样本代码使用机器学习来在 M480 上执行关键字识别。 BSP 版本: M480系列 BSP CMSIS V3.04.000 硬件: NuMaker-PFM-M487 VER 3.0
    发表于 08-29 06:46

    机器学习为什么需要数据预处理

    数据预处理是准备原始数据并使其适合机器学习模型的过程。这是创建机器
    的头像 发表于 08-24 09:20 1151次阅读
    <b class='flag-5'>机器</b><b class='flag-5'>学习</b>为什么需要<b class='flag-5'>数据</b>预处理

    使用机器学习在M480上执行关键字识别

    应用程序: 本样本代码使用机器学习来在 M480 上执行关键字识别。 BSP 版本: M480系列 BSP CMSIS V3.04.000 硬件: NuMaker-PFM-M487 VER 3.0
    发表于 08-22 08:02

    机器学习是什么意思?机器学习属于什么分支?机器学习有什么用处?

    机器学习是什么意思?机器学习属于什么分支?机器学习是什么有什么用处?
    的头像 发表于 08-17 16:30 1273次阅读

    机器学习算法汇总 机器学习算法分类 机器学习算法模型

    机器学习算法汇总 机器学习算法分类 机器学习算法模型
    的头像 发表于 08-17 16:11 723次阅读

    AI模型和小模型是什么?AI模型和小模型的区别

      随着人工智能的不断发展和应用,机器学习模型的大小越来越成为一个重要的问题。在机器学习中,我们通常将
    发表于 08-08 16:55 5491次阅读

    使用机器学习模型(AI)进行预测是否安全

    电子发烧友网站提供《使用机器学习模型(AI)进行预测是否安全.zip》资料免费下载
    发表于 06-14 11:04 0次下载
    使用<b class='flag-5'>机器</b><b class='flag-5'>学习</b><b class='flag-5'>模型</b>(<b class='flag-5'>AI</b>)进行预测是否安全

    AI带来技能人才需求的变化

     李培根表示,像chatgpt这样的人工智能大型模型对各产业的影响是巨大而深远的,ai对技能人才需求的变化更为明显。“现在的很多技术在未来可能不需要,至少对相关人才
    的头像 发表于 06-12 10:32 1395次阅读