0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

数据是从机器学习模型中获取可行见解时最关键的问题,对AI人才的需求依旧很高

jf_f8pIz0xS 来源:贤集网 作者:绕波特   2021-03-05 16:33 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

根据云服务提供商Rackspace Technology的一项新调查,大多数公司都在努力制定可行的人工智能策略。这项调查包括制造业,金融,零售,政府和医疗保健等各个行业的1,870个组织,该调查表明,只有20%的公司拥有成熟的AI /机器学习计划。

几乎每个行业中机器学习的前景都是如此。

将机器学习模型应用于实际应用程序的好处包括更低的成本、更高的精度、更好的客户体验以及新功能。并且,正如许多组织和公司正在学习的那样,在将机器学习的力量应用于您的业务和运营之前,您必须克服几个障碍。

公司将AI技术集成到其运营中时面临的三个关键挑战是技能,数据和策略领域,Rackspace的调查清楚地说明了大多数机器学习策略为何失败的原因。

机器学习模型以计算资源和数据为基础。得益于各种云计算平台,对训练和运行AI模型所需的硬件的访问变得更加容易获得和负担得起。

但是数据在规划和采用AI策略的不同阶段仍然是主要障碍。

在Rackspace调查中,有34%的受访者表示数据质量差是机器学习研发失败的主要原因,另有31%的受访者表示他们缺乏可用于生产的数据。

这凸显了将机器学习技术应用于现实问题时的主要障碍之一。尽管AI研究社区可以访问许多公共数据集来培训和测试其最新的机器学习技术,但要将这些技术应用于实际应用程序时,要获得高质量的数据并不容易。在工业,卫生和政府部门中尤其如此,在这些部门中,数据通常很少或受到严格的监管。

当机器学习计划从研究阶段转移到生产阶段时,数据问题再次出现。在使用机器学习来提取有价值的见解方面,数据质量仍然是最大的障碍。数据工程问题也带来了一个严重的问题,例如数据孤岛,缺乏连接不同数据源的人才以及不够快地以有意义的方式处理数据。

数据是从机器学习模型中获取可行见解时最关键的问题

Rackspace Technology的首席技术官杰夫·德维尔特(Jeff DeVerter)表示,尽管规模似乎是两者之间的关键区别,但初创企业和成熟公司都面临数据问题。初创企业往往受制于并非所有正确的资源来实施高质量的数据管道,并随着时间的流逝不断地对其进行管理。企业通常拥有规模,而随之而来的是严格的要求。

公司应对AI策略的数据挑战的最佳方法是对其数据基础架构进行全面评估。消除孤岛应该成为每个机器学习计划中的关键优先事项。公司还应具有清理数据的正确程序,以提高其机器学习模型的准确性和性能。

人工智能人才需求仍然很高

对于大多数公司而言,第二个难题是获取机器学习和数据科学人才。根据Rackspace的调查,缺乏内部专业知识是导致机器学习研发计划失败的第二大原因。招聘中缺乏技能和困难也是采用AI技术的主要障碍。

许多公司都在努力获取人才以实施其AI策略方面遇到困难

机器学习和深度学习直到最近才在生产环境中得到主流使用,因此许多较小的公司没有可以开发AI模型的数据科学家和机器学习工程师

数据科学家和机器学习工程师的平均薪水与经验丰富的软件工程师的薪水相称,这使得许多公司很难组建一支能够领导其AI计划的才华横溢的团队。

尽管众所周知,机器学习和数据科学人才的短缺,但没有引起人们注意的一件事是需要更多的数据工程师,建立,维护和更新数据库,数据仓库和数据湖的人员。根据Rackspace的数据,许多计划失败了,因为公司没有足够的能力来调整其数据基础结构以用于机器学习。严重缺乏公司的一些领域是:打破孤岛、迁移到云、建立Hadoop集群以及创建可以利用不同平台的功能的混合系统。这些缺点使他们无法在公司范围内部署机器学习计划。

大数据

随着新的机器学习和数据科学工具的发展,人才问题已变得不那么严重。谷歌,微软和亚马逊已经推出了平台,使开发机器学习模型变得更加容易。一个示例是Microsoft的Azure机器学习服务,该服务提供具有拖放组件的可视界面,使无需编码即可轻松创建ML模型。另一个例子是Google的AutoML,它可以自动完成繁琐的超参数调整过程。尽管这些工具不能代替机器学习人才,但它们为想要进入该领域的人们降低了障碍,并使许多公司能够重新培养其在这些不断发展的领域中的技术人才。

内部数据科学人才的匮乏不再是障碍,因为现在越来越多的服务可以使用他们自己的ML来帮助这方面,以及拥有这些人才的咨询公司。

该领域的其他发展是云存储和分析平台的发展,它极大地降低了创建创建和运行AI系统所需的无缝数据基础架构的复杂性。一个例子就是Google的BigQuery,这是一个基于云的数据仓库,可以轻松地对存储在各种来源中的大量数据进行查询。

我们还看到机器学习工具中的兼容性和集成功能正在不断增强,这将使组织更轻松地将ML工具集成到其现有软件和数据生态系统中。

在进入AI计划之前,每个组织都必须对内部人才,可用工具和集成可能性进行全面评估。知道您可以依靠自己的工程师多少以及雇用人才将花费多少,这将成为机器学习计划成败的决定性因素。另外,请考虑是否需要重新技能。如果您可以提高工程师的技能以从事数据科学和机器学习项目,那么从长远来看,您会更好。

外包AI人才

近年来增长的另一个趋势是AI计划的外包。在Rackspace调查中,只有38%的受访者依靠内部人才来开发AI应用程序。其余的要么完全外包他们的AI项目,要么雇用内部和外包人才。

大多数公司依靠外部人才来计划和实施他们的AI计划

现在有几家公司专门研究和实施AI策略。一个例子是C3.ai,这是一家专门从事多个行业的AI解决方案提供商。C3.ai在诸如Amazon,Microsoft和Google之类的现有云提供商之上提供AI工具。该公司还提供AI咨询和专业知识,以逐步引导客户完成战略制定和实施阶段。

根据Rackspace的报告,成熟的提供商可以随着时间的推移从战略到实施再到维护和支持带来一切。策略可以避开AI和机器学习工作可能失去动力或变得复杂的领域。动手专家还可以使组织免于清理和维护的麻烦。这些专业知识加在一起,可以为最终取得成功发挥一切作用。

但是,值得注意的是,将组织的AI战略完全移交给外部提供商可能是一把双刃剑。成功的策略需要AI专家与实施该策略的公司的主题专家之间的密切合作。

这与转向DevOps开发方法并试图将整个开发外包的公司非常相似。DevOps要求开发人员,业务分析师和业务中的其他人员之间保持紧密的合作关系。以同样的方式,人工智能项目不仅需要战略和技术专长,而且还需要与企业以及领导层建立紧密的合作伙伴关系。

必须精心完成外包AI人才的工作。尽管它可以加快开发和实施AI策略的过程,但您必须确保专家完全参与该过程。理想情况下,当您与外部专家一起工作时,您应该能够建立自己的内部数据科学家和机器学习工程师团队。

您如何评估您的AI策略?

最后,另一个使从事AI之旅的公司感到痛苦的领域是预测AI策略的结果和价值。鉴于机器学习在许多领域都是新的应用,因此很难预先知道AI策略将计划和实施多长时间以及投资回报率是多少。反过来,在获得对AI计划的支持时,组织的创新者很难让其他人参与进来。

在Rackspace调查的受访者中,有18%的人认为缺乏明确的业务案例是采用AI策略的主要障碍。高管人员缺乏承诺也是最大的障碍之一。缺乏用例和高级管理层的承诺再次出现在机器学习过程中的主要挑战中。

AI通常会四处寻找解决方案,以寻找组织内部的问题。我相信这是在组织内部广泛采用的最大障碍之一。由于AI从业人员可以展示有关AI如何使他们的特定公司受益的实际示例-领导力将进一步为这些活动提供资金。像任何企业一样,领导者需要知道它将如何帮助他们省钱或赚钱。

评估AI计划的结果非常困难。根据调查,衡量AI计划成功与否的前两个关键绩效指标(KPI)是利润率和收入增长。可以理解,这种对快速利润的关注部分是由于AI计划的高成本。根据Rackspace的调查,组织平均每年在AI计划上花费106万美元。

但是,尽管良好的AI计划可以带来收入增长和更低的成本,但在许多情况下,机器学习的长期价值在于开发新的用例和产品。

如果短期财务收益与那些可以由这些短期收益提供资金的长期战略不匹配,则可能是近视的。

如果您负责组织中的AI计划,请确保清楚地列出AI策略的用例,成本和收益。决策者应清楚了解其公司将要开展的工作。他们应该了解投资人工智能的短期利益,但他们也应该知道从长远来看会获得什么。
编辑:lyn

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    91

    文章

    42160

    浏览量

    303147
  • 机器学习
    +关注

    关注

    67

    文章

    8571

    浏览量

    137442
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    AI模型小龙虾-OpenClaw-0基础入门到实战

    这是 OpenClaw 教程最核心的适用场景。在真实的职场,大量的需求并不是“研发一个新的大模型”,而是“如何利用现有的 AI 能力,把眼前繁琐的工作干得更快”。 对于人力资源、法
    发表于 05-06 16:04

    AI Ceph 分布式存储教程资料大模型学习资料2026

    在人工智能的浪潮,算力、算法与数据被誉为三驾马车。然而,随着大模型(LLM)参数量突破万亿级别,数据集规模膨胀至 PB 乃至 EB 级别,传统的存储架构已难以支撑这场算力竞赛的“粮草
    发表于 05-01 17:35

    HM博学谷狂野AI模型第四期

    ,虽然能快速构建原型,却难以触及智能的边界。面对模型的幻觉、推理能力的瓶颈以及定制化需求的落空,单纯的应用层知识显得苍白无力。博学谷“狂野 AI模型第四期”正是为了打破这一层技术天
    发表于 05-01 17:30

    黑马-Java+AI新版V16零基础就业班百度云网盘下载+Java+AI全栈开发工程师

    抖动。这一层设计妥善时,Java+AI 系统的数据吞吐能力与扩展性可超越许多纯 Python 方案,成为架构上的差异化优势。 四、模型版本管理与热加载:解决更新停机之痛 企业级应用
    发表于 05-01 11:29

    机器学习数据质量双保障:“验证”到“标记”

    机器学习的世界里,有句老话尤为贴切:“garbagein,garbageout”(输入垃圾,输出垃圾)。无论模型架构多先进、算法多精妙,数据的质量始终是决定
    的头像 发表于 04-24 15:48 180次阅读
    <b class='flag-5'>机器</b><b class='flag-5'>学习</b><b class='flag-5'>中</b>的<b class='flag-5'>数据</b>质量双保障:<b class='flag-5'>从</b>“验证”到“标记”

    AI模型微调企业项目实战课

    数据、懂业务的“AI 架构师”。当企业真正掌握了开源基座到专属模型的转化能力时,就拥有了抵御外部不确定性的最强护城河。筑牢自主可控的 AI
    发表于 04-16 18:48

    面向物理世界的 AI 数据采集

    产业视角看,人工智能的发展大致经历了规则系统、机器学习、深度学习到大模型的演进过程。前几个阶
    的头像 发表于 04-13 09:24 314次阅读
    面向物理世界的 <b class='flag-5'>AI</b> <b class='flag-5'>数据</b>采集

    基于ETAS嵌入式AI工具链将机器学习模型部署到量产ECU

    AI在汽车行业的应用日益深化,如何将机器学习领域的先进模型(如虚拟传感器)集成到ECU软件,已成为业界面临的核心挑战。
    的头像 发表于 12-24 10:55 6526次阅读
    基于ETAS嵌入式<b class='flag-5'>AI</b>工具链将<b class='flag-5'>机器</b><b class='flag-5'>学习</b><b class='flag-5'>模型</b>部署到量产ECU

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI的科学应用

    流体芯片 ⑤AI计算平台 ⑥基于AI的自主决策系统 ⑦基于AI的自主学习系统 2、面临的挑战 ①需要造就一个跨学科、全面性覆盖的知识库和科学基础模型
    发表于 09-17 11:45

    超小型Neuton机器学习模型, 在任何系统级芯片(SoC)上解锁边缘人工智能应用.

    Neuton 是一家边缘AI 公司,致力于让机器 学习模型更易于使用。它创建的模型比竞争对手的框架小10 倍,速度也快10 倍,甚至可以在最
    发表于 07-31 11:38

    AI的未来,属于那些既能写代码,又能焊电路的“双栖人才

    的信号:AI真正的未来,不只属于“算法天才”,更属于那些既能写代码,又能焊电路的“双栖工程师”。无论是在AI芯片、智能终端、机器人、边缘计算还是大模型下沉的讨论
    发表于 07-30 16:15

    【书籍评测活动NO.64】AI芯片,过去走向未来:《AI芯片:科技探索与AGI愿景》

    创新、应用创新、系统创新五个部分,接下来一一解读。 算法创新 在深度学习AI芯片的创新上,书中围绕大模型与Transformer算法的算力需求,提出了一系列架构与方法创新,包括存内计算
    发表于 07-28 13:54

    任正非说 AI已经确定是第四次工业革命 那么如何从容地加入进来呢?

    实践。 为开源项目贡献代码或者文档。比如,帮助完善一个机器学习数据集的加载模块的代码,或者撰写某个AI算法的使用说明文档。这不仅可以提升自己的技术能力,还能在
    发表于 07-08 17:44

    模型在半导体行业的应用可行性分析

    的应用,比如使用机器学习分析数据,提升良率。 这一些大模型是否真的有帮助 能够在解决工程师的知识断层问题 本人纯小白,不知道如何涉足这方面 应该问什么大
    发表于 06-24 15:10

    边缘计算机器学习:基于 Linux 系统的实时推理模型部署与工业集成!

    你好,旅行者!欢迎来到Medium的这一角落。在本文中,我们将把一个机器学习模型(神经网络)部署到边缘设备上,利用ModbusTCP寄存器获取
    的头像 发表于 06-11 17:22 1206次阅读
    边缘计算<b class='flag-5'>中</b>的<b class='flag-5'>机器</b><b class='flag-5'>学习</b>:基于 Linux 系统的实时推理<b class='flag-5'>模型</b>部署与工业集成!