机器学习与Hadoop基础架构 - 网络安全系统大揭秘：美国FBI如何监控用户数据？

　　2.机器学习

　　传统分析要求分析师对数据有充分的了解，然后才能创建假设问题，进而针对数据库提出复杂的问题。而最近以机器学习和自然语言处理为核心的编程技术则依靠计算机程序来发现数据类型，甚至还可以根据上下文阐明模糊词汇的意义。

　　达文波特指出：“你可以把机器学习程序植入多个数据之中，然后你就会看到该程序会给你提供什么样的分析结果。通过使用自然语言处理技术，你还可以分辨出‘炸弹’这个词是百老汇舞台剧的剧名，还是恐怖分子将会使用的武器。”

　　权威市场研究机构Gartner Inc.的分析师道格拉斯?莱尼（Douglas Laney）指出，机器学习又被称之为“认知分析”，它能够让分析师提出的问题不断进行“自我修正”。比如，在新信息出现时，零售商就可以使用该技术来实时自动更新计价算法。这些新信息包括天气、时间、甚至是消费者在其零售店里的行为视频。

　　莱尼表示：“以前，更新价格往往需要一天多的时间，但这些零售商现在可以每小时就制定一个新价格，并借助趋势信息实施产品的实时定价。我不确定他们在一年前能否做到这一点。”

　　3.Hadoop基础架构

　　直到最近，还是只有造价昂贵的硬件设备才能够运行特别复杂的计算机程序，比如超大型计算机设备。但现在，Hadoop开源软件分布式系统基础架构已经能够让从资料库提取信息的过程进行分布实施。在这一过程中，不同的分析任务被分配给大量造价低廉的服务器进行分析，每个服务器只负责分析其中的一部分内容，然后这些内容又会在任务结束后被汇总在一起。达文波特表示：“这非常省钱，而且运行速度特别快。”

　　这种将复杂的问题分配给大量造价低廉的计算机处理的能力有助于人们获得问题的及时反馈，而且人们还会获得大量的数据变量。比如，美国汽车信息网站 Edmunds.com可以帮助汽车经销商预测一辆车在他们自己的停车场里停留的平均时间。这种预测能够最大限度地缩短一辆车售出的时长。 Edmunds.com的首席信息官菲利普?波特洛夫（Philip Potloff）指出：“对于汽车经销商来说，这可是衡量销售业绩最为重要的指标之一。”

　　流媒体视频服务商Netflix Inc.则使用Hadoop勾勒出用户使用多种设备接入视频的流量数据图谱。这有助于Netflix提高其为移动设备、笔记本和电视机提供视频数据的可靠性，同时帮助Netflix规划流媒体电影和电视剧集的未来增长。此外，Hadoop还帮助Netflix更好地分析客户喜好，从而为该公司提供改进建议。