成功的文本分析工作流程的四个步骤

文本分析（从原始人类语言中发现隐藏模式以实现更好的决策和预测的过程）为工业和预测性维护系统提供了多种好处。这些分析使工程师能够利用原始文本数据轻松生成有关维护记录的见解，并构建故障预测算法以预防潜在问题。

以非公路商业空间为例，在建筑工地使用重型设备：如果一台重型设备发生故障，它可能会在修复系统所需的时间和成本以及停机时间之间成为代价高昂的故障。施工停滞时的现场。传统上，来自该设备的遥测数据已被用于构建可预测未来故障的预测性维护模型。但是，机械师和操作员的文字说明中也包含有关过去故障及其原因的宝贵信息。工程师可以利用这些文本数据来增强预测性维护模型，并识别应该解决的模式和故障模式。

文本分析的挑战在于非结构化的原始文本数据集的庞大数量，这可能会使分析工具不堪重负。这使得工程师更难快速、直观地提取用户可能获得的所有有价值的信息。然而，工程师可以通过正确的工具和坚持端到端的工作流程来克服这些障碍。

当谈到端到端的文本分析工作流程时，工程师需要知道什么？工作流程有四个主要阶段：

图 1. 端到端文本分析工作流程。

第 1 阶段：数据访问和探索

文本数据将来自多种来源，包括数据库、内部文件存储库和 Internet，并采用多种格式。正确准备数据是成功工作流程的关键因素。适当的数据准备将原始文本数据清理并预处理为“清理数据”以进行分析。

以词云为例。该模型将数据转换为一种格式，使工程师能够快速轻松地可视化正在使用的单词以及数据池中最常用的短语。当与应用他们的领域专业知识的工程师结合使用时，词云等可视化有利于更大的文本分析工作流程，因为工程师可以很容易地发现数据可能遗漏的地方或需要更多清理的地方，因为他们了解给定的典型问题或问题环境或用例。

第 2 阶段：数据预处理

这些可视化还有助于指导需要采取的下一步行动。如图 2 所示，停用词（不增加价值的低信息词）很常见，它们的存在会影响可视化结果。在工程师开始模型开发过程之前，他们必须清理原始文本数据，以便过滤掉这些“停用词”并输入真实、重要的数据以传递给建模过程。预处理阶段允许用户从原始文本中提取有意义的单词。

数据清洗通常是数据分析中最耗时的部分，根据数据量，清洗步骤可能需要多次迭代。但是，由于投入额外的时间和所需资源而产生的投资回报率允许稍后在文本分析工作流程中建立更准确和成功的模型。在许多情况下，干净的词云会传递更多关于文本页面上实际内容的信息。

图 2. 预处理数据。

Text Analytics Toolbox等工具通过为文本数据的预处理、分析和建模提供算法和可视化，帮助用户为模型构建过程做好准备，从而为解决数据清理痛点的工程师提供支持。

这些工具从流行的文件格式中提取文本，对来自设备日志、新闻提要、调查、操作员报告和社交媒体等来源的原始文本进行预处理，提取利用文本、数字和其他类型的数据，将文本转换为数字表示，然后构建统计模型。

第 3 阶段：预测模型构建

清理和预处理数据后，就可以开始使用机器或深度学习算法构建预测模型了。

这就是文本分析的优势所在：它发现数据中的隐藏模式并以直观的格式显示它们，使用户能够消化数据，然后采取纠正措施来解决问题，然后再进一步进入工作流程。

以将纯文本数据转化为数字形式为例。工程师可以应用诸如“词袋”之类的建模方法，它根据提供的文本数据创建一个数字矩阵，显示每个词的使用频率。然后，工程师可以从那里使用预测模型，例如潜在狄利克雷分配 （LDA） 模型，该模型可以拟合到词/频矩阵，以发现文本数据集中隐藏的主题和见解。

如图 3 所示，LDA 模型可以生成与数据中的“隐藏主题”相关的词云，显示模式如何从将文本数据拟合到该预测模型中开始出现，有助于为相应问题的创建解决方案提供信息。

图 3. 使用 LDA 方法自动识别工厂报告数据中的主题。主题 2 与电子问题有关。主题 3 与流体系统的问题有关。

一旦模型（例如上面示例中的模型）使用新的叙述进行测试以验证模型的预测是否正确，就可以建立自动警报，以便系统在任何需要注意的问题上向响应团队发送标志。如果位置数据也可用，结果会发现某些主题（例如，标记的问题）与其位置数据之间存在相关性，因此该模型还可以通过使用多个数据流来补充文本数据，提醒响应团队注意基础设施方面潜在的更大问题。

第 4 阶段：洞察力和预测模型部署

使用文本分析设置模型并验证可接受的性能后，有多种方法可以与工程团队和/或管理层共享结果和模型，包括生成报告或交互式笔记本（例如，MATLAB 实时编辑器）、沟通将数据传输到桌面或 Web 应用程序（例如，MATLAB App Designer），或将应用程序托管在生产服务器或 Web 应用程序服务器上。

对于工业自动化、机械、汽车制造、航空航天设计或能源分配等行业的工程师来说，文本分析可以帮助他们执行复杂的数值分析，以识别可以带来更好结果并改进预测性维护等功能的想法和概念组。

审核编辑：郭婷