如何克服机器学习面临的数据挑战？

众所周知，数据对于机器学习的重要性。了解数据访问模式将帮助数据科学家确定适合其项目的正确存储基础架构。数据基础架构使机器学习成为可能。然而，一旦开始使用，机器学习就面临着关键的数据挑战，需要首先解决：

质量

稀疏性

完整性

接下来，让我们深入研究其中的每一个，以便大家了解如何克服机器学习的这些挑战：

1. 质量

许多数据科学家希望利用外部来源的数据。然而，通常没有质量控制或保证如何捕获原始数据。

你相信外部数据的准确性吗？

这是一个很好的例子。漂浮在海洋中的浮标上的传感器收集有关海洋温度的数据。但是，当传感器无法收集温度时，它将记录为999。此外，在2000年之前，仅用两个数字记录了年份的数字。但是在2000年之后，记录的数字变为了四个。

因此，我们需要了解数据的质量以及如何准备数据。在这种情况下，分析浮标数据的科学家可以使用平均值、均值、最小值、最大值来可视化原始数据，捕获这些数据库错误并相应地对其进行清理。

2. 稀疏性

在这种情况下，稀疏适用于元数据。通常，元数据字段不完整，有些字段已填写，有些字段留空。如果数据是从单一来源生成的，则可能是由于人类缺乏规范或知识所致。但是，如果数据来自各种来源，而没有元数据的标准定义，则每个数据集可能具有完全不同的字段。因此，将它们组合在一起时，完成的字段可能不对应。

当前，关于捕获哪些元数据没有行业标准。然而，元数据与数据本身一样重要。当您具有填充了不同元数据字段的相同类型的数据时，如何关联和过滤数据？

如果以浮标为例，初始数据传感器每十分钟收集一次水温，而较新的浮标每三分钟收集一次水温。关联数据的唯一方法是通过元数据在捕获时公开。当科学家进行历史分析时，他们需要元数据以便能够相应地调整其模型。

3. 完整性

数据完整性是数据准确性和一致性的保证。数据保管链对于证明数据在流水线和位置中移动时不会受到损害至关重要。当数据的捕获和摄取受到控制时，您可以相对轻松地验证其完整性。但是，与他人合作时，很难进行验证。生成数据时，没有用于外部数据的安全证书。您也不能确保数据记录完全符合预期，也不能确保接收到的数据与原始记录时完全相同。

关于物联网数据和区块链存在一些有趣的概念，但是，在广泛采用这种概念之前，数据完整性取决于安全技术和策略的结合。例如，由于数据在静态或传输过程中可能会受到威胁，因此通过网络传输的数据应使用https，并且在静态时应进行加密。另一方面，访问控制应受策略驱动，以避免人为错误。

如何开始？

数据质量、稀疏性和完整性直接影响最终模型的准确性，并且是当今机器学习面临的一些比较大的挑战。拥有清晰数据定义，政策并探索行业特定数据标准的组织将在短期和长期项目中受益。

如果您还没有，那么您的组织应该首先定义自己的数据收集策略，元数据格式，然后应用标准的安全技术。数据质量和稀疏性齐头并进。下一步，设置元数据策略，并确保可以使用捕获的定性数据来验证数据的有效性。最后，为了确保数据完整性，可以在生成数据时应用数字证书，应该在传输过程中强制使用SSL，并且始终保持启用加密状态。

安全数据协作

如果您所在的行业需要与外部组织不断交换数据，那么最好开放您的数据和元格式的源代码，因为这些标准比许多专有标准更广泛。更好的是，您可以发起一个行业开放标准委员会，让其他人参与和贡献。一个很好的例子是“开放目标”，这是一种“公私合作伙伴关系，利用人类遗传学和基因组学数据进行系统的药物靶点识别和优先排序。”

尤其是研究数据生态系统已经变得高度复杂，组织内部和外部的合作者需要快速访问数据以及简化数据管理的方法。机器学习的挑战很多。第一步是使用正确的数据和基础结构启动项目。
责任编辑：tzh