机器学习和深度学习中需避免的 7 个常见错误与局限性

无论你是刚入门还是已经从事人工智能模型相关工作一段时间，机器学习和深度学习中都存在一些我们需要时刻关注并铭记的常见错误。如果对这些错误置之不理，日后可能会引发诸多麻烦！只要我们密切关注数据、模型架构，并验证输出结果，就能不断提升专业技能，养成优秀数据科学家的工作习惯。

---

需避免的机器学习和深度学习数据错误

在训练数据驱动的人工智能模型时，我们会遇到一些常见错误和局限性。而在运行模型之前，准备数据集的重要性不言而喻，这是构建高效模型的关键。训练人工智能模型时，80% 的工作都集中在数据准备上，包括数据收集、清理和预处理，剩下的 20% 则用于模型选择、训练、调优和评估。

1. 使用低质量数据

低质量数据可能成为训练人工智能模型（尤其是深度学习模型）的重大障碍。数据质量会对模型性能产生关键影响，低质量数据会导致模型表现不佳，得出不可靠的结果。

低质量数据的常见问题包括：

• 数据缺失或不完整：如果数据的很大一部分缺失或不完整，将难以训练出准确且可靠的模型。
• 数据存在噪声：包含大量噪声的数据（如异常值、错误信息或无关信息）会引入偏差，降低整体准确性，从而对模型性能产生负面影响。
• 数据缺乏代表性：如果用于训练模型的数据无法代表其要解决的问题或执行的任务，模型的表现和泛化能力都会受到影响。

通过数据治理、数据整合和数据探索等方式仔细评估和界定数据，确保数据高质量至关重要。采取这些步骤后，我们才能获得清晰可用的数据。

2. 忽视极端值（过高或过低）

数据相关的第二个常见深度学习错误是未能识别和处理数据集中的极端值。切勿忽视这些极端值，它们会对深度学习模型（尤其是神经网络）产生重大影响。我们可能会认为应保留极端值，因为它们能反映数据的真实情况，但实际上极端值往往属于边缘案例。若要训练模型实现任务泛化，这些极端值会降低准确性、引入偏差并增加方差。

有时极端值只是数据噪声导致的（可采用上一部分提到的方法清理），而有时它们可能预示着更严重的问题。如果不密切关注数据中的极端值，它们可能会极大地影响结果，导致模型做出错误预测。

以下是处理数据中极端值的几种有效方法：

• 采用成熟的统计方法（如 Z 分数法、假设检验等）移除极端值。
• 运用 Box-Cox 变换或中值滤波等技术，通过限制极端值范围或设置上限的方式对其进行修正和清理。
• 改用更稳健的估计量（如中值数据点或截尾均值）替代常规均值，以更好地处理极端值。

处理数据集中极端值的具体方式，很大程度上取决于所使用的数据以及深度学习模型的研究类型。但无论如何，都要时刻关注极端值并加以考虑，避免犯下这个常见的机器学习和深度学习错误！

3. 使用过大或过小的数据集

数据集大小会对深度学习模型的训练产生重要影响。一般来说，数据集越大，模型性能越好。这是因为更大的数据集能让模型更多地了解数据中潜在的模式和关系，从而更好地泛化到新的、未见过的数据上。

但需要注意的是，仅仅拥有大数据集是不够的，数据还需具备高质量和多样性才能发挥作用。如果数据量虽大但质量低下或缺乏多样性，模型性能也无法得到提升。此外，数据过多也可能引发问题。

• 过拟合：如果数据集过小，模型可能没有足够的样本进行学习，容易出现过拟合现象。这意味着模型在训练数据上表现良好，但在新的、未见过的数据上表现糟糕。
• 欠拟合：如果数据集过大，模型可能会过于复杂，无法学习到数据中潜在的模式，从而导致欠拟合。此时模型在训练数据和测试数据上的表现都较差。

通常而言，数据集需要足够大，能为模型提供充足的学习样本，但又不能过大，以免造成计算困难或训练时间过长，存在一个最佳平衡点。此外，确保数据的多样性和高质量也同样重要，这样才能让数据发挥实际效用。

---

机器学习和深度学习中常见的架构错误

在机器学习和深度学习工作中，犯错是难免的。但有些容易纠正的错误，往往会造成最严重的损失。每个人工智能项目都应根据具体情况进行评估，以确定合适的架构，从而获得最佳结果。

有时只需升级某些组件即可，但在其他情况下，可能需要重新规划，确保所有部分都能合理整合。

4. 使用劣质硬件

简单来说，深度学习模型的主要功能是处理海量数据。正因为如此，许多老旧的系统和部件往往无法承受这种压力，在处理深度学习模型所需的庞大数据时会不堪重负而出现故障。

使用劣质硬件会因计算资源、内存、并行处理能力和存储容量有限，影响模型的训练性能。如今已不再是使用数百个 CPU 的时代，GPU 计算在深度学习和机器学习中的高效性，让现代技术能够并行处理训练稳健模型所需的数百万次计算。

大型人工智能模型（尤其是在处理大型数据集时）的训练也需要大量内存。切勿在内存上吝啬，因为当训练开始后，若出现内存不足的错误，就不得不从头再来。除了数据存储，还需要充足的空间来存放大型数据集。

缓解计算硬件的这些限制并不复杂。可以对数据中心进行现代化升级，以应对高强度计算任务。也可以利用 HuggingFace 等平台提供的预训练模型，为开发复杂模型打下基础，并对其进行微调。

5. 集成错误

当一个组织决定升级到深度学习技术时，通常已经拥有了想要继续使用或重新利用的设备。然而，将最新的深度学习技术整合到现有的老旧技术和系统（包括物理系统和数据系统）中，是一项极具挑战性的任务。

要制定最佳的集成策略，需保持准确的解读和文档记录，因为可能需要对硬件以及所使用的数据集进行重新调整。

与专业的实施和集成合作伙伴合作，可以大大简化异常检测、预测分析和集成建模等服务的部署。在项目开始时就应考虑到这一点，以避免这个常见的机器学习和深度学习错误。

---

需避免的机器学习和深度学习输出错误

当数据集准备就绪且架构稳定后，我们就可以开始从深度学习模型中获取输出结果了。但在这一环节，人们很容易陷入一个常见的机器学习和深度学习错误：没有足够关注输出结果。

6. 反复使用同一个模型

训练一个深度学习模型后就反复使用，看似是个不错的主意，但实际上这是不符合常理的！

只有通过训练多个迭代版本和不同类型的深度学习模型，我们才能收集到具有统计意义、可用于研究的数据。例如，如果用户只训练一个模型并反复使用，就会得到一系列可预测的标准化结果。但这可能会导致忽视引入多种数据集的机会，而这些数据集或许能带来更有价值的见解。

相反，如果使用多个深度学习模型，并在多种数据集上进行训练，我们就能发现其他模型可能忽略或有不同解读的各种因素。对于神经网络等深度学习模型而言，这正是算法能够学习产生更多样化输出，而非相同或相似结果的方式。

7. 试图让第一个模型成为最佳模型

刚开始接触深度学习时，人们很容易想要创建一个能够完成所有必要任务的单一模型。但不同的模型擅长预测不同的事物，因此这种做法通常注定会失败。

例如，决策树在预测类别数据（且各组件之间没有明确关联）时往往表现出色，但在处理回归问题或进行数值预测时却效果不佳。另一方面，逻辑回归在处理纯数值数据时非常高效，但在进行类别预测或分类时却存在不足。

迭代和多样化是获得稳健结果的最佳手段。虽然构建一个模型后反复使用看似很有吸引力，但这会导致结果停滞不前，还可能让用户忽略许多其他潜在的输出可能性！

本文转自：联泰集群 LTHPC