sql去除重复数据 - 电子发烧友网

在SQL中去除重复数据通常有两种常见方法：使用`DISTINCT`关键字或使用`GROUP BY`子句。此外，在某些情况下，我们还可以使用窗口函数（如`ROW_NUMBER()`）来删除重复行。以下将分别介绍这些方法。 ### 1. 使用DISTINCT `DISTINCT`关键字用于返回唯一不同的值。它可以用在`SELECT`语句中，去除结果集中重复的行。 **示例：** 假设有一个名为`employees`的表，其中包含重复的姓名（name）记录，我们想获取所有不重复的姓名： ```sql SELECT DISTINCT name FROM employees; ``` 如果想根据多个列去重，可以这样： ```sql SELECT DISTINCT name, department FROM employees; ``` ### 2. 使用GROUP BY `GROUP BY`子句通常与聚合函数一起使用，但它也可以用于去重。通过将需要去重的列放入`GROUP BY`中，可以得到这些列的唯一组合。 **示例：** ```sql SELECT name, department FROM employees GROUP BY name, department; ``` ### 3. 使用窗口函数删除重复行（保留一行）如果表中存在完全重复的行（所有列都相同）或者你希望根据某些列去重并保留一行（例如保留最新或最旧的一条记录），可以使用窗口函数（如`ROW_NUMBER()`）来标记重复行，然后删除或选择非重复行。 **示例：保留每组重复行中的一行（例如，按某个顺序保留第一条）** 假设我们有一个包含多列的表，我们想根据`name`和`department`去重，并保留每个组合中`id`最大的记录。 ```sql WITH ranked_employees AS ( SELECT *, ROW_NUMBER() OVER (PARTITION BY name, department ORDER BY id DESC) AS rn FROM employees ) SELECT * FROM ranked_employees WHERE rn = 1; ``` 在这个例子中，我们按照`name`和`department`分组（`PARTITION BY`），并在每个分组内按`id`降序排序（这样最大的`id`排第一），然后取每个分组的第一行（`rn=1`）。 ### 4. 删除表中的重复行（物理删除）如果我们需要从表中永久删除重复行，可以使用上述窗口函数的方法。 **示例：删除重复行，只保留id最大的一条** ```sql -- 在支持CTE和窗口函数的数据库（如PostgreSQL, SQL Server, Oracle等）中 WITH duplicates AS ( SELECT *, ROW_NUMBER() OVER (PARTITION BY name, department ORDER BY id DESC) AS rn FROM employees ) DELETE FROM duplicates WHERE rn > 1; ``` 注意：在MySQL 8.0以上版本也支持CTE和窗口函数，但在MySQL中不能直接删除CTE中的记录，可以这样处理： ```sql DELETE e1 FROM employees e1 INNER JOIN employees e2 ON e1.name = e2.name AND e1.department = e2.department AND e1.id < e2.id; ``` 这个MySQL的删除语句会删除那些在相同`name`和`department`下，`id`不是最大的行。 ### 注意事项 - 使用`DISTINCT`和`GROUP BY`进行查询去重时，不会改变表中的数据，只是在查询结果中返回不重复的行。 - 如果要永久删除重复数据，请务必先备份数据，并在测试环境中验证删除操作。 - 不同的数据库系统可能有不同的语法，上述示例主要适用于标准SQL或常见数据库（如MySQL, PostgreSQL, SQL Server等），请根据实际使用的数据库调整。请根据你的具体需求选择合适的方法。

在 SQL 中去除重复数据，主要使用 DISTINCT 关键字或 GROUP BY 子句。以下是具体方法及示例：

1. 使用 `DISTINCT`（适用于查询结果去重）

直接筛选所有列或指定列的唯一组合：

-- 去除所有列的重复数据（所有列值完全相同才算重复）
SELECT DISTINCT * FROM 表名;

-- 去除指定列的重复数据（例如：基于 column1 和 column2 去重）
SELECT DISTINCT column1, column2 FROM 表名;

2. 使用 `GROUP BY`（更灵活，可搭配聚合函数）

按指定列分组，返回唯一组合：

-- 基本去重（效果同 DISTINCT column1, column2）
SELECT column1, column2 
FROM 表名 
GROUP BY column1, column2;

-- 搭配聚合函数（例如：保留重复组中某列的统计值）
SELECT column1, MAX(column2) AS max_value 
FROM 表名 
GROUP BY column1;

3. 删除表中的物理重复数据（需谨慎操作）

方法 1：使用临时表（通用且安全）

-- 步骤 1：创建临时表存储去重后的数据
CREATE TABLE 新表名 AS
SELECT DISTINCT * FROM 原表名;  -- 或使用 GROUP BY

-- 步骤 2：删除原表，重命名新表
DROP TABLE 原表名;
ALTER TABLE 新表名 RENAME TO 原表名;

方法 2：使用 `ROW_NUMBER()`（适用于保留特定行）

-- 示例：保留每组重复数据中 id 最小的记录
DELETE FROM 表名
WHERE id NOT IN (
  SELECT MIN(id)
  FROM 表名
  GROUP BY column1, column2  -- 按需指定去重列
);

方法 3：直接删除（MySQL 示例）

DELETE t1
FROM 表名 t1
INNER JOIN 表名 t2 
  ON t1.column1 = t2.column1 
  AND t1.column2 = t2.column2 
  AND t1.id > t2.id;  -- 保留 id 较小的记录

⚠️ 注意事项：

备份数据：删除重复数据前务必备份原表！
明确去重逻辑：确认是按所有列还是部分列去重，并决定保留哪一行（如最小/最大 ID、最新时间等）。
性能考虑：大表去重时，建议在低峰期操作，或分批次处理。
事务支持：在事务中执行删除操作，便于出错时回滚（如 SQL Server 使用 BEGIN TRANSACTION）。

示例场景：

表 `users`：	id	name	email
1	Alice	alice@mail.com
2	Bob	bob@mail.com
3	Alice	alice@mail.com	← 重复记录

去重操作：

-- 查询去重结果
SELECT DISTINCT name, email FROM users;

-- 物理删除重复数据（保留最小 id）
DELETE FROM users
WHERE id NOT IN (
  SELECT MIN(id) 
  FROM users 
  GROUP BY name, email
);