python数据库去重复_如何处理MySQL重复数据？

对于常规的MySQL数据表中可能存在重复的数据，有些情况是允许重复数据的存在，有些情况是不允许的，这个时候我们就需要查找并删除这些重复数据，以下是具体的处理方法！

方法一：防止表中出现重复数据

当表中未添加数据时MySQL 处理重复数据，可以在MySQL数据表中设置指定的字段为PRIMARY KEY(主键) 或者 UNIQUE(唯一) 索引来保证数据的唯一性。

例如在学生信息表中学号no不允许重复，需设置学号no为主键，且默认值不能为NULL。

CREATE TABLE student

(

no CHAR(12) NOT NULL,

name CHAR(20),

sex CHAR(10),

PRIMARY KEY (no)

);

方法二：过滤删除重复值

对于数据表中原有的数据，想要去除重复数据需要经过重复数据查找、过滤以及删除等步骤。

1.统计重复数据

mysql> SELECT COUNT(*) as repetitions,no

-> FROM student

-> GROUP BY no

-> HAVING repetitions > 1;

以上查询语句将返回student表中重复的记录数。

2.过滤重复数据

如果需要读取不重复的数据可以在SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。

mysql> SELECT DISTINCT no

-> FROM student;

也可以使用 GROUP BY 来读取数据表中不重复的数据

mysql> SELECT no

-> FROM student

-> GROUP BY (no);

3.删除重复数据

删除数据表中重复数据，可以使用以下SQL语句：

mysql> CREATE TABLE tmp SELECT no, name, sex FROM student GROUP BY (no, sex);

mysql> DROP TABLE student;

mysql> ALTER TABLE tmp RENAME TO student;

也可以在数据表中添加INDEX(索引)和 PRIMAY KEY(主键)来删除表中的重复记录，方法如下：

mysql> ALTER IGNORE TABLE student

-> ADD PRIMARY KEY (no);

（编辑：晋中站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!