通过消除重复将数据从文本文件加载到mysql数据库

Question

我想将数据从文本文件加载到数据库，如果数据已经存在，我需要在加载时转义该数据。

我正在使用以下查询将数据从文本文件加载到 mysql 数据库。

"将文件'F:/wbrdata.txt'中的数据加载到表wbrdatatable中 以“，”结尾的字段 可选地用“”括起来 以 '\r\n' 结尾的行 忽略 1 行（频道、时间、脉搏率、驻留 ID、目标 ID）；"

它将数据附加到现有的表数据中。我想避免在加载到数据库时表和文件中已经存在（重复）的公共数据。

我怎样才能做到这一点？ 谢谢

问候 桑卡尔

Answer 1

尝试将文本文件加载到临时表中（与目标表相同），然后从临时表中删除重复项并将其余部分复制到目标表中。

---

示例（假设 wbrdatatable_temp 是一个包含文本文件中所有数据的临时表）：

CREATE TABLE wbrdatatable(
  id INT(11) NOT NULL AUTO_INCREMENT,
  column1 VARCHAR(255) DEFAULT NULL,
  PRIMARY KEY (id)
);

INSERT INTO wbrdatatable VALUES 
  (1, '111'),
  (2, '222'),
  (3, '333'),
  (4, '444'),
  (5, '555');

CREATE TABLE wbrdatatable_temp(
  id INT(11) NOT NULL AUTO_INCREMENT,
  column1 VARCHAR(255) DEFAULT NULL,
  PRIMARY KEY (id)
);

INSERT INTO wbrdatatable_temp VALUES 
  (1, '111'),
  (2, '222'),
  (10, '100'), -- new record that should be added
  (11, '200'); -- new record that should be added

-- Copy only new records!
INSERT INTO wbrdatatable
SELECT t1.* FROM wbrdatatable_temp t1
  LEFT JOIN wbrdatatable t2
    ON t1.id = t2.id AND t1.column1 = t2.column1
WHERE t2.id IS NULL;

-- Test result
SELECT * FROM wbrdatatable;
+----+---------+
| id | column1 |
+----+---------+
|  1 | 111     |
|  2 | 222     |
|  3 | 333     |
|  4 | 444     |
|  5 | 555     |
| 10 | 100     | -- only new record is added
| 11 | 200     | -- only new record is added
+----+---------+

Answer 2

试试这个逻辑。

   1. Upload  Text File Data
   2. Check record using select statement on your database

    if(recordexist==true)
            save
    else
            not save

问候