sql 批量插入去重

以下是两种SQL批量插入去重的方法：

1. MySQL中使用INSERT IGNORE语句进行批量插入去重：

INSERT IGNORE INTO table_name (column1, column2, column3, ...)
VALUES (value1, value2, value3, ...),
       (value1, value2, value3, ...),
       ...

2. PostgreSQL中使用INSERT ... ON CONFLICT DO NOTHING语句进行批量插入去重：

INSERT INTO table_name (column1, column2, column3, ...)
VALUES (value1, value2, value3, ...),
       (value1, value2, value3, ...),
       ...
ON CONFLICT DO NOTHING;

其中，column1, column2, column3, ...为表中的列名，value1, value2, value3, ...为要插入的值。

相关问题

mybatis+sqlserver数据库批量插入去重

可以使用MyBatis提供的批量插入功能，同时结合SQL Server的MERGE语句实现去重。具体步骤如下：

1. 在MyBatis的Mapper文件中编写批量插入的SQL语句，例如：

<insert id="batchInsert" parameterType="java.util.List">
  INSERT INTO table_name (column1, column2, column3)
  VALUES
  <foreach collection="list" item="item" separator=",">
    (#{item.column1}, #{item.column2}, #{item.column3})
  </foreach>
</insert>

2. 在Mapper接口中定义批量插入的方法：

void batchInsert(List<YourEntity> list);

3. 在调用批量插入方法之前，先进行去重操作。可以使用SQL Server的MERGE语句，例如：

MERGE INTO table_name AS target
USING (SELECT DISTINCT column1, column2, column3 FROM table_name) AS source
ON (target.column1 = source.column1 AND target.column2 = source.column2 AND target.column3 = source.column3)
WHEN NOT MATCHED THEN
  INSERT (column1, column2, column3)
  VALUES (source.column1, source.column2, source.column3);

4. 在Java代码中调用Mapper接口的批量插入方法，将去重后的数据集合作为参数传入即可。

注意：在进行批量插入操作时，建议将数据按照一定的大小分批处理，以避免一次性插入过多数据导致性能问题。

mybatis+sqlserver数据库批量插入去重详细代码

以下是使用MyBatis和SQL Server数据库进行批量插入去重的详细代码：

1. 创建数据库表

首先，我们需要在SQL Server数据库中创建一个表，用于存储数据。假设我们要插入的表名为“user”，包含三个字段：id、name和age。

CREATE TABLE user (
id INT PRIMARY KEY,
name VARCHAR(50),
age INT
);

2. 创建Java实体类

接下来，我们需要创建一个Java实体类，用于映射数据库表中的数据。假设我们的实体类名为User，包含三个属性：id、name和age。

public class User {
private int id;
private String name;
private int age;

// 省略getter和setter方法
}

3. 创建MyBatis映射文件

然后，我们需要创建一个MyBatis映射文件，用于定义SQL语句和Java实体类之间的映射关系。假设我们的映射文件名为UserMapper.xml，包含一个insertUsers方法，用于批量插入用户数据。

<?xml version="1." encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.example.mapper.UserMapper">
<insert id="insertUsers" parameterType="java.util.List">
INSERT INTO user (id, name, age)
SELECT #{id}, #{name}, #{age}
WHERE NOT EXISTS (
SELECT 1 FROM user WHERE id = #{id}
)
</insert>
</mapper>

4. 创建MyBatis接口

接着，我们需要创建一个MyBatis接口，用于调用映射文件中定义的SQL语句。假设我们的接口名为UserMapper，包含一个insertUsers方法，用于批量插入用户数据。

public interface UserMapper {
void insertUsers(List<User> users);
}

5. 编写Java代码

最后，我们需要编写Java代码，调用MyBatis接口中定义的方法，实现批量插入去重的功能。

首先，我们需要创建一个SqlSessionFactory对象，用于创建SqlSession对象。

String resource = "mybatis-config.xml";
InputStream inputStream = Resources.getResourceAsStream(resource);
SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(inputStream);

然后，我们需要创建一个SqlSession对象，用于执行SQL语句。

SqlSession sqlSession = sqlSessionFactory.openSession();

接着，我们需要获取UserMapper接口的实现类对象。

UserMapper userMapper = sqlSession.getMapper(UserMapper.class);

最后，我们可以调用insertUsers方法，将用户数据批量插入到数据库中。

List<User> users = new ArrayList<>();
users.add(new User(1, "张三", 20));
users.add(new User(2, "李四", 25));
users.add(new User(3, "王五", 30));
userMapper.insertUsers(users);

完整的Java代码如下：

import java.io.IOException;
import java.io.InputStream;
import java.util.ArrayList;
import java.util.List;

import org.apache.ibatis.io.Resources;
import org.apache.ibatis.session.SqlSession;
import org.apache.ibatis.session.SqlSessionFactory;
import org.apache.ibatis.session.SqlSessionFactoryBuilder;

public class Main {
public static void main(String[] args) throws IOException {
String resource = "mybatis-config.xml";
InputStream inputStream = Resources.getResourceAsStream(resource);
SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(inputStream);
SqlSession sqlSession = sqlSessionFactory.openSession();

UserMapper userMapper = sqlSession.getMapper(UserMapper.class);

List<User> users = new ArrayList<>();
users.add(new User(1, "张三", 20));
users.add(new User(2, "李四", 25));
users.add(new User(3, "王五", 30));
userMapper.insertUsers(users);

sqlSession.commit();
sqlSession.close();
}
}

注意：在执行完SQL语句后，需要调用SqlSession对象的commit方法提交事务，并调用close方法关闭SqlSession对象。