mysql的sqlbulkcopy_C# SqlBulkCopy 避免插入重复数据（不重复即插入）

在使用 SqlBulkCopy 进行数据插入时，可以通过设置目标表的主键或唯一约束来避免插入重复数据。具体实现步骤如下：

1. 确认目标表是否有主键或唯一约束。

2. 在创建 SqlBulkCopy 对象时，设置 BulkCopyOption 属性为 KeepIdentity。

SqlBulkCopy bulkCopy = new SqlBulkCopy(connectionString, SqlBulkCopyOptions.KeepIdentity);

3. 在写入数据前，设置 DestinationTableName 属性为目标表名称。

bulkCopy.DestinationTableName = "TableName";

4. 创建 DataTable 对象，填充数据后，将其写入目标表。

DataTable dataTable = new DataTable();
// 填充 DataTable
bulkCopy.WriteToServer(dataTable);

5. 如果目标表有主键或唯一约束，需要在 SqlBulkCopy 写入数据时设置对应的操作类型为插入或更新。

bulkCopy.WriteToServer(dataTable, DataRowState.Added);

这样可以保证只会插入目标表中不存在的数据，已存在的数据会被忽略。

相关问题

SqlServer 插入Excel数据方法--SqlBulkCopy避免重复

要将Excel数据插入SqlServer中并避免重复数据，可以使用以下步骤：

1. 将Excel数据读取到DataTable中。

2. 在DataTable中检查是否存在重复数据，如果存在则删除重复数据。

3. 使用SqlBulkCopy将数据插入到SqlServer中。

以下是示例代码：

using System.Data;
using System.Data.OleDb;
using System.Data.SqlClient;

//连接Excel文件
string connString = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=D:\\sample.xlsx;Extended Properties=\"Excel 12.0;HDR=YES;IMEX=1\"";
OleDbConnection excelConn = new OleDbConnection(connString);
excelConn.Open();

//读取Excel数据到DataTable中
string sql = "SELECT * FROM [Sheet1$]";
OleDbDataAdapter adapter = new OleDbDataAdapter(sql, excelConn);
DataTable excelData = new DataTable();
adapter.Fill(excelData);
excelConn.Close();

//检查是否存在重复数据
for (int i = excelData.Rows.Count - 1; i >= 0; i--)
{
    DataRow row = excelData.Rows[i];
    if (IsDuplicate(row))
    {
        excelData.Rows.Remove(row);
    }
}

//将数据插入到SqlServer中
string sqlServerConnString = "Data Source=.;Initial Catalog=TestDB;Integrated Security=True;";
SqlConnection sqlServerConn = new SqlConnection(sqlServerConnString);
sqlServerConn.Open();
SqlTransaction tran = sqlServerConn.BeginTransaction();
try
{
    using (SqlBulkCopy bulkCopy = new SqlBulkCopy(sqlServerConn, SqlBulkCopyOptions.Default, tran))
    {
        bulkCopy.DestinationTableName = "Person";
        bulkCopy.ColumnMappings.Add("Name", "Name");
        bulkCopy.ColumnMappings.Add("Age", "Age");
        bulkCopy.WriteToServer(excelData);
    }
    tran.Commit();
}
catch (Exception ex)
{
    tran.Rollback();
    throw ex;
}
finally
{
    sqlServerConn.Close();
}

//检查是否存在重复数据的方法
private bool IsDuplicate(DataRow row)
{
    string name = row["Name"].ToString();
    int age = int.Parse(row["Age"].ToString());
    string sql = "SELECT COUNT(*) FROM Person WHERE Name=@Name AND Age=@Age";
    using (SqlConnection conn = new SqlConnection(sqlServerConnString))
    {
        SqlCommand cmd = new SqlCommand(sql, conn);
        cmd.Parameters.AddWithValue("@Name", name);
        cmd.Parameters.AddWithValue("@Age", age);
        conn.Open();
        int count = (int)cmd.ExecuteScalar();
        if (count > 0)
        {
            return true;
        }
        else
        {
            return false;
        }
    }
}

以上代码中使用了IsDuplicate方法来检查是否存在重复数据，该方法查询了目标表中是否存在相同的Name和Age值。如果存在则返回true，否则返回false。在使用SqlBulkCopy插入数据时，应该先将Excel数据读取到DataTable中，然后在DataTable中检查是否存在重复数据，最后再将数据插入到SqlServer中。

SqlServer 插入数据方法--SqlBulkCopy避免重复

要避免在使用SqlBulkCopy插入数据时出现重复数据，可以考虑以下两种方法：

1. 在插入之前先检查是否存在重复数据，如果存在则不进行插入。可以通过在目标表中设置唯一性约束或者创建临时表并在其中进行检查来实现。

2. 在SqlBulkCopy的WriteToServer方法中使用SqlBulkCopyOptions中的KeepIdentity选项，以保留目标表中已有的自增长主键，从而避免插入重复的自增长主键。

以下是使用第一种方法的示例代码：

using System.Data.SqlClient;
using System.Data;

//创建一个DataTable对象，用于存储要插入的数据
DataTable dt = new DataTable();
//添加列
dt.Columns.Add("Name", typeof(string));
dt.Columns.Add("Age", typeof(int));
//添加数据
dt.Rows.Add("John", 25);
dt.Rows.Add("Mike", 30);

//创建连接对象
SqlConnection conn = new SqlConnection("Data Source=.;Initial Catalog=TestDB;Integrated Security=True;");
//打开连接
conn.Open();
//创建事务对象
SqlTransaction tran = conn.BeginTransaction();
try
{
    //创建SqlBulkCopy对象
    using (SqlBulkCopy bulkCopy = new SqlBulkCopy(conn, SqlBulkCopyOptions.Default, tran))
    {
        //设置目标表名
        bulkCopy.DestinationTableName = "Person";
        //设置列映射
        bulkCopy.ColumnMappings.Add("Name", "Name");
        bulkCopy.ColumnMappings.Add("Age", "Age");
        //使用SqlBulkCopyOptions中的CheckConstraints选项检查唯一性约束
        bulkCopy.WriteToServer(dt, SqlBulkCopyOptions.CheckConstraints);
    }
    //提交事务
    tran.Commit();
}
catch (Exception ex)
{
    //回滚事务
    tran.Rollback();
    throw ex;
}
finally
{
    //关闭连接
    conn.Close();
}

使用第二种方法时，只需要在SqlBulkCopy的构造函数中指定KeepIdentity选项即可：

using System.Data.SqlClient;
using System.Data;

//创建一个DataTable对象，用于存储要插入的数据
DataTable dt = new DataTable();
//添加列
dt.Columns.Add("Name", typeof(string));
dt.Columns.Add("Age", typeof(int));
//添加数据
dt.Rows.Add("John", 25);
dt.Rows.Add("Mike", 30);

//创建连接对象
SqlConnection conn = new SqlConnection("Data Source=.;Initial Catalog=TestDB;Integrated Security=True;");
//打开连接
conn.Open();
//创建事务对象
SqlTransaction tran = conn.BeginTransaction();
try
{
    //创建SqlBulkCopy对象，并设置KeepIdentity选项
    using (SqlBulkCopy bulkCopy = new SqlBulkCopy(conn, SqlBulkCopyOptions.KeepIdentity, tran))
    {
        //设置目标表名
        bulkCopy.DestinationTableName = "Person";
        //设置列映射
        bulkCopy.ColumnMappings.Add("Name", "Name");
        bulkCopy.ColumnMappings.Add("Age", "Age");
        bulkCopy.WriteToServer(dt);
    }
    //提交事务
    tran.Commit();
}
catch (Exception ex)
{
    //回滚事务
    tran.Rollback();
    throw ex;
}
finally
{
    //关闭连接
    conn.Close();
}

以上示例代码仅供参考，实际应用中需要根据具体情况进行调整。