C# SqlBulkCopy导入excel到SQL数据库 避免重复

要避免在使用 SqlBulkCopy 导入 Excel 数据到 SQL 数据库时插入重复数据，可以使用以下步骤：

1. 读取 Excel 文件并将其转换为 DataTable 对象。

using (var package = new ExcelPackage(file))
{
    ExcelWorksheet worksheet = package.Workbook.Worksheets[0];
    DataTable table = new DataTable();
    foreach (var firstRowCell in worksheet.Cells[1, 1, 1, worksheet.Dimension.End.Column])
    {
        table.Columns.Add(firstRowCell.Text);
    }
    for (var rowNumber = 2; rowNumber <= worksheet.Dimension.End.Row; rowNumber++)
    {
        var row = worksheet.Cells[rowNumber, 1, rowNumber, worksheet.Dimension.End.Column];
        var newRow = table.Rows.Add();
        foreach (var cell in row)
        {
            newRow[cell.Start.Column - 1] = cell.Value;
        }
    }
}

2. 在创建 SqlBulkCopy 对象时，将 KeepIdentity 和 CheckConstraints 选项设置为 true。

SqlBulkCopy bulkCopy = new SqlBulkCopy(connection, SqlBulkCopyOptions.KeepIdentity | SqlBulkCopyOptions.CheckConstraints, null);

3. 在将数据源的列映射到目标表的列时，使用 ColumnMappings 属性，并设置 SourceColumn 和 DestinationColumn 属性。

bulkCopy.ColumnMappings.Add("sourceColumn", "destinationColumn");

4. 在调用 WriteToServer 方法之前，使用 SqlBulkCopy 类的 BatchSize 属性设置每批次传输的行数。

bulkCopy.BatchSize = 1000;

5. 在写入目标表之前，遍历 DataTable 对象中的每行数据，检查是否存在重复数据。

foreach (DataRow row in table.Rows)
{
    // 判断是否存在重复数据
    if (!IsDuplicateData(connection, row))
    {
        bulkCopy.WriteToServer(row);
    }
}

private bool IsDuplicateData(SqlConnection connection, DataRow row)
{
    // 查询目标表是否已经存在该行数据
    // 如果存在，返回 true，否则返回 false
    return false;
}

这样做可以避免插入重复数据，因为在写入目标表之前，会检查是否存在重复数据，如果存在，则不会写入该行数据。