C#跨数据库大数据批量插入：SQL Server、Oracle、SQLite与MySQL实现
5星 · 超过95%的资源 179 浏览量
更新于2024-08-30
1
收藏 75KB PDF 举报 本文档主要探讨了C#编程中如何在不同的数据库系统（如SQL Server、Oracle、SQLite和MySQL）进行大数据批量插入。作者首先指出，虽然人们普遍认为只有SQL Server支持批量插入，但实际上其他数据库也具备这种功能，只是在Oracle的情况下需要使用Oracle.DataAccess驱动。
核心知识点在于一个名为`IBatcherProvider`的接口，它定义了一个方法`Insert`，用于将`DataTable`对象中的数据分批插入数据库，其中`dataTable`参数是待插入的数据集，而`batchSize`则是指定每次插入的数据量，默认为10000条记录。这个接口在C#中被具体实现为`MsSqlBatcher`类，它是针对SQL Server数据库的实现，使用了`SqlBulkCopy`类来执行高效的批量插入操作。
对于Oracle数据库，由于其特定的要求，开发者需要使用Oracle的相关驱动程序，并且可能需要编写定制的代码来实现批量插入，因为`IBatcherProvider`接口在Oracle中的具体实现可能有所不同，可能涉及到ODP.NET（Oracle Data Provider for .NET）或其他适配器。
SQLite和MySQL的批量插入方法与SQL Server类似，但具体的API和类名可能会有所变化。例如，在SQLite中，可以使用`sqlite3_exec`函数或相应的ORM库（如Entity Framework Core对SQLite的支持）来批量插入；而在MySQL中，可以通过`MySqlCommand`对象和`ExecuteNonQuery`方法配合使用`Batch`属性来实现批量插入。
C#在处理不同数据库的大数据批量插入时，需要根据所使用的数据库技术（如ADO.NET、ODP.NET等）选择合适的API或类库，并注意调用它们提供的批量操作功能，以提高数据处理效率。同时，开发人员还需要熟悉各数据库的具体特性和最佳实践，以确保数据安全和性能优化。
c#几种数据库的大数据批量插入（几种数据库的大数据批量插入（SqlServer、、Oracle、、
SQLite和和MySql））
在之前只知道SqlServer支持数据批量插入，殊不知道Oracle、SQLite和MySql也是支持的，不过Oracle需要使用
Orace.DataAccess驱动，今天就贴出几种数据库的批量插入解决方法。
首先说一下，IProvider里有一个用于实现批量插入的插件服务接口IBatcherProvider，此接口在前一篇文章中已经提到过了。
/// <summary>
/// 提供数据批量处理的方法。
/// </summary>
public interface IBatcherProvider : IProviderService
{
/// <summary>
/// 将 <see cref="DataTable"/> 的数据批量插入到数据库中。
/// </summary>
/// <param name="dataTable">要批量插入的 <see cref="DataTable"/>。</param>
/// <param name="batchSize">每批次写入的数据量。</param>
void Insert(DataTable dataTable, int batchSize = 10000);
}
一、一、SqlServer数据批量插入数据批量插入
SqlServer的批量插入很简单，使用SqlBulkCopy就可以，以下是该类的实现：
/// <summary>
/// 为 System.Data.SqlClient 提供的用于批量操作的方法。
/// </summary>
public sealed class MsSqlBatcher : IBatcherProvider
{
/// <summary>
/// 获取或设置提供者服务的上下文。
/// </summary>
public ServiceContext ServiceContext { get; set; }
/// <summary>
/// 将 <see cref="DataTable"/> 的数据批量插入到数据库中。
/// </summary>
/// <param name="dataTable">要批量插入的 <see cref="DataTable"/>。</param>
/// <param name="batchSize">每批次写入的数据量。</param>
public void Insert(DataTable dataTable, int batchSize = 10000)
{
Checker.ArgumentNull(dataTable, "dataTable");
if (dataTable.Rows.Count == 0)
{
return;
}
using (var connection = (SqlConnection)ServiceContext.Database.CreateConnection())
{
try
{
connection.TryOpen();
//给表名加上前后导符
var tableName = DbUtility.FormatByQuote(ServiceContext.Database.Provider.GetService<ISyntaxProvider>(),
dataTable.TableName);
using (var bulk = new SqlBulkCopy(connection, SqlBulkCopyOptions.KeepIdentity, null)
{
DestinationTableName = tableName,
BatchSize = batchSize
})
{
//循环所有列，为bulk添加映射
dataTable.EachColumn(c => bulk.ColumnMappings.Add(c.ColumnName, c.ColumnName), c => !c.AutoIncrement);
bulk.WriteToServer(dataTable);
bulk.Close();
}
}
catch (Exception exp)
{
下载后可阅读完整内容，剩余7页未读，立即下载
2017-03-24 上传
点击了解资源详情
2020-08-31 上传
点击了解资源详情
2024-11-02 上传
2024-11-02 上传
2024-11-07 上传
weixin_38600432
- 粉丝: 1
- 资源: 920
我的内容管理
展开
