大容量csv快速内导入sqlserver的解决方法(推荐)_csv大容量 - CSDN文库

csv导入sqlserver方法

3星 · 超过75%的资源 149 浏览量更新于2023-03-16 评论收藏 53KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

大容量大容量csv快速内导入快速内导入sqlserver的解决方法的解决方法(推荐推荐)

最近遇到这样的问题：导入csv 数据，并对导入的数据增加一个新的列date datetime，下面通过本文给大家分享

大容量csv快速内导入sqlserver的解决方法，感兴趣的朋友一起看看吧

前言前言

在论坛中回答了一个问题，导入csv 数据，并对导入的数据增加一个新的列date datetime。要求在10s内完成，200w行数据的

导入.分享下解决问题的思路和方法

分析分析

通常来讲Bulk insert 比 BCP 更快一点，我们选择Bulk insert的方式。提出的解决方案：先把数据导入到sql server 的临时表，

然后再插入目标表。具体语句如下：

bulk insert test07232 from 'D:7-7-22.csv' WITH ( FIELDTERMINATOR = ',', ROWTERMINATOR = '/n' )

SELECT * ,GETDATE() AS Date INTO ttt FROM test07232

但是他提供的的csv 进行导入时，提示如下错误

消息 4866，级别 16，状态 1，第 1 行大容量加载失败。数据文件中第 1 行的第 2 列太长。请验证是否正确指定了字段终止

符和行终止符。消息 7399，级别 16，状态 1，第 1 行链接服务器 "(null)" 的 OLE DB 访问接口 "BULK" 报错。提供程序未给

出有关错误的任何信息。

消息 7330，级别 16，状态 2，第 1 行无法从链接服务器 "(null)" 的 OLE DB 访问接口"BULK"提取行。

这是由于行终止符无法识别导致的。使用notepad++打开csv文件，在视图中选择显示行尾号。

可以看到文件的换行符是LF

而对于正常的csv问题默认是用CRLF作为换行符的

因此上面的bulk insert 语句无法正常执行。

解决解决

1.首先想到的是修改数据源头，让源头产生正常的数据，但是源头数据不好修改 2.用程序，写c#处理，，太费时间 3.最后终

于找到了正确的办法

bulk insert test07232 from 'D:7-7-22.csv' WITH ( FIELDTERMINATOR = ',', ROWTERMINATOR = '0x0a' )

SELECT * ,GETDATE() AS Date INTO ttt FROM test07232

最后全部都在SSD 上，导入用时2s。生产正式表1s 。整个过程3s完成。

总结总结

解决问题要从各个问题入手，找到原因才更好的解决问题

总结总结

以上所述是小编给大家介绍的大容量csv快速内导入sqlserver的解决方法，希望对大家有所帮助，如果大家有任何疑问请给我

留言，小编会及时回复大家的。在此也非常感谢大家对我们网站的支持！

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

评论1

m0_60733071

2021-08-20

消息 4864，级别 16，状态 1，第 21 行第 1 行、第 8 列(MeasureValue)出现大容量加载数据转换错误(类型不匹配或者字符对于指定的代码页无效)。消息 4832，级别 16，状态 1，第 21 行大容量加载: 在数据文件中遇到意外的文件结尾。消息 7399，级别 16，状态 1，第 21 行链接服务器 "(null)" 的 OLE DB 访问接口 "BULK" 报错。提供程序未给出有关错误的任何信息。消息 7330，级别 16，状态 2，第 21 行无法从链接服务器 "(null)" 的 OLE DB 访问接口"BULK"提取行。不行呀什么情况

weixin_38737630

粉丝: 1
资源: 929

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈