针对Sqlserver大数据量插入速度慢或丢失数据的解决方法_saveBatch数据丢失

185 浏览量更新于2023-03-16 评论收藏 55KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

针对针对Sqlserver大数据量插入速度慢或丢失数据的解决方法大数据量插入速度慢或丢失数据的解决方法

主要介绍了针对Sqlserver大数据量插入速度慢或丢失数据的解决方法，很有实用价值,需要的朋友可以参考下

我的设备上每秒将2000条数据插入数据库，2个设备总共4000条，当在程序里面直接用insert语句插入时，两个设备同时插入大概总共能插入

约2800条左右，数据丢失约1200条左右，测试了很多方法，整理出了两种效果比较明显的解决办法：

方法一：使用方法一：使用Sql Server函数函数:

1.将数据组合成字串，使用函数将数据插入内存表，后将内存表数据复制到要插入的表。

2.组合成的字符换格式：'111|222|333|456,7894,7458|0|1|2014-01-01 12:15:16;1111|2222|3333|456,7894,7458|0|1|2014-01-01 12:15:16',每

行数据中间用“;”隔开，每个字段之间用“|”隔开。

3.编写函数：

CREATE FUNCTION [dbo].[fun_funcname](@str VARCHAR(max),@splitchar CHAR(1),@splitchar2 CHAR(1))

--定义返回表

RETURNS @t TABLE(MaxValue float,Phase int,SlopeValue float,Data varchar(600),Alarm int,AlmLev int,GpsTime datetime,UpdateTime datetime) AS

author:hejun li

create date:2014-06-09

BEGIN

DECLARE @substr VARCHAR(max),@substr2 VARCHAR(max)

--申明单个接收值

declare @MaxValue float,@Phase int,@SlopeValue float,@Data varchar(8000),@Alarm int,@AlmLev int,@GpsTime datetime

SET @substr=@str

DECLARE @i INT,@j INT,@ii INT,@jj INT,@ijj1 int,@ijj2 int,@m int,@mm int

SET @j=LEN(REPLACE(@str,@splitchar,REPLICATE(@splitchar,2)))-LEN(@str)--获取分割符个数

IF @j=0

BEGIN

--INSERT INTO @t VALUES (@substr,1) --没有分割符则插入整个字串

set @substr2=@substr;

set @ii=0

SET @jj=LEN(REPLACE(@substr2,@splitchar2,REPLICATE(@splitchar2,2)))-LEN(@substr2)--获取分割符个数

WHILE @ii<=@jj

BEGIN

if(@ii<@jj)

begin

SET @mm=CHARINDEX(@splitchar2,@substr2)-1 --获取分割符的前一位置

if(@ii=0)

set @MaxValue=cast(LEFT(@substr2,@mm) as float)

else if(@ii=1)

set @Phase=cast(LEFT(@substr2,@mm) as int)

else if(@ii=2)

set @SlopeValue=cast(LEFT(@substr2,@mm) as float)

else if(@ii=3)

set @Data=cast(LEFT(@substr2,@mm) as varchar)

else if(@ii=4)

set @Alarm=cast(LEFT(@substr2,@mm) as int)

else if(@ii=5)

set @AlmLev=cast(LEFT(@substr2,@mm) as int)

else if(@ii=6)

INSERT INTO @t VALUES(@MaxValue,@Phase,@SlopeValue,''+@Data+'',@Alarm,@AlmLev,cast(@substr2 as datetime),GETDATE())

SET @substr2=RIGHT(@substr2,LEN(@substr2)-(@mm+1)) --去除已获取的分割串，得到还需要继续分割的字符串

end

else

BEGIN

--当循环到最后一个值时将数据插入表

INSERT INTO @t VALUES(@MaxValue,@Phase,@SlopeValue,''+@Data+'',@Alarm,@AlmLev,cast(@substr2 as datetime),GETDATE())

END

--END

SET @ii=@ii+1

END

ELSE

BEGIN

SET @i=0

WHILE @i<=@j

BEGIN

IF(@i<@j)

BEGIN

SET @m=CHARINDEX(@splitchar,@substr)-1 --获取分割符的前一位置

--INSERT INTO @t VALUES(LEFT(@substr,@m),@i+1)

-----二次循环开始

--1.线获取要二次截取的字串

set @substr2=(LEFT(@substr,@m));

--2.初始化二次截取的起始位置

set @ii=0

--3.获取分隔符个数

SET @jj=LEN(REPLACE(@substr2,@splitchar2,REPLICATE(@splitchar2,2)))-LEN(@substr2)--获取分割符个数

WHILE @ii<=@jj

BEGIN

if(@ii<@jj)

begin

SET @mm=CHARINDEX(@splitchar2,@substr2)-1 --获取分割符的前一位置

if(@ii=0)

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余2页未读，立即下载

weixin_38609247

粉丝: 8
资源: 970

会员权益专享

针对Sqlserver大数据量插入速度慢或丢失数据的解决方法

评论0

会员权益专享

最新资源

针对Sqlserver大数据量插入速度慢或丢失数据的解决方法

评论0

Sqlserver大数据量插入速度慢或丢失数据的解决方法

sqlserver在有数据情况下修改主键为自增1

一个20秒SQL慢查询优化的经历与处理方案

sql server insert 数据慢

sqlserver sql生成大量数据

sqlserver插入数据

wincc向sqlserver数据插入数据

sql server 查询哪些表数据量大

sql server 插入数据时不插入重复数据

sql server数据插入失败报错

SQL Server数据量大的表怎么导入

sqlserver 使用命令行生成数据插入的脚本

sqlserver插入数据可视化操作

sql server插入数据

sql server 插入数据

SQLserver 批量插入数据的办法

sql server 插入数据时跳过重复数据插入新的数据

spark将大数据量写出sqlserver

sqlserver 自带的批处里插入

sql server怎么插入数据

会员权益专享

最新资源