第 31 卷 第 2 期 吉 林 大 学 学 报 (信 息 科 学 版) Vol.31 No.2
2013 年 3 月 Journal of Jilin University (Information Science Edition) Mar.2013
文章编号:1671-5896(2013)02-0210-05
基 于 强 类 型 DataSet 的 批 量 数 据 导 入 的 优 化 算 法
收稿日期: 2013-01-04
作者简介:孙鹏 (1989— ) , 男, 山 东 莒 南 人 , 吉 林 大 学 硕 士 研 究 生 , 主 要 从事 数 据 挖 掘 研 究 , ( Tel ) 86-13756012540 ( E-mail )
pengsun123@yahoo.com.cn; 董立岩(1966— ), 男, 长春人, 吉林大学教授, 博士, 硕士生导师, 主要从事数据挖掘研究,
( Tel)86-18604315166( E-mail) dongly@jlu.edu.cn; 通讯 作者: 李永丽 (1965— ), 女, 哈尔 滨人, 东北 师 范大学 副 教 授,
博士, 主要从事信息安全研究, (Tel)86-13314390063(E-mail) Liyl603@nenu.edu.cn。
孙 鹏
1
, 刑千里
1
, 李永丽
2
, 董立岩
1
, 张 亮
1
, 尹相杰
1
(1.吉林大学 计算机科学与技术学院, 长春 130012; 2.东北师范大学 计算机科学与信息技术学院, 长春 130117)
摘要: 针对使用强类型 DataSet 批量数据导入效率低下的问题, 提出了一种优化算法。 在兼顾强类型 DataSet 节
省开发时间特性的同时, 在分析强类型 DataSet 内部方法的工作原理基础上, 对数据库连接的状态加以控制,
使对离线数据集中的所有数据操作处于一个连接中, 从而避免了数据库连接的频繁开关操作。 实验结果表明,
数据的提取所耗费的时间远小于数据导入所用时间, 有效提高了批量数据导入效率。
关键词: 数据集; 批量数据; 数据库链接
中图分类号: TP301.6 文献标识码: A
Optimization Algorithm for Bulk Data Import Based on Typed Dataset
SUN Peng
1
, XING Qian-li
1
, LI Yong-li
2
, DONG Li-yan
1
, ZHANG Liang
1
, YIN Xiang-jie
1
(1.College of Computer Science and Technology, Jilin University, Changchun 130012, China;
2.School of Computer Science and Information Technology, Northeast Normal University, Changchun 130117, China)
Abstract: In order to solve the low inefficient problem in importing bulk data by typed DataSet, we present an
optimization algorithm.Giving consideration to the quality of saving time, by analysising the working principle of
the function inside the class of DataSet, we control the connection of the database, making every operation in
disconnected dataset between only one database connection, avoiding frequently database operation of
connections open close.Experimental results show that the time for data extraction is much less than the time for
data import, and prove that the algorithm can effectively improve the efficiency of bulk data import.
Key words: DataSet; bulk data; database connection
0 引 言
NET 是用来编写各种类型应用的全新框架
[1]
。 它具有以下特性: 1) 灵活性、 高扩展性。 ASP.NET
是一种服务器端技术, 所有的开发、 升级、 维护都在服务器端完成, 不必涉及客户端。 2) 统一的用户接
口。 3) 与数据库的良好集成性。.NET 提供了一套 ADO.NET 技术, 可用于创建分布式的、 数据共享的应
用程序, 可快速、 方便地与数据库进行交互
[2]
。
为简化开发, 化简对数据库的操作, 选择使用 ADO.Net 中 DataSet 进行开发, 鉴于 DataSet 分为强类
型 DataSet 和弱类型 DataSet 两种, 以往的做法是: 如果优先考虑应用程序的性能和控制, 则要使用弱类
型 DataSet 对象和 sqlDataAdpter; 但要牺牲一部分性能, 以节省开发时间, 由于使用该强类型 DataSet 对
批量数据处理需要进行频繁的数据库开关操作, 浪费了大量的时间, 使系统效率低下。 笔者从以上问题
出发, 分析了强类型 DataSet 的工作原理, 给出了优化算法, 在节省开发时间的同时提高应用程序的性