MySql快速插入千万级大数据的方法示例_mysql批量更新千万数据

149 浏览量更新于2023-03-03 评论 2 收藏 67KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

MySql 快速插入千万级大数据的方法示例快速插入千万级大数据的方法示例

主要介绍了MySql 快速插入千万级大数据的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者

工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

在数据分析领域，数据库是我们的好帮手。不仅可以接受我们的查询时间，还可以在这基础上做进一步分析。所以，我们必然

要在数据库插入数据。在实际应用中，我们经常遇到千万级，甚至更大的数据量。如果没有一个快速的插入方法，则会事倍功

半，花费大量的时间。

在参加阿里的天池大数据算法竞赛中（流行音乐趋势预测），我遇到了这样的问题，在没有优化数据库查询及插入之前，我花

了不少冤枉时间，没有优化之前，1500万条数据，光插入操作就花费了不可思议的12个小时以上（使用最基本的逐条插

入）。这也促使我思考怎样优化数据库插入及查询操作，提高效率。

在不断优化过程中，性能有大幅提升。在按时间序列从数据库查询并汇总生成2万6000多首歌曲的下载，播放，收藏数过程

中，通过查询生成的操作速度提高从预估的40多小时降低到一小时多。在数据库插入方面，性能得到大幅提升；在新的数据

集上测试，5490万+的数据，20分钟完成了插入。下面分享一下我的心得。

优化过程分为2步。第一步，实验静态reader从CSV文件读取数据，达到一定量时，开始多线程插入数据库程序；第二步，使

用mysq批量插入操作。

第一步，读取文件，开始插入多线程第一步，读取文件，开始插入多线程

在这里，达到一定量的量是个需要斟酌的问题，在我的实验中，开始使用100w作为这个量，但是出现了新的问题，Java 堆内

存溢出，最终采用了10W作为量的标准。

当然，可以有其他的量，看大家自己喜欢那个了。

import java.io.BufferedReader;

import java.io.FileNotFoundException;

import java.io.FileReader;

import java.io.IOException;

import java.util.ArrayList;

import java.util.List;

import preprocess.ImportDataBase;

public class MuiltThreadImportDB {

/**

* Java多线程读大文件并入库

* @param args

private static int m_record = 99999;

private static BufferedReader br = null;

private ArrayList<String> list;

private static int m_thread = 0;

static {

try {

br = new BufferedReader(

new FileReader(

"E:/tianci/IJCAI15 Data/data_format1/user_log_format1.csv"),8192);

} catch (FileNotFoundException e) {

e.printStackTrace();

}

try {

br.readLine(); // 去掉CSV Header

} catch (IOException e) {

e.printStackTrace();

}

public void start() {

String line;

int count = 0;

list = new ArrayList<String>(m_record + 1);

synchronized (br) {

try {

while ((line = br.readLine()) != null) {

if (count < m_record) {

list.add(line);

count++;

} else {

list.add(line);

count = 0;

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余2页未读，立即下载

weixin_38531017

粉丝: 8
资源: 917

会员权益专享

MySql 快速插入千万级大数据的方法示例

评论0

会员权益专享

最新资源

MySql 快速插入千万级大数据的方法示例

评论0

MySQL 快速删除大量数据（千万级别）的几种实践方案详解

mysql批量更新多条记录的同一个字段为不同值的方法

MySQL数据库迁移快速导出导入大量数据

mysql批量插入千万级数据

来个mysql快速插入数据的 方法

Mysql如何快速制造千万级测试数据

大数据mysql文件测试用例

mysql 什么存储引擎适合大数据

mysql批量插入方法

mysql 插库 千万级

python 如何向mysql 快速插入一条数据

sqlserver连接mysql插入数据，insert into 示例

mysql是大数据吗，redis是大数据吗？Mysql+redis是大数据吗，

mysql插入数据insert导致的死锁示例

mybatis插入大数据方式

mysql 批量插入语句

Mysql与大数据的关系

mysql千万级优化

大数据开发mysql面试题

wpf实现mysql千万级数据分页查询实例源码csdn下载

会员权益专享

最新资源

来个mysql快速插入数据的方法

mysql 插库千万级