定时任务实时抓取数据将查询的数据实时更新进表里,对于表里有的数据现在查询的数据还有那就更新,如果之前没有现在有数据那就插入,如果之前有现在没有那就删除,使用java语言使用tk-mybatis使用postgresql

时间: 2024-02-21 12:00:10 浏览: 51
你可以使用tk-mybatis的Mapper接口和注解来实现这个功能,具体步骤如下: 1. 定义一个实体类,用于存储要更新的数据。示例代码如下: ``` public class DataEntity { private Long id; private String col1; private String col2; // 省略getter和setter方法 } ``` 2. 在Mapper接口中定义三个方法,分别用于插入、更新和删除数据。示例代码如下: ``` public interface DataMapper extends Mapper<DataEntity> { @InsertProvider(type = DataSqlProvider.class, method = "insertBatch") void insertBatch(List<DataEntity> dataList); @UpdateProvider(type = DataSqlProvider.class, method = "updateBatch") void updateBatch(List<DataEntity> dataList); @DeleteProvider(type = DataSqlProvider.class, method = "deleteBatch") void deleteBatch(List<Long> idList); } ``` 3. 在DataSqlProvider类中编写动态SQL语句,根据数据是否存在进行相应的操作。示例代码如下: ``` public class DataSqlProvider { public String insertBatch(Map<String, Object> paramMap) { List<DataEntity> dataList = (List<DataEntity>) paramMap.get("list"); StringBuilder sqlBuilder = new StringBuilder(); sqlBuilder.append("INSERT INTO table_name (id, col1, col2) VALUES "); for (DataEntity data : dataList) { sqlBuilder.append("(") .append(data.getId()).append(", ") .append("'").append(data.getCol1()).append("', ") .append("'").append(data.getCol2()).append("'),"); } sqlBuilder.deleteCharAt(sqlBuilder.length() - 1); return sqlBuilder.toString(); } public String updateBatch(Map<String, Object> paramMap) { List<DataEntity> dataList = (List<DataEntity>) paramMap.get("list"); StringBuilder sqlBuilder = new StringBuilder(); sqlBuilder.append("<foreach collection=\"list\" item=\"data\" separator=\";\">") .append("UPDATE table_name SET ") .append("col1 = #{data.col1}, ") .append("col2 = #{data.col2} ") .append("WHERE id = #{data.id}") .append("</foreach>"); return sqlBuilder.toString(); } public String deleteBatch(Map<String, Object> paramMap) { List<Long> idList = (List<Long>) paramMap.get("list"); StringBuilder sqlBuilder = new StringBuilder(); sqlBuilder.append("DELETE FROM table_name WHERE id NOT IN (") .append("<foreach collection=\"list\" item=\"id\" separator=\",\">") .append("#{id}") .append("</foreach>") .append(")"); return sqlBuilder.toString(); } } ``` 4. 在Java代码中调用Mapper接口的方法,将List传入Mapper中执行即可。示例代码如下: ``` @Autowired private DataMapper dataMapper; public void updateData(List<DataEntity> dataList) { List<Long> idList = dataList.stream().map(DataEntity::getId).collect(Collectors.toList()); List<DataEntity> existingDataList = dataMapper.selectByIdList(idList); List<DataEntity> newDataList = new ArrayList<>(); for (DataEntity data : dataList) { boolean exists = false; for (DataEntity existingData : existingDataList) { if (existingData.getId().equals(data.getId())) { exists = true; if (!existingData.equals(data)) { dataMapper.updateByPrimaryKeySelective(data); } break; } } if (!exists) { newDataList.add(data); } } dataMapper.insertBatch(newDataList); dataMapper.deleteBatch(idList); } ``` 注意事项: - 实体类、Mapper接口和SQL语句需要根据实际情况进行修改,如有多个字段需要更新或插入,需要在实体类、Mapper接口和SQL语句中添加相应的字段。 - 插入操作使用的是批量插入,可以提高插入效率。 - 更新操作使用的是selectByIdList方法查询表中已有的数据,如果数据量很大可能会影响查询效率。 - 删除操作使用的是NOT IN语句,将id不在dataList中的数据删除。

相关推荐

最新推荐

recommend-type

C#使用Selenium+PhantomJS抓取数据

本文将详细介绍如何在C#环境中利用Selenium WebDriver和PhantomJS来抓取此类网页的数据。 首先,PhantomJS是一款无头浏览器,即它没有图形用户界面,但能够像普通浏览器一样加载和执行JavaScript,这对于网页抓取...
recommend-type

java抓取网页数据获取网页中所有的链接实例分享

在Java编程中,抓取网页数据是一项常见的任务,尤其在数据分析、信息爬取或者网站自动化测试等场景中。本实例分享了一个简单的Java程序,用于从指定网页中获取所有链接。通过创建一个名为`HtmlParser`的类,该程序...
recommend-type

Python实现并行抓取整站40万条房价数据(可更换抓取城市)

在Python中实现大规模数据抓取,特别是针对40万条房价数据这样的整站抓取,需要考虑到效率和可扩展性。本案例以房价网为例,介绍了如何通过优化代码逻辑和利用并行处理来提高抓取速度。以下是实现这一目标的关键知识...
recommend-type

Python学习笔记之抓取某只基金历史净值数据实战案例

在本篇Python学习笔记中,我们将探讨如何抓取特定基金的历史净值数据,这涉及到网络爬虫技术以及数据库交互。我们将使用Python的Selenium库来模拟浏览器行为,抓取页面数据,然后利用MySQL进行数据存储。以下是一些...
recommend-type

PHP使用Curl实现模拟登录及抓取数据功能示例

在PHP开发中,有时我们需要获取一些需要用户登录后...总之,使用PHP的Curl库进行模拟登录和数据抓取是一项常见的Web开发任务,但要成功实现,需要对目标网站的结构和安全机制有深入的理解,以及熟练掌握Curl库的使用。
recommend-type

Vue实现iOS原生Picker组件:详细解析与实现思路

"Vue.js实现iOS原生Picker效果及实现思路解析" 在iOS应用中,Picker组件通常用于让用户从一系列选项中进行选择,例如日期、时间或者特定的值。Vue.js作为一个流行的前端框架,虽然原生不包含与iOS Picker完全相同的组件,但开发者可以通过自定义组件来实现类似的效果。本篇文章将详细介绍如何在Vue.js项目中创建一个模仿iOS原生Picker功能的组件,并分享实现这一功能的思路。 首先,为了创建这个组件,我们需要一个基本的DOM结构。示例代码中给出了一个基础的模板,包括一个外层容器`<div class="pd-select-item">`,以及两个列表元素`<ul class="pd-select-list">`和`<ul class="pd-select-wheel">`,分别用于显示选定项和可滚动的选择项。 ```html <template> <div class="pd-select-item"> <div class="pd-select-line"></div> <ul class="pd-select-list"> <li class="pd-select-list-item">1</li> </ul> <ul class="pd-select-wheel"> <li class="pd-select-wheel-item">1</li> </ul> </div> </template> ``` 接下来,我们定义组件的属性(props)。`data`属性是必需的,它应该是一个数组,包含了所有可供用户选择的选项。`type`属性默认为'cycle',可能用于区分不同类型的Picker组件,例如循环滚动或非循环滚动。`value`属性用于设置初始选中的值。 ```javascript props: { data: { type: Array, required: true }, type: { type: String, default: 'cycle' }, value: {} } ``` 为了实现Picker的垂直居中效果,我们需要设置CSS样式。`.pd-select-line`, `.pd-select-list` 和 `.pd-select-wheel` 都被设置为绝对定位,通过`transform: translateY(-50%)`使其在垂直方向上居中。`.pd-select-list` 使用`overflow:hidden`来隐藏超出可视区域的部分。 为了达到iOS Picker的3D滚动效果,`.pd-select-wheel` 设置了`transform-style: preserve-3d`,确保子元素在3D空间中保持其位置。`.pd-select-wheel-item` 的每个列表项都设置了`position:absolute`,并使用`backface-visibility:hidden`来优化3D变换的性能。 ```css .pd-select-line, .pd-select-list, .pd-select-wheel { position: absolute; left: 0; right: 0; top: 50%; transform: translateY(-50%); } .pd-select-list { overflow: hidden; } .pd-select-wheel { transform-style: preserve-3d; height: 30px; } .pd-select-wheel-item { white-space: nowrap; text-overflow: ellipsis; backface-visibility: hidden; position: absolute; top: 0px; width: 100%; overflow: hidden; } ``` 最后,为了使组件能够响应用户的滚动操作,我们需要监听触摸事件,更新选中项,并可能还需要处理滚动动画。这通常涉及到计算滚动位置,映射到数据数组,以及根据滚动方向调整可见项的位置。 总结来说,实现Vue.js中的iOS原生Picker效果,需要构建一个包含可滚动列表的自定义组件,通过CSS样式实现3D滚动效果,并通过JavaScript处理触摸事件来模拟Picker的行为。通过这种方式,开发者可以在Vue.js项目中创建出与iOS原生界面风格一致的用户交互体验。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

【广度优先搜索】:Python面试中的系统化思维展现

![【广度优先搜索】:Python面试中的系统化思维展现](https://media.geeksforgeeks.org/wp-content/cdn-uploads/20200611200432/Top-10-System-Design-Interview-Questions-and-Answers.png) # 1. 广度优先搜索(BFS)算法概述 广度优先搜索(Breadth-First Search, BFS)算法是图论中的一种基本算法,广泛应用于计算机科学和工程领域。它是对树或图进行遍历的一种方法,按照距离起点的远近逐层进行搜索,直到找到目标节点或遍历完所有可到达的节点。这种算法
recommend-type

nginx ubuntu离线安装

Nginx是一款开源的高性能Web服务器和反向代理服务器,常用于Linux系统,如Ubuntu。离线安装通常指在没有网络连接的情况下本地获取并配置软件包。以下是Nginx在Ubuntu上离线安装的基本步骤: 1. **下载Nginx包**: - 首先,你需要从Nginx官方网站下载适用于Ubuntu的二进制包。访问 https://nginx.org/en/download.html ,选择对应版本的`nginx`文件,比如`nginxxx.x.tar.gz`,将其保存到你的离线环境中。 2. **解压并移动文件**: 使用`tar`命令解压缩下载的文件: ```
recommend-type

Arduino蓝牙小车:参数调试与功能控制

本资源是一份基于Arduino Mega2560主控的蓝牙遥控小车程序代码,适用于Android设备通过蓝牙进行操控。该程序允许车辆实现运动、显示和测温等多种功能,具有较高的灵活性和实用性。 1. **蓝牙通信与模块操作** 在程序开始时,开发者提醒用户在上传代码前需将蓝牙模块的RX接口暂时拔掉,上传成功后再恢复连接。这可能是因为在调试过程中,需要确保串口通信的纯净性。程序通过Serial.begin()函数设置串口波特率为9600,这是常见的蓝牙通信速率,适合于手机等设备连接。 2. **电机控制参数调整** 代码中提到的"偏转角度需要根据场地不同进行调参数",表明程序设计为支持自定义参数,通过宏变量的形式,用户可以根据实际需求对小车的转向灵敏度进行个性化设置。例如,`#define left_forward_PIN4` 和 `#define right_forward_PIN2` 定义了左右轮的前进控制引脚,这些引脚的输出值范围是1-255,允许通过编程精确控制轮速。 3. **行驶方向控制** 小车的行驶方向通过改变特定引脚的高低电平来实现。例如,`void left_forward_PIN4` 和 `void left_back_PIN5` 分别控制左轮前进和后退,用户可以通过赋予高或低电平来指示小车的行驶方向。同时,右轮的控制方式类似。 4. **多种移动模式** 除了基本的前进和后退,程序还提供了原地左转、原地右转、右前、左前、左后和右后的控制函数,如`void turnLeftOrigin()` 等,增强了小车的机动性和操作多样性。 5. **主函数和循环结构** 主函数`void setup()`用于初始化硬件,包括串口通信和引脚配置。而`void loop()`则是一个无限循环,通过`void reve()`函数不断接收并处理蓝牙发送的指令,保持小车持续响应用户的控制命令。 6. **数据接收与解析** `void reve()`函数通过`Serial.parseInt()`读取蓝牙发送的数字值(7在示例中被提及),然后根据接收到的指令执行相应的移动命令,体现了程序的核心逻辑部分。 总结来说,这份蓝牙小车程序代码为开发人员提供了一个基础平台,通过调整参数和编写特定的控制函数,能够实现不同场景下的小车控制,具有较强的通用性和可扩展性。对于学习和实践Arduino与蓝牙通信的开发者来说,这是一个很好的学习和实践案例。