Python快速实现MySQL到ElasticSearch数据同步

193 浏览量更新于2024-08-30 收藏 72KB PDF 举报

"本教程介绍了如何使用Python简单实现MySQL数据同步到ElasticSearch的方案。由于logstash-input-jdbc的同步间隔至少为1分钟，无法满足某些线上业务的实时性需求，因此作者选择自建同步机制。该方法采用直接查询MySQL获取数据，然后插入到ElasticSearch，适用于数据量较小且10秒同步一次的情况。通过比较上一次同步的开始时间来设置查询条件，确保不会遗漏任何数据。此外，通过MySQL的ID作为ElasticSearch的ID，防止了重复数据的出现。实现过程包括编写配置文件esconfig.py、同步程序mstes.py、数据库管理sql_manage.py以及包含SQL查询的文件如aa.sql和bb.sql。" 在本教程中，主要涉及以下知识点： 1. **数据同步**：从MySQL到ElasticSearch的数据同步是解决实时性需求的关键。作者采用了简单的查询-插入方法，虽然不如MySQL的binlog功能高效，但对于小规模数据和特定场景，这种方法足够实用。 2. **Python编程**：Python被用来编写实现数据同步的脚本，包括主程序mstes.py和数据库操作模块sql_manage.py。这体现了Python在数据处理和脚本编写上的便利性。 3. **SQLAlchemy库**：在sql_manage.py中，使用SQLAlchemy库进行数据库操作。SQLAlchemy提供了ORM（对象关系映射）和SQL工具，方便与MySQL数据库交互。 4. **数据库连接池**：通过QueuePool管理数据库连接，提高性能并减少资源消耗。 5. **异常处理**：在Python代码中，使用try-except-finally结构进行异常处理，确保程序在遇到错误时能够记录并继续运行。 6. **配置文件管理**：esconfig.py用于存储ElasticSearch的相关配置，如服务器地址、端口等，使得同步程序可以灵活配置。 7. **时间同步策略**：通过比较上一次同步的开始时间来设定查询条件，避免了因服务器时间差或数据库操作延迟导致的数据丢失。 8. **ElasticSearch ID策略**：使用MySQL中的ID作为ElasticSearch文档的ID，确保数据唯一性，避免重复插入。 9. **SQL文件**：aa.sql和bb.sql是示例SQL查询文件，用于从MySQL中提取需要同步的数据。这个教程提供了一个简单的解决方案，适合对实时性要求较高的小规模数据同步场景，通过Python和SQLAlchemy实现了从MySQL到ElasticSearch的高效数据迁移。同时，它也展示了如何通过配置文件和SQL查询文件来定制同步过程。

用用python简单实现简单实现mysql数据同步到数据同步到ElasticSearch的教程的教程

之前博客有用logstash-input-jdbc同步mysql数据到ElasticSearch，但是由于同步时间最少是一分钟一次，无法满足线上业

务，所以只能自己实现一个，但是时间比较紧，所以简单实现一个

思路：思路：

网上有很多思路用什么mysql的binlog功能什么的，但是我对mysql了解实在有限，所以用一个很呆板的办法查询mysql得到数

据，再插入es，因为数据量不大，而且10秒间隔同步一次，效率还可以，为了避免服务器之间的时间差和mysql更新和查询产

生的时间差，所以在查询更新时间条件时是和上一次同步开始时间比较，这样不管数据多少，更新耗时多少都不会少数据，因

为原则是同步不漏掉任何数据，也可以程序多开将时间差和间隔时间差异化，因为用mysql中一个id当作es中的id，也避免了

重复数据

使用：使用：

只需要按照escongif.py写配置文件，然后写sql文件，最后直接执行mstes.py就可以了，我这个也是参考logstash-input-jdbc的

配置形式

MsToEs

|—-esconfig.py（配置文件）

|—-mstes.py（同步程序）

|—-sql_manage.py（数据库管理）

|—-aa.sql（需要用到sql文件）

|—-bb.sql（需要用到sql文件）

sql_manage.py:

# -*-coding:utf-8 -*-

__author__ = "ZJL"

from sqlalchemy.pool import QueuePool

from sqlalchemy import create_engine

from sqlalchemy.orm import sessionmaker, scoped_session

import traceback

import esconfig

# 用于不需要回滚和提交的操作

def find(func):

def wrapper(self, *args, **kwargs):

try:

return func(self, *args, **kwargs)

except Exception as e:

print(traceback.format_exc())

print(str(e))

return traceback.format_exc()

finally:

self.session.close()

return wrapper

class MysqlManager(object):

def __init__(self):

mysql_connection_string = esconfig.mysql.get("mysql_connection_string")

self.engine = create_engine('mysql+pymysql://'+mysql_connection_string+'?charset=utf8', poolclass=QueuePool,

pool_recycle=3600)

# self.DB_Session = sessionmaker(bind=self.engine)

# self.session = self.DB_Session()

self.DB_Session = sessionmaker(bind=self.engine, autocommit=False, autoflush=True, expire_on_commit=False)

self.db = scoped_session(self.DB_Session)

self.session = self.db()

@find

def select_all_dict(self, sql, keys):

a = self.session.execute(sql)

a = a.fetchall()

lists = [] for i in a:

if len(keys) == len(i):

data_dict = {}

for k, v in zip(keys, i):

data_dict[k] = v

lists.append(data_dict)

else:

return False

return lists

# 关闭

下载后可阅读完整内容，剩余3页未读，立即下载

weixin_38722588

粉丝: 6
资源: 839

Python快速实现MySQL到ElasticSearch数据同步

Python-同步mysql数据到elasticsearch的工具

Python 实现MySQL数据同步到Elasticsearch（ES）

Python实现MySQL二进制日志同步至Elasticsearch指南

mysql 数据同步Elasticsearch

实现MySQL数据与Elasticsearch双向同步与删除

MySQL-ElasticSearch数据同步工具py-mysql-elasticsearch-sync.zip

用多线程的方法将mysql中的数据同步到es中

基于canal的mysql和elasticsearch实时同步方案，支持增量同步和全量同步.rar

【数据管道】：如何构建MySQL与Elasticsearch之间的高效数据管道

怎么定时通过logstach将dm数据库数据同步到es中

最新资源