MYSQL中JSON_EXTRACT和DATE_FORMAT组合

可以使用JSON_EXTRACT函数从JSON格式的日期数据中提取日期，然后使用DATE_FORMAT将其格式化为所需的日期格式。例如：

SELECT DATE_FORMAT(JSON_EXTRACT('{"date": "2021-11-01"}', '$.date'), '%Y-%m-%d');

这将从JSON字符串中提取日期，并将其格式化为YYYY-MM-DD格式的日期。

相关问题

mysql数据写入influxdb

### 将 MySQL 数据导入 InfluxDB 的最佳实践

#### 1. 使用中间件工具进行数据迁移

对于将 MySQL 中的数据迁移到 InfluxDB，一种常见的方式是利用 ETL (Extract, Transform, Load) 工具作为中介来完成这项工作。Apache NiFi 或者 Logstash 是两个非常流行的选择[^2]。

- **Apache NiFi**: 支持多种处理器节点配置，能够方便地设置从 MySQL 提取数据并将其推送到 InfluxDB。

- **Logstash**: 可以通过 JDBC 输入插件连接到 MySQL 并使用 HTTP 输出插件向 InfluxDB 发送 JSON 格式的事件流。

# Apache NiFi 配置示例命令行启动参数
nifi.sh start

# Logstash 配置文件片段
input {
    jdbc {
        jdbc_connection_string => "jdbc:mysql://localhost:3306/mydb"
        ...
    }
}
output {
    http {
        url => "http://influxdb-server/write?db=mydatabase"
        format => json
    }
}

#### 2. 定制化脚本实现增量同步

如果希望更灵活控制传输过程中的细节，则可以通过编写 Python/Go 等语言编写的自定义程序来进行定时抓取最新记录并通过官方客户端库提交至目标数据库。这种方式允许开发者针对具体需求调整逻辑，例如只复制某些字段或是应用额外的计算规则。

import pymysql
from influxdb import InfluxDBClient

def fetch_mysql_data():
    conn = pymysql.connect(host='localhost', user='root', passwd='', db='test')
    cursor = conn.cursor()
    sql_query = 'SELECT * FROM my_table WHERE timestamp >= %s'
    
    try:
        last_sync_time = get_last_sync_time() # 自定义函数获取上次同步时间戳
        
        cursor.execute(sql_query, (last_sync_time,))
        
        rows = cursor.fetchall()

        points = []
        for row in rows:
            point = {"measurement": "my_measurement",
                     "tags": {},
                     "fields": {"value": float(row[1])},
                     "time": str(row[2])
                    }
            points.append(point)

        client = InfluxDBClient('localhost', 8086, 'admin', '', 'example_db')
        client.write_points(points)
            
    finally:
        cursor.close()
        conn.close()

#### 3. 利用批处理作业定期全量导出

当源端表结构相对稳定且不需要频繁更新时，还可以考虑采用一次性或周期性的批量加载策略。这通常涉及到先将 MySQL 表的内容转储成 CSV 文件或其他易于解析的形式，再借助 `influx` CLI 工具或者其他专门构建的服务快速注入到目的存储中去。

-- 导出 MySQL 表为CSV格式
SELECT * INTO OUTFILE '/tmp/data.csv' FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n' FROM my_table;

# 使用InfluxDB命令行工具导入CSV文件
cat /path/to/file.csv | while IFS=',' read col1 col2; do echo "cpu_load_short,host=server01 value=$col2 $(date +%s)" ; done | influx -precision rfc3339