logstash读取csv插入到mysql，遇到乱码会重复插入

你遇到的问题可能是由于编码不匹配导致的。请尝试以下解决方案来解决这个问题：

1. 确保你的CSV文件的编码和MySQL数据库的编码一致。可以使用文本编辑器（如Notepad++）打开CSV文件，然后选择合适的编码进行保存。

2. 在Logstash的配置文件中，指定正确的编码。你可以在`input`部分的`file`插件中设置`charset`参数，例如：

input {
  file {
    path => "your_file_path"
    start_position => "beginning"
    sincedb_path => "/dev/null"
    codec => plain {
      charset => "UTF-8"   # 设置正确的编码
    }
  }
}

3. 在Logstash的配置文件中，使用`mutate`过滤器插件来转换编码。例如，你可以使用`mutate`插件的`convert`选项将编码转换为UTF-8：

filter {
  mutate {
    convert => { "message" => "UTF-8" }   # 将message字段的编码转换为UTF-8
  }
}

4. 确保你的MySQL数据库使用正确的字符集和校对规则。你可以在创建数据库表时指定字符集和校对规则，例如：

CREATE TABLE your_table_name (
  column1 VARCHAR(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci,
  ...
);

尝试以上解决方案后，应该能够避免插入重复和乱码的问题。如果问题仍然存在，请提供更多的详细信息，我将尽力帮助你解决。