如何在日志文件里面提取出现过的IP并去重

提取出现过的IP并去重，可以通过使用以下步骤：

1. 打开日志文件，使用正则表达式匹配IP地址。

2. 将所有匹配到的IP地址存储到一个列表中。

3. 对列表进行去重操作，保留唯一的IP地址。

4. 将去重后的IP地址写入一个新的文件中。

下面是一个Python代码示例，可以完成上述操作：

import re

# 定义正则表达式，匹配IP地址
ip_regex = re.compile(r'\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}')

# 打开日志文件
with open('logfile.log', 'r') as f:
    # 读取文件内容
    content = f.read()
    # 查找所有匹配的IP地址
    ip_list = ip_regex.findall(content)
    # 去重操作，保留唯一的IP地址
    unique_ips = list(set(ip_list))

# 将去重后的IP地址写入一个新文件中
with open('unique_ips.txt', 'w') as f:
    for ip in unique_ips:
        f.write(ip+'\n')

以上代码将在当前目录下生成一个名为“unique_ips.txt”的文件，其中包含所有出现过的唯一IP地址。

相关问题

用shell脚本实现从日志文件提取平均接口耗时

假设日志文件中每一行的格式为：

[时间戳] [接口名称] [耗时(ms)]

可以使用以下shell脚本来提取平均接口耗时：

#!/bin/bash

# 定义变量
total_time=0
count=0

# 读取日志文件
while read line
do
  # 解析每一行日志
  timestamp=$(echo $line | awk '{print $1}')  # 时间戳
  api=$(echo $line | awk '{print $2}')       # 接口名称
  time=$(echo $line | awk '{print $3}')      # 耗时(ms)

  # 计算总时间和接口数
  total_time=$(echo $total_time + $time | bc)
  count=$(echo $count + 1 | bc)
done < log.txt

# 计算平均耗时
avg_time=$(echo "scale=2; $total_time / $count" | bc)

echo "平均接口耗时为：${avg_time}ms"

脚本的核心是使用`awk`命令解析每一行日志，然后使用`bc`命令进行数值计算。最后输出平均接口耗时。注意，这里假设日志文件名为`log.txt`，需要根据实际情况进行修改。

使用logstash+grok提取里面的所有ip和端口

可以使用logstash+grok来提取日志里的IP和端口信息。

首先，需要在logstash的配置文件中设置input和output，以及filter过滤器。

input可以是从文件读取，也可以是从网络接收。例如：

input {
  file {
    path => "/path/to/logfile.log"
    start_position => "beginning"
  }
}

output可以是写入文件，也可以是发送到其他服务。例如：

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "logstash-%{+YYYY.MM.dd}"
  }
}

filter过滤器可以使用grok插件来提取IP和端口。例如：

filter {
  grok {
    match => { "message" => "%{IP:src_ip}:%{NUMBER:src_port} %{IP:dst_ip}:%{NUMBER:dst_port}" }
  }
}

这个例子中，使用%{IP}和%{NUMBER}分别匹配IP地址和端口号，并将它们命名为src_ip、src_port、dst_ip和dst_port。

最后，运行logstash即可：

bin/logstash -f /path/to/config.conf

logstash将会读取日志文件，提取IP和端口信息，并将结果写入Elasticsearch或其他目的地。