Python抓取自己账号的企业微信群组里面的聊天记录进行数据统计汇总
时间: 2024-04-07 07:29:11 浏览: 460
可以使用Python调用企业微信API实现抓取自己账号的企业微信群组聊天记录的功能,具体步骤如下:
1. 获取企业微信API的访问凭证
企业微信API的访问凭证包括企业ID(CorpID)、应用的凭证密钥(CorpSecret)和应用的代理ID(AgentID),可以在企业微信管理后台的“应用与小程序”中找到。
```
import requests
# 获取企业微信API的访问凭证
def get_access_token(corpid, corpsecret):
url = "https://qyapi.weixin.qq.com/cgi-bin/gettoken"
params = {
"corpid": corpid,
"corpsecret": corpsecret
}
r = requests.get(url, params=params)
return r.json().get("access_token")
```
2. 获取群组聊天记录
调用企业微信API的获取聊天记录接口,指定聊天记录的起始时间和结束时间,以及群组ID或者群组名称。
```
import datetime
# 获取群组聊天记录
def get_chat_record(access_token, chatid, start_time, end_time):
url = "https://qyapi.weixin.qq.com/cgi-bin/appchat/getmsglist"
params = {
"access_token": access_token
}
data = {
"chatid": chatid,
"starttime": start_time,
"endtime": end_time
}
r = requests.post(url, params=params, json=data)
return r.json().get("errmsg"), r.json().get("recordlist")
```
其中,参数start_time和end_time需要传入datetime类型的时间戳,可以使用如下代码进行转换:
```
import time
# 将时间转换为时间戳
def datetime_to_timestamp(dt):
return int(time.mktime(dt.timetuple()))
# 获取当前时间的时间戳
now = datetime.datetime.now()
end_time = datetime_to_timestamp(now)
# 获取一天前的时间的时间戳
one_day_ago = now - datetime.timedelta(days=1)
start_time = datetime_to_timestamp(one_day_ago)
```
3. 统计聊天记录信息
解析获取到的聊天记录数据,统计需要的数据信息,例如每个人发了多少条消息、消息的类型、消息的长度等等。可以使用Python的pandas模块进行数据分析和处理。
```
import pandas as pd
# 统计聊天记录信息
def count_chat_record(recordlist):
df = pd.DataFrame(recordlist)
df["msgtype"] = df["msgtype"].apply(lambda x: "text" if x == 1 else "image")
df["msglen"] = df["content"].apply(lambda x: len(x.get("text", "")))
return df.groupby("sender").agg({
"msgid": "count",
"msgtype": lambda x: dict(x.value_counts()),
"msglen": ["min", "max", "mean"]
}).reset_index()
```
4. 输出统计结果
将统计结果输出到文件或数据库中,方便后续的汇总和分析。
```
# 输出统计结果
def output_result(result, output_file):
with open(output_file, "w") as f:
f.write(result.to_csv(index=False))
```
完整代码如下:
```
import requests
import datetime
import time
import pandas as pd
# 获取企业微信API的访问凭证
def get_access_token(corpid, corpsecret):
url = "https://qyapi.weixin.qq.com/cgi-bin/gettoken"
params = {
"corpid": corpid,
"corpsecret": corpsecret
}
r = requests.get(url, params=params)
return r.json().get("access_token")
# 获取群组聊天记录
def get_chat_record(access_token, chatid, start_time, end_time):
url = "https://qyapi.weixin.qq.com/cgi-bin/appchat/getmsglist"
params = {
"access_token": access_token
}
data = {
"chatid": chatid,
"starttime": start_time,
"endtime": end_time
}
r = requests.post(url, params=params, json=data)
return r.json().get("errmsg"), r.json().get("recordlist")
# 将时间转换为时间戳
def datetime_to_timestamp(dt):
return int(time.mktime(dt.timetuple()))
# 统计聊天记录信息
def count_chat_record(recordlist):
df = pd.DataFrame(recordlist)
df["msgtype"] = df["msgtype"].apply(lambda x: "text" if x == 1 else "image")
df["msglen"] = df["content"].apply(lambda x: len(x.get("text", "")))
return df.groupby("sender").agg({
"msgid": "count",
"msgtype": lambda x: dict(x.value_counts()),
"msglen": ["min", "max", "mean"]
}).reset_index()
# 输出统计结果
def output_result(result, output_file):
with open(output_file, "w") as f:
f.write(result.to_csv(index=False))
if __name__ == "__main__":
corpid = "your_corpid"
corpsecret = "your_corpsecret"
agentid = "your_agentid"
chatid = "your_chatid"
output_file = "result.csv"
# 获取访问凭证
access_token = get_access_token(corpid, corpsecret)
# 获取聊天记录
now = datetime.datetime.now()
end_time = datetime_to_timestamp(now)
one_day_ago = now - datetime.timedelta(days=1)
start_time = datetime_to_timestamp(one_day_ago)
errmsg, recordlist = get_chat_record(access_token, chatid, start_time, end_time)
if errmsg == "ok":
# 统计聊天记录信息
result = count_chat_record(recordlist)
# 输出统计结果
output_result(result, output_file)
else:
print("获取聊天记录失败:", errmsg)
```
需要注意的是,企业微信的API接口需要按照规定的频次和方式进行调用,不要过于频繁或者超过限制,否则会被封禁。同时,聊天记录可能包含敏感信息,需要做好数据保护和隐私保密工作。
阅读全文