生成代码,爬取腾讯新闻数据(https://new.qq.com/)的要闻、北京、财经、科技、娱乐、国际、军事、游戏、乐活模块新闻数据,每个模块爬取100条带图片的数据;爬取的字段包括:url、标题、发布时间、新闻来源、发布地点、新闻内容;数据清洗的要求:发布时间清洗为标准日期格式(yyyy-mm-dd HH:MM:SS),发布地点只保留地点信息。文本信息带表头保存为csv格式,并将采集结果存储于SQLite数据库;实现采集结果的词云。
时间: 2023-07-10 15:33:52 浏览: 179
好的,以下是一个大致的Python爬虫代码实现,可以爬取腾讯新闻中指定模块的新闻数据,并保存到CSV文件和SQLite数据库中,同时实现了对采集结果的词云分析:
```
import requests
from bs4 import BeautifulSoup
import csv
import sqlite3
from datetime import datetime
from wordcloud import WordCloud
import matplotlib.pyplot as plt
# 模块列表
category_list = ['news', 'china', 'finance', 'tech', 'ent', 'world', 'mil', 'games', 'life']
# 要爬取的新闻条数
num_per_category = 100
# 创建CSV文件并写入表头
csv_file = open('tencent_news.csv', 'w', newline='', encoding='utf-8-sig')
csv_writer = csv.writer(csv_file)
csv_writer.writerow(['url', 'title', 'time', 'source', 'location', 'content'])
# 创建SQLite数据库连接
conn = sqlite3.connect('tencent_news.db')
c = conn.cursor()
# 创建数据表
c.execute('''CREATE TABLE IF NOT EXISTS news
(id INTEGER PRIMARY KEY AUTOINCREMENT,
url TEXT,
title TEXT,
time TEXT,
source TEXT,
location TEXT,
content TEXT)''')
# 循环爬取每个模块的新闻数据
for category in category_list:
url = f'https://new.qq.com/{category}/'
print(f'正在爬取{category}模块的新闻数据...')
# 发起HTTP请求并解析网页内容
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 提取新闻列表中的新闻链接
news_list = soup.select('.item .detail')
for i in range(min(num_per_category, len(news_list))):
# 获取新闻链接并发起HTTP请求
news_url = news_list[i]['href']
news_response = requests.get(news_url)
news_soup = BeautifulSoup(news_response.text, 'html.parser')
# 提取新闻标题、时间、来源、地点、内容等信息
news_title = news_soup.select_one('.LEFT h1').text.strip()
news_time = news_soup.select_one('.article-time').text.strip()
news_time = datetime.strptime(news_time, '%Y年%m月%d日 %H:%M')
news_time = news_time.strftime('%Y-%m-%d %H:%M:%S')
news_source = news_soup.select_one('.color-a-1').text.strip()
news_location = news_soup.select_one('.article-from span').text.strip()
news_location = news_location.split(' ')[-1]
news_content = news_soup.select_one('.content-article').text.strip()
# 将提取到的数据保存到CSV文件中
csv_writer.writerow([news_url, news_title, news_time, news_source, news_location, news_content])
# 将提取到的数据保存到SQLite数据库中
c.execute("INSERT INTO news (url, title, time, source, location, content) VALUES (?, ?, ?, ?, ?, ?)",
(news_url, news_title, news_time, news_source, news_location, news_content))
print(f'{category}模块的新闻数据爬取完成!')
# 关闭CSV文件和SQLite数据库连接
csv_file.close()
conn.commit()
conn.close()
# 读取CSV文件中的数据并生成词云
with open('tencent_news.csv', 'r', encoding='utf-8-sig') as f:
reader = csv.reader(f)
text = ''
for row in reader:
if reader.line_num == 1:
continue
text += row[5]
wordcloud = WordCloud(font_path='msyh.ttc', background_color='white').generate(text)
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis('off')
plt.show()
```
需要注意的是,爬取网站数据需要遵守法律法规,尊重网站的robots协议,不要过于频繁地请求网站,以免对网站造成不必要的压力。另外,爬取的数据可能不太准确或存在偏差,需要进行数据清洗和分析。
阅读全文