写代码:爬取腾讯新闻网新闻(https://new.qq.com/),爬取要闻、北京、财经、科技、娱乐、国际、军事、游戏、乐活模块新闻数据,每个模块爬取100条带图片的数据;爬取的字段包括:url、标题、发布时间、新闻来源、发布地点、新闻内容;数据清洗的要求:发布时间清洗为标准日期格式(yyyy-mm-dd HH:MM:SS),发布地点只保留地点信息(不要“发布于xxx”)。文本信息保存为csv格式(带表头)。
时间: 2023-07-10 21:33:51 浏览: 149
Error response from daemon: Get https://registry-1.docker.io/v2/: dial tcp: lookup registry-1.docker
好的,以下是一个可供参考的代码示例:
```python
import requests
from bs4 import BeautifulSoup
import re
import csv
# 爬取的模块和数据条数
modules = ['news', 'china', 'finance', 'tech', 'ent', 'world', 'mil', 'games', 'life']
num_per_module = 100
# 正则表达式
date_pattern = re.compile(r'(\d{4})/(\d{2})/(\d{2}) (\d{2}:\d{2}:\d{2})')
location_pattern = re.compile(r'发布于(.*)')
# 保存数据的列表
data_list = []
# 遍历每个模块,爬取数据
for module in modules:
print(f'Start crawling {module}...')
for page in range(1, num_per_module // 20 + 1):
url = f'https://new.qq.com/ch/{module}/?page={page}'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
news_list = soup.find_all('div', {'class': 'detail'})
# 遍历每条新闻,提取数据
for news in news_list:
# 获取标题和 URL
title = news.find('a').text
url = news.find('a')['href']
# 获取发布时间和新闻来源
time_source = news.find('div', {'class': 'info'}).text.strip()
match = date_pattern.search(time_source)
if match:
year, month, day, time = match.groups()
publish_time = f'{year}-{month}-{day} {time}'
else:
publish_time = ''
source = time_source.replace(f'{year}/{month}/{day} {time} ', '')
# 获取发布地点
location_match = location_pattern.search(source)
if location_match:
location = location_match.group(1)
else:
location = ''
source = source.replace(f'发布于{location}', '').strip()
# 获取新闻内容
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
content = soup.find('div', {'class': 'content-article'}).text.strip()
# 保存数据到列表
data_list.append([url, title, publish_time, source, location, content])
# 控制爬取数据条数
if len(data_list) >= len(modules) * num_per_module:
break
if len(data_list) >= len(modules) * num_per_module:
break
if len(data_list) >= len(modules) * num_per_module:
break
# 将数据保存到 CSV 文件中
with open('news.csv', 'w', newline='', encoding='utf-8-sig') as f:
writer = csv.writer(f)
writer.writerow(['URL', '标题', '发布时间', '新闻来源', '发布地点', '新闻内容'])
writer.writerows(data_list)
print('Done!')
```
这段代码使用 requests 库和 BeautifulSoup 库来爬取腾讯新闻网的数据。首先定义需要爬取的模块和每个模块需要爬取的数据条数。然后遍历每个模块,分页爬取数据,并使用正则表达式进行数据清洗。最后将清洗后的数据保存到 CSV 文件中。需要注意的是,由于数据量较大,爬取过程可能比较耗时,请耐心等待。
阅读全文