爬取腾讯新闻网新闻(https://new.qq.com/)爬取要闻、北京、财经、科技、娱乐、国际、军事、游戏、乐活模块新闻数据,每个模块爬取100条带图片的数据;
时间: 2023-10-20 18:59:05 浏览: 601
好的,这个任务可以通过 Python 爬虫实现。首先,我们需要安装相关的库,比如 requests、BeautifulSoup4 等。可以使用以下命令进行安装:
```
pip install requests beautifulsoup4
```
接下来,我们可以编写代码实现爬取腾讯新闻网的新闻。具体实现步骤如下:
1. 导入所需库
```python
import requests
from bs4 import BeautifulSoup
```
2. 定义要爬取的新闻模块和要爬取的新闻数量
```python
modules = ['要闻', '北京', '财经', '科技', '娱乐', '国际', '军事', '游戏', '乐活']
num_of_news = 100
```
3. 定义函数,用于获取指定模块的新闻链接
```python
def get_news_links(module):
links = []
page_num = 1
while len(links) < num_of_news:
url = f'https://new.qq.com/ch/{module}/'
if page_num > 1:
url += f'&page={page_num}'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.find_all('div', class_='item')
if not items:
break
for item in items:
link = item.find('a')['href']
if link.startswith('https://new.qq.com/omn'):
links.append(link)
if len(links) == num_of_news:
break
page_num += 1
return links
```
4. 定义函数,用于获取指定链接的新闻内容
```python
def get_news_content(link):
response = requests.get(link)
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.find('h1', class_='qq-article-title').text.strip()
time = soup.find('span', class_='article-time').text.strip()
content = ''
paragraphs = soup.find_all('p', class_='one-p')
for p in paragraphs:
content += p.text.strip() + '\n'
image = soup.find('div', class_='qq-article-img-area').find('img')['src']
return {'title': title, 'time': time, 'content': content, 'image': image}
```
5. 爬取新闻数据
```python
news_data = {}
for module in modules:
news_links = get_news_links(module)
module_data = []
for link in news_links:
try:
news_content = get_news_content(link)
module_data.append(news_content)
except:
continue
news_data[module] = module_data
```
6. 输出结果
```python
for module, data in news_data.items():
print(module)
print('-' * 50)
for news in data:
print('标题:', news['title'])
print('时间:', news['time'])
print('内容:', news['content'])
print('图片链接:', news['image'])
print('-' * 50)
```
这样,我们就可以通过 Python 爬虫爬取腾讯新闻网的新闻数据了。需要注意的是,爬虫过程中要注意网站的反爬虫机制,建议加入一些延时等策略,避免被封禁 IP。
阅读全文