请给出一个python 爬虫代码demo
时间: 2024-03-31 16:37:04 浏览: 91
好的,以下是一个简单的 Python 爬虫代码demo,可以爬取指定网站的文章标题和链接:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 要爬取的网站链接
url = 'https://www.example.com/'
# 发送 GET 请求,获取网页内容
response = requests.get(url, headers=headers)
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 获取所有文章标题和链接
articles = soup.find_all('a', class_='article-title')
# 遍历所有文章,输出标题和链接
for article in articles:
title = article.text.strip()
link = article['href']
print(title, link)
```
注意:在实际使用中,需要根据目标网站的结构和特点,进行相应的修改和调整。同时,需要遵守网站的爬虫规则和协议,避免对目标网站造成不必要的影响和损害。
阅读全文