python爬虫代码
时间: 2023-06-28 18:10:03 浏览: 89
以下是一个简单的 Python 爬虫示例代码,使用 requests 库和 BeautifulSoup 库:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com' # 替换成你想要爬取的网址
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 输出网页标题
print(soup.title.text)
# 输出所有链接
for link in soup.find_all('a'):
print(link.get('href'))
```
这段代码会向指定的 URL 发送请求,并使用 BeautifulSoup 解析 HTML 页面。你可以根据需要修改代码以适应不同的爬虫需求。但请注意,爬取他人网站时需要尊重网站的规则和法律法规。
阅读全文