python爬虫代码demo
时间: 2023-07-17 11:55:05 浏览: 109
python 爬虫demo
以下是一个简单的Python爬虫代码示例,用于获取指定网页的标题和正文内容:
```python
import requests
from bs4 import BeautifulSoup
url = "https://example.com" # 替换为您要爬取的网页URL
# 发送HTTP GET请求获取网页内容
response = requests.get(url)
html_content = response.text
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html_content, "html.parser")
# 获取网页标题
title = soup.title.text
print("网页标题:", title)
# 获取网页正文内容
content = soup.get_text()
print("网页正文:", content)
```
在这个示例中,我们使用了`requests`库来发送HTTP GET请求获取网页内容,并使用`BeautifulSoup`库解析网页内容。然后,我们使用`soup.title`获取网页标题,并使用`soup.get_text()`获取网页的纯文本内容。
请注意,爬取网站的过程需要遵守相关网站的使用条款和政策,并尊重网站的爬取规则。在实际应用中,请确保您有合法权限和合适的使用方式。
阅读全文