写一段python爬虫代码
时间: 2023-07-22 14:00:24 浏览: 103
当然可以!以下是一个简单的Python爬虫代码示例,用于获取网页的标题和内容:
```python
import requests
from bs4 import BeautifulSoup
def scrape_website(url):
# 发送HTTP GET请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(response.content, 'html.parser')
# 获取网页标题
title = soup.title.string
# 获取网页内容
content = soup.get_text()
return title, content
else:
print("请求失败")
# 调用爬虫函数,传入目标网页的URL
url = "https://www.example.com"
title, content = scrape_website(url)
print("网页标题:", title)
print("网页内容:", content)
```
请将上述代码中的`url`变量替换为您要爬取的网页的URL。此代码使用了`requests`库发送HTTP请求,并使用`BeautifulSoup`库解析HTML内容。它将网页的标题和内容提取出来,并打印到控制台上。
请确保在运行代码之前安装`requests`和`beautifulsoup4`库,可以使用以下命令进行安装:
```
pip install requests beautifulsoup4
```
这只是一个简单的示例,实际的爬虫代码可能会更复杂,需要考虑异常处理、页面结构等情况。希望对你有帮助!如果有任何问题,请随时提问。
阅读全文