python 爬虫 代码
时间: 2024-03-07 19:44:15 浏览: 82
Python爬虫是一种通过编写代码来自动化获取互联网上的数据的技术。下面是一个简单的Python爬虫代码示例:
```python
import requests
from bs4 import BeautifulSoup
# 发起HTTP请求获取页面内容
url = "https://example.com"
response = requests.get(url)
html_content = response.text
# 使用BeautifulSoup解析页面内容
soup = BeautifulSoup(html_content, "html.parser")
# 提取需要的数据
data = soup.find("div", class_="content").text
# 打印提取的数据
print(data)
```
这段代码使用了`requests`库来发起HTTP请求,并使用`BeautifulSoup`库来解析HTML页面内容。通过指定需要提取的数据的标签和属性,可以使用`soup.find()`方法来提取数据。
阅读全文