python爬虫模块代码
时间: 2023-07-12 16:58:50 浏览: 53
好的,以下是一个简单的 Python 爬虫模块示例,使用了 requests 和 BeautifulSoup 库:
```python
import requests
from bs4 import BeautifulSoup
# 请求头信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
# 目标网页 URL
url = 'https://www.example.com/'
# 发送 GET 请求,获取网页内容
response = requests.get(url, headers=headers)
# 解析网页内容,获取需要的信息
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.title.string
# 输出获取到的信息
print(title)
```
在上面的代码中,首先定义了一个请求头信息,模拟浏览器发送请求。然后设置目标网页 URL,使用 requests 库发送 GET 请求,获取网页内容。接着使用 BeautifulSoup 库解析网页内容,获取需要的信息。这里只是获取了网页标题,可以根据需求更改获取的内容。
需要注意的是,上面的代码只是一个简单的示例,实际应用中可能需要考虑更复杂的情况,比如处理请求异常、解析 HTML 结构等问题。