python 怎么写爬虫
时间: 2023-11-18 12:05:08 浏览: 72
Python 可以通过多种库和框架来实现爬虫,其中比较常用的有 requests、BeautifulSoup、Scrapy 等。下面是一个使用 requests 和 BeautifulSoup 实现的简单爬虫的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 模拟浏览器请求头部信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 请求网页
url = 'https://www.example.com'
response = requests.get(url, headers=headers)
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取需要的信息
title = soup.find('title').text
print(title)
```
以上代码中,我们首先通过 requests 库发送了一个 GET 请求,获取到网页的 HTML 内容。然后使用 BeautifulSoup 库对 HTML 进行解析,提取需要的信息。最后将提取出来的信息输出到控制台。