用python写爬虫代码
时间: 2023-06-11 14:07:45 浏览: 96
用Python写爬虫
以下是一个简单的Python爬虫代码示例,可以爬取指定网站的HTML页面:
```python
import requests
# 设置请求头,模拟浏览器访问
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299"
}
# 发送请求,获取网页内容
url = "https://www.example.com"
response = requests.get(url, headers=headers)
html_content = response.text
# 解析网页内容
# TODO: 解析HTML页面,获取需要的数据
```
在上面的代码中,我们使用requests库发送HTTP GET请求,获取指定网站的HTML页面内容。我们还设置了一个请求头,以模拟浏览器访问的方式,避免被网站识别为爬虫。最后,我们可以使用第三方库(如BeautifulSoup)来解析HTML页面,获取需要的数据。
阅读全文