python 爬取亚马逊的网页
时间: 2024-05-25 11:08:08 浏览: 23
Python 爬虫是一种自动化抓取互联网数据的技术,可以使用 Python 的 Requests 库和 BeautifulSoup 库来爬取亚马逊网站的数据。下面是一个简单的例子:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.amazon.cn/s?k=python&ref=nb_sb_noss'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
for item in soup.select('.s-result-item'):
title = item.select_one('.a-text-normal').text
price = item.select_one('.a-price-whole').text
print(title, price)
```
这个例子演示了如何爬取亚马逊上搜索关键词为“python”的商品信息。我们使用 Requests 库发送 HTTP 请求,然后使用 BeautifulSoup 库解析 HTML 页面,最后打印出商品的标题和价格。
相关推荐
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)