使用python语言,在京东商城,爬取某个品牌的手机型号、店铺名称、价格和评论条数,存储的CSV文件中。
时间: 2024-04-01 09:33:49 浏览: 185
好的,这是一个比较典型的网络爬虫的应用场景,可以使用Python语言和相关的库来实现。下面是一个简单的爬虫代码示例,仅供参考:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 设置请求头,模拟浏览器访问网站
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
# 目标品牌和页面链接
brand = "华为"
url = "https://search.jd.com/Search?keyword=" + brand + "&enc=utf-8&page="
# 存储结果的CSV文件名
filename = brand + ".csv"
# 打开CSV文件,准备写入数据
with open(filename, 'w', newline='', encoding='utf-8-sig') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(["型号", "店铺名称", "价格", "评论条数"])
# 循环遍历每一页
for i in range(1, 11):
# 发送HTTP请求,获取页面内容
response = requests.get(url + str(i), headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
# 解析页面内容,提取所需信息
products = soup.select("#J_goodsList .gl-item")
for product in products:
name = product.select(".p-name em")[0].text.strip()
shop = product.select(".p-shop span a")[0].text.strip()
price = product.select(".p-price i")[0].text.strip()
comment = product.select(".p-commit strong a")[0].text.strip()
# 写入CSV文件
writer.writerow([name, shop, price, comment])
print("爬取完毕!结果已保存到文件:" + filename)
```
这个示例代码使用了Requests库来发送HTTP请求,使用BeautifulSoup库来解析HTML页面。其中,设置了请求头,模拟浏览器访问网站,以免被网站屏蔽。循环遍历每一页,解析页面内容,提取所需信息后,写入CSV文件。最后输出提示信息,表示爬取完毕。
阅读全文
相关推荐
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![7z](https://img-home.csdnimg.cn/images/20241231044736.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![7z](https://img-home.csdnimg.cn/images/20241231044736.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)