编写代码爬取给定网站所有的商品ID、名称、价格、浏览量、销量、库存,并将数据写入/root/shopxo/goods.txt47.94.241.48
时间: 2024-01-07 11:03:32 浏览: 25
这里提供一个用 Python 爬取商品信息并写入文件的代码示例:
```python
import requests
from bs4 import BeautifulSoup
# 发送请求,获取页面内容
url = 'http://example.com/goods_list.html'
response = requests.get(url)
html = response.text
# 解析页面,获取商品信息
soup = BeautifulSoup(html, 'html.parser')
goods = soup.select('.goods-item')
# 遍历商品列表,提取商品信息
result = []
for g in goods:
id = g.select_one('.goods-id').text
name = g.select_one('.goods-name').text
price = g.select_one('.goods-price').text
views = g.select_one('.goods-views').text
sales = g.select_one('.goods-sales').text
stock = g.select_one('.goods-stock').text
item = {'id': id, 'name': name, 'price': price, 'views': views, 'sales': sales, 'stock': stock}
result.append(item)
# 将商品信息写入文件
with open('/root/shopxo/goods.txt', 'w') as f:
for item in result:
f.write('{}\t{}\t{}\t{}\t{}\t{}\n'.format(item['id'], item['name'], item['price'], item['views'], item['sales'], item['stock']))
print('Done.')
```
这个代码中,我们使用 requests 库发起 HTTP 请求,获取商品列表页面的 HTML 内容。然后使用 BeautifulSoup 库解析 HTML,提取出每个商品的 ID、名称、价格、浏览量、销量和库存信息,并将这些信息存储在一个列表中。最后,将列表中的商品信息逐行写入到指定的文件中。
请注意,你需要将代码中的 `http://example.com/goods_list.html` 替换成你要爬取的网站的商品列表页面的 URL,以及将 `'/root/shopxo/goods.txt'` 替换成你要写入的文件路径。另外,爬取网站数据需要遵守网站的爬虫协议,不要过度爬取和频繁请求,以免对网站造成负担。