用python写个天猫网站爬虫程序
时间: 2023-02-12 19:33:25 浏览: 125
天猫商品信息爬虫(Python爬虫)
5星 · 资源好评率100%
好的,这是一个简单的天猫网站爬虫程序的例子:
```
import requests
from bs4 import BeautifulSoup
def tmall_spider(page):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
}
url = 'https://www.tmall.com/?spm=a220m.1000858.0.0.72d91caaaG1hKs&page=' + str(page)
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
items = soup.select('div.product')
for item in items:
title = item.select_one('p.productTitle').text
price = item.select_one('p.productPrice').text
print(title, price)
if __name__ == '__main__':
for i in range(1, 3):
tmall_spider(i)
```
这个程序使用了`requests`和`beautifulsoup4`库,它将爬取天猫网站前2页的商品名称和价格。
阅读全文