帮我写段抓取天猫数据的python代码
时间: 2024-04-13 07:27:03 浏览: 122
当然可以!以下是一个简单的示例,使用Python的requests和BeautifulSoup库来抓取天猫的数据:
```python
import requests
from bs4 import BeautifulSoup
def crawl_tmall_data(keyword):
url = f"https://list.tmall.com/search_product.htm?q={keyword}"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")
products = soup.find_all("div", class_="product")
for product in products:
name = product.find("p", class_="productTitle").text.strip()
price = product.find("p", class_="productPrice").text.strip()
print(name, price)
# 调用函数并传入关键字进行搜索
crawl_tmall_data("手机")
```
上述代码中,我们首先构造了一个天猫搜索的URL,然后发送GET请求获取页面内容。接下来,使用BeautifulSoup解析HTML页面,并通过CSS选择器找到对应的商品元素。最后,我们提取商品的名称和价格,并打印出来。
请注意,在实际应用中,你可能需要根据天猫网页的结构对代码进行适当的修改。此外,为了避免被网站屏蔽,我们还添加了一个伪装的User-Agent头部。
阅读全文