python爬取转转手机信息
时间: 2023-09-23 17:07:22 浏览: 40
以下是一个简单的 Python 爬虫程序,可以爬取转转网站上的手机信息:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.zhuanzhuan.com/bj/list'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
params = {
'categoryId': '110108',
'categoryName': '手机',
'pageSize': '30',
'pageIndex': '1'
}
resp = requests.get(url, params=params, headers=headers)
soup = BeautifulSoup(resp.text, 'html.parser')
for item in soup.find_all('a', {'class': 'item-title'}):
print(item.text.strip())
```
这个程序使用 requests 库来发送 HTTP 请求,使用 BeautifulSoup 库来解析 HTML 页面。首先,我们需要指定要爬取的网址和请求头部信息。在这个例子中,我们爬取的是转转网站上的手机信息,需要指定网址和一些参数,例如类别 ID、每页显示的数量和页码等。然后,我们发送 GET 请求,获取到网页的 HTML 内容。最后,我们使用 BeautifulSoup 库来解析 HTML 页面,并通过筛选相关的标签和属性来提取所需的信息。
在上面的例子中,我们只提取了手机的标题信息,如果需要提取其他信息,例如价格、发布时间等,可以根据 HTML 页面的结构和标签属性来自行修改程序。