写一个爬取网易buff网页的python代码
时间: 2023-11-11 17:54:41 浏览: 177
好的,下面是一个简单的 Python 爬取网易 BUFF 网页面的代码示例,希望能够帮到您:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://buff.163.com/market/goods?game=csgo#tab=selling&page_num=1'
res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')
items = soup.select('div.market-goods-list > div > div')
for item in items:
name = item.select_one('div.item-name').text.strip()
price = item.select_one('div.item-price > span').text.strip()
print(name, price)
```
这段代码使用了 requests 库来请求网页内容,使用了 BeautifulSoup 库来解析 HTML 页面。其中,变量 url 存储了要爬取的网页地址,res 存储了请求得到的网页内容,soup 存储了解析后的 BeautifulSoup 对象。
接下来,我们使用 CSS 选择器来找到页面中所有的商品信息,并逐一输出商品名称和价格。这里使用了 select 方法来选择页面元素,并使用 select_one 方法来选择单个元素。
需要注意的是,网页的结构可能会随时变化,如果页面结构发生了改变,代码可能需要做出相应的调整才能正常运行。
阅读全文