import requests def Jd_Spider(): # 传入url url = "https://api.m.jd.com/?appid=item-v3&functionId=pc_club_productPageComments&client=pc&clientVersion=1.0.0&t=1686224605129&loginType=3&uuid=122270672.16856900323181213839697.1685690032.1685690032.1686222590.2&productId=100052699188&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1&bbtf=&shield=" # 传入U-A headers = { 'user-agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.17 (KHTML, like Gecko) Chrome/10.0.649.0 Safari/534.17' } # 传入ip地址 proxies = {'http': 'http://42.178.144.170:18394'} # get方法 resp = requests.get(url, headers=headers, proxies=proxies) resp.encoding = "utf-8" reso_json = resp.json() comment_list = reso_json['comments'] for comment in comment_list: # 商品id goods_id = comment.get('id') # 评论内容 content = comment.get('content') content = ' '.join(content.split('\n')) # 处理换行符 # 评分 score = comment.get('score') # 产品颜色 productColor = comment.get('productColor') # 产品尺寸 productSize = comment.get('productSize') # 地址 location = comment.get('location') # 引用名称 referenceName = comment.get('referenceName') print(f'{goods_id}\t{content}\t{score}\t{productColor}\t{productSize}\t{location}\t{referenceName}\n') pass if __name__ == '__main__': Jd_Spider()
时间: 2024-03-19 18:40:20 浏览: 72
这是一段 Python 代码,用于爬取京东商品的评论。代码中使用了 requests 库来发送 HTTP 请求,获取商品评论数据。其中,url 变量存储了需要爬取的京东商品评论 API 的地址,headers 变量存储了 HTTP 请求头,proxies 变量存储了代理服务器的地址。使用 requests 库的 get 方法向 API 发送请求,并将响应数据解析为 JSON 格式,然后从 JSON 数据中提取商品评论信息并输出。在 if __name__ == '__main__': 中调用 Jd_Spider 函数来执行代码。需要注意的是,使用爬虫程序爬取网站数据可能会违反网站的用户协议和法律法规,应该谨慎使用。
阅读全文