import requests import chardet base_url = 'https://zhuhai.qfang.com/rent/503708359?insource=rent_list&top=2' headersvalue = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36 Edg/112.0.1722.34', } for i in range(0, 10): paramsvalue = {'star': str(i * 25), 'filter': ''} try: r = requests.get(base_url, params=paramsvalue, headers=headersvalue, timeout=1) except requests.Timeout: print('Timeout!') else: print(r.status_code) print(r.url) code_type = chardet.detect(r.content)['encoding'] with open('1111.txt', 'a+', encoding='utf=8') as f: f.write(r.content.decode(code_type))
时间: 2024-04-26 17:24:56 浏览: 24
TAIEX数据:可从https://www.twse.com.tw获取Json原始数据
这段代码是使用Python的requests库和chardet库来爬取一个网页的内容,并将内容写入到一个名为1111.txt的文件中。在代码中,使用循环来遍历不同的参数值,每次访问网页时设置不同的参数值,从而获取不同的结果。如果在访问网页时出现超时的情况,代码会打印出"Timeout!"。在写入文件时,使用chardet库来检测网页的编码格式,并将内容解码后写入文件。
阅读全文