代码如下: import requestsfrom lxml import etreeimport numpy as npheaders = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36", "Referer": "https://www.5iai.com/", "Origin": "https://www.5iai.com"}url = "https://www.5iai.com/api/job/list"response = requests.get(url, headers=headers)response.encoding = 'utf8'html = response.textroot = etree.HTML(html)node_list = root.xpath('//div[@class="jobInfo"]/a/text()')print(node_list)np.savetxt('daijing_list.txt', node_list, fmt='%s')
时间: 2024-03-15 07:42:43 浏览: 138
在你的代码中,你使用了requests和lxml库,向https://www.5iai.com/api/job/list发送了一个GET请求,以获取一个JSON格式的响应。然后,你将响应文本转换为了HTML文本,并使用XPath表达式从中提取了一些文本信息。最后,你将这些文本信息保存到了名为daijing_list.txt的文件中。
然而,根据你提供的代码,我无法确定为什么不能成功爬取数据。有几个可能的原因是:
1. URL不正确:确保URL链接正确,没有任何拼写错误或其他错误。
2. 网站反爬虫机制:网站可能已经采取了反爬虫机制,例如IP封锁、验证码、用户代理检测等。你可以尝试更改请求头来模拟正常的用户行为,以规避这些机制。
3. 爬取的数据不存在:检查XPath表达式是否正确,以确保你正在正确地解析HTML文本,并且正在获取正确的数据。
4. 网络连接问题:在某些情况下,网络连接可能会中断或失败,导致你无法成功爬取数据。你可以尝试使用try-except语句来处理这些异常情况,并重新尝试请求。
希望这些提示可以帮助你找到问题所在。
相关问题
import re import requests from lxml import etree import numpy as np import pandas as pd from lxml import etree import numpy as np import requests headers= { # 模拟浏览器头部信息,向豆瓣服务器发送消息 "User-Agent": "Mozilla / 5.0(Windows NT 10.0; Win64; x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 80.0.3987.122 Safari / 537.36" } #url="https://www.5iai.com/#/jobList" url="https://www.5iai.com/#/jobList" response = requests.get(url,headers = headers) response.encoding = 'utf8' html = response.text root = etree.HTML(html) #node_list = root.xpath('//span[@class="datePay"]/text()') #/ul/li/div[@class='jobInfo']/span node_list = root.xpath('/html/body/div[3]/div/div[4]/div[1]/ul/li[2]/div[1]/a/text()') print(node_list) #保存为txt np.savetxt('C:/Users/11148/Desktop/77/daijing_list.txt',node_list,fmt='%s') 检查一下该代码是否有误
这段代码有一些问题:
1. 第一行的 import re 似乎没有用到,可以删掉。
2. 第11行和第12行导入了重复的模块,可以删掉其中的一行。
3. 第14行和第15行重复定义了 root 变量,可以删掉其中的一行。
4. 第16行的 xpath 表达式可能有问题,要根据具体的 HTML 结构来修改。
5. 第17行的 print(node_list) 可能会输出一些调试信息,可以考虑删掉或者注释掉。
6. 第18行的保存文件路径需要根据自己的实际情况修改。
修改后的代码如下:
```
import requests
from lxml import etree
import numpy as np
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
}
url = "https://www.5iai.com/#/jobList"
response = requests.get(url, headers=headers)
response.encoding = 'utf8'
html = response.text
root = etree.HTML(html)
node_list = root.xpath('//div[@class="jobInfo"]/a/text()')
print(node_list)
np.savetxt('C:/Users/11148/Desktop/77/daijing_list.txt', node_list, fmt='%s')
```
import numpy as np import requests from lxml import etree import numpy as np url = 'https://jn.lianjia.com/zufang/' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36' } response = requests.get(url, headers=headers) html = response.text selector = etree.HTML(html) total_page_list = selector.xpath('//div[@class="content__pg"]/div/a/data-page') total_page_lists=np.array(total_page_list) if len(total_page_lists) > 0: total_page = total_page_lists[0] print('总页数为:', total_page) else: print('未匹配到结果')未匹配到结果怎么办
如果在运行上述代码时出现了"未匹配到结果"的提示,意味着XPath表达式没有匹配到任何元素。这种情况可能是由于以下原因之一导致的:
1. 页面结构已更改,XPath表达式不再匹配。
2. 网站防爬虫机制阻止了您的请求,无法获取HTML页面。
3. 您使用的XPath表达式不正确,无法匹配到所需的元素。
您可以尝试使用浏览器的开发者工具检查页面结构,或者尝试手动复制XPath表达式,以确保表达式正确。此外,您还可以尝试更改请求头,或者使用代理IP等方法绕过网站的防爬虫机制。
阅读全文