from bs4 import BeautifulSoup import requests import openpyxl def get_html(url): try: r=requests.get(url) r.raise_for_status() r.encoding=r.apparent_encoding return r.text except: r='fail' return r def get_contents(urlist,rurl): soup=BeautifulSoup(rurl,'html.parser') trs=soup.find_all('tr') for tr in trs: un=[] for td in tr: ts=td.string ts=ts.strip() if ts == '': continue un.append(ts) urlist.append(un) def saveList(urlist): wb=openpyxl.Workbook() ws=wb.active r=1 for line in urlist: for col in range(1,len(line)+1): ws.cell(row=r,column=col).value=line[col-1] r=r+1 wb.save('University.xlsx') if __name__=="__main__": urlist=[] url="http://heucice.hrbeu.edu.cn/4017/list.htm" rurl=get_html(url) get_contents(urlist,rurl) saveList(urlist)
时间: 2024-04-28 20:20:14 浏览: 137
这段代码是一个简单的爬虫程序,用于爬取哈尔滨工程大学(HRBEU)信息与通信工程学院的本科教学网站上的“本科生教学管理”栏目下的“本科生教学管理办公室”页面中的表格内容,并将其保存到一个名为“University.xlsx”的 Excel 文件中。
在程序中,get_html() 函数用于获取网页的 HTML 内容,get_contents() 函数用于解析 HTML 内容,提取表格中的数据,并将其存储到一个列表中,saveList() 函数用于将列表中的数据保存到 Excel 文件中。
在程序的主函数中,首先定义了一个列表 urlist,用于存储表格中的数据。然后,定义了一个变量 url,用于存储目标页面的 URL 地址。接着,调用 get_html() 函数获取目标页面的 HTML 内容,并将其传递给 get_contents() 函数进行解析。最后,将解析后的数据传递给 saveList() 函数,将其保存到 Excel 文件中。
需要注意的是,爬取网页内容时需要遵守相关的法律法规和网站的规定,避免对目标网站造成不必要的影响。
相关问题
针对以下python代码的解释以及实验小结import requests from bs4 import BeautifulSoup import re #创建获取网页数据的函数geunivText def getnuivText(url): try: r = requests.get(url) r.raise_for_status r.encoding = r.apparent_encoding return r.text except: return '' #创建解析函数并将爬取的目标数据存储 def fillunivList(ulist,html): soup = BeautifulSoup(html,'html.parser') for tr in soup.find('tbody').children: tds = tr.find_all('td') temp = [] for i in [0,1,4,5]: if i != 1: t = tds[i].string temp.append(re.sub('\s*|\n','',t)) else: t = tds[i].find('a') temp.append(t.string) ulist.append(temp) return ulist #创建打印函数 def printunivRank(ulist,num): print('{0:^4}\t{1:^10}\t\t{2:^5}\t{3:^5}'.format('排名','大学名称','总分','办学层次')) for i in range(num): a,b,c,d = ulist[i] print('{0:{4}^4}\t{1:{4}^10}\t{2:{4}^5}\t{3:{4}^5}'.format(a,b,c,d,chr(12288))) def main(): url = 'https://www.shanghairanking.cn/rankings/bcur/2021' html_text = getnuivText(url) unlist = [] fillunivList(unlist,html_text) print(printunivRank(unlist,20)) main()
这段 Python 代码使用了 requests、BeautifulSoup 和 re 三个库,爬取了上海交通大学的 2021 年度排名信息。具体实现过程如下:
1. 定义了一个函数 getnuivText,用于获取指定 url 的网页内容,利用 requests 库的 get 方法,获取网页内容,并利用 raise_for_status 方法判断是否获取成功,最后返回获取到的网页内容。
2. 定义了一个函数 fillunivList,用于解析获取到的网页内容,并将排名信息存储到一个 list 中,该函数接受两个参数:ulist 和 html,其中 ulist 为存储排名信息的 list,html 为网页内容。通过 BeautifulSoup 库将网页内容解析成 XML 格式,并通过 find 方法找到 tbody 标签中的所有子元素,即 tr 标签中的所有数据。然后遍历每个 tr 标签中的 td 标签,并将 td 中的内容提取出来,存储到一个临时 list 中,最后将临时 list 添加到 ulist 中。最后函数返回 ulist。
3. 定义了一个函数 printunivRank,用于打印排名信息,该函数接受两个参数:ulist 和 num,其中 ulist 为存储排名信息的 list,num 为需要打印的排名个数。函数首先打印表头信息,然后遍历 ulist 中的前 num 个元素,依次打印排名信息。
4. 定义了主函数 main,用于调用上述两个函数,实现爬取和打印排名信息的功能。首先指定要爬取的 url,然后调用 getnuivText 函数获取网页内容,接着调用 fillunivList 函数解析网页内容,并将排名信息存储到一个 list 中。最后调用 printunivRank 函数打印排名信息。
总的来说,这段代码主要实现了爬取和解析网页内容,并将获取到的排名信息打印出来。
import requests from bs4 import BeautifulSoup allUniv = [] def getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status() r.encoding = 'utf-8' return r.text except: return "" def fillUnivList(soup): data = soup.find_all('tr') for tr in data: ltd = tr.find_all('td') if len(ltd) == 0: continue singleUniv = [] for td in ltd: singleUniv.append(td.string) allUniv.append(singleUniv) def printUnivList(num): print("{:^4}{:^10}{:^5}{:^8}{:^10}".format("排名","学校名称","省份","总分","培养规模")) for i in range(num): u=allUniv[i] print("{:^4}{:^10}{:^5}{:^8}{:^10}".format(u[0],u[1],u[2],u[3],u[6])) def main(num): url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html' html = getHTMLText(url) soup = BeautifulSoup(html,"html.parser") fillUnivList(soup) printUnivList(num) main(10)数组超出范围
根据你提供的代码,问题出现在访问 `allUniv` 数组时,数组索引超出了范围。具体来说,当 `num` 大于 `allUniv` 的长度时,执行 `printUnivList` 函数时会抛出 `IndexError` 异常。
你可以在调用 `printUnivList` 函数前,先判断一下 `num` 是否超出了 `allUniv` 的长度,如果超出了则将 `num` 赋值为 `allUniv` 的长度,这样就可以避免数组越界的问题。修改后的代码如下:
```python
import requests
from bs4 import BeautifulSoup
allUniv = []
def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = 'utf-8'
return r.text
except:
return ""
def fillUnivList(soup):
data = soup.find_all('tr')
for tr in data:
ltd = tr.find_all('td')
if len(ltd) == 0:
continue
singleUniv = []
for td in ltd:
singleUniv.append(td.string)
allUniv.append(singleUniv)
def printUnivList(num):
if num > len(allUniv):
num = len(allUniv) # 将 num 赋值为 allUniv 的长度
print("{:^4}{:^10}{:^5}{:^8}{:^10}".format("排名", "学校名称", "省份", "总分", "培养规模"))
for i in range(num):
u = allUniv[i]
print("{:^4}{:^10}{:^5}{:^8}{:^10}".format(u[0], u[1], u[2], u[3], u[6]))
def main(num):
url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
html = getHTMLText(url)
soup = BeautifulSoup(html, "html.parser")
fillUnivList(soup)
printUnivList(num)
main(10)
```
这样就可以避免数组越界的问题了。
阅读全文