import requests from bs4 import BeautifulSoup def getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "产生异常" def jiexi(html_doc): soup = BeautifulSoup(html_doc,"html.parser") links = soup.find_all('a') for link in links: print(link.name,link["nref"],link.get.next()) if __name__ == 'main': url = "https://wallhaven.cc/toplist?page=7" print(getHTMLText(url))
时间: 2024-04-27 08:21:18 浏览: 119
跟着崔庆才学爬虫2:requests库的使用
这段代码是用Python编写的,主要功能是从指定的网页上获取HTML页面内容,并且使用BeautifulSoup库解析HTML页面,提取其中的所有超链接,并输出超链接的名称、地址和文本内容。如果获取HTML页面内容失败,则返回字符串"产生异常"。其中,if __name__ == 'main': 表示当这个.py文件被作为主程序运行时,才会执行下面的代码。
阅读全文