写一段爬取http://sef.xjtu.edu.cn/szdw/jszy.htm网站里超链接和对应标题的代码
时间: 2023-12-23 11:03:08 浏览: 82
理光1811l/2011ld复印机维修手册
4星 · 用户满意度95%
好的,以下是代码示例:
```python
import requests
from bs4 import BeautifulSoup
url = 'http://sef.xjtu.edu.cn/szdw/jszy.htm'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
links = []
titles = []
for a in soup.find_all('a'):
link = a.get('href')
title = a.get_text()
links.append(link)
titles.append(title)
print(links)
print(titles)
```
这段代码使用了`requests`和`BeautifulSoup`库来对目标网站进行爬取和解析。我们首先定义了目标 URL,然后使用`requests.get()`方法发送一个 GET 请求,将响应内容保存到`response`变量中。
接着,我们使用`BeautifulSoup`库将`response.text`转化为 BeautifulSoup 对象。我们遍历所有的超链接`<a>`标签,并使用`get()`方法获取链接地址和标签文本。最后,我们将链接地址和标签文本分别存储到`links`和`titles`数组中,并将它们输出。
希望这段代码能够帮到你,如果你有其它问题或疑问,可以继续问我。
阅读全文