在pycharm写出分别使用urllib库和requests库,编写代码爬取广州理工学院官网,需要在url中附加姓名和学号的代码
时间: 2024-10-22 18:12:15 浏览: 13
pycharm里使用coolprop计算水和水蒸气物性源代码-可以反算物性.docx
在PyCharm中,你可以使用`urllib`库和`requests`库来实现基本的网页爬虫。这里我会给出两个示例,一个是使用`urllib`,另一个是使用`requests`。
首先,我们来看使用`urllib`的例子:
```python
import urllib.parse
import urllib.request
# 假设URL base 是 http://www.gdlu.edu.cn ,姓名是 name 和 学号是 student_id
base_url = "http://www.gdlu.edu.cn/search/"
params = {
"name": "name_value",
"student_id": "student_id_value"
}
# URL编码参数
encoded_params = urllib.parse.urlencode(params)
# 组合成完整的URL
url = base_url + "?" + encoded_params
# 使用urlopen发送请求
with urllib.request.urlopen(url) as response:
html_content = response.read().decode('utf-8')
# 这里需要解析HTML内容以获取你需要的信息
print(html_content)
```
接下来,使用`requests`库:
```python
import requests
# 同样,假设URL base 和 参数
base_url = "http://www.gdlu.edu.cn/search/"
params = {
"name": "name_value",
"student_id": "student_id_value"
}
# 构建带参数的完整URL
url = base_url.format(**params) # 如果URL中有占位符,可以使用format方法
response = requests.get(url)
# 获取响应数据
html_content = response.text
# 解析HTML内容获取信息
print(html_content)
```
这两个示例都是基础的GET请求,并未包含错误处理或复杂的数据解析。实际应用中可能需要根据具体的网站结构来调整代码。
阅读全文