用request爬取汕头大学官网
时间: 2024-04-05 20:29:36 浏览: 51
好的,以下是使用 Python 的 requests 库爬取汕头大学官网的示例代码:
```python
import requests
url = "https://www.stu.edu.cn/"
response = requests.get(url)
if response.status_code == 200:
print(response.text)
else:
print("请求出错,错误码为:", response.status_code)
```
你可以将上述代码保存为一个 .py 文件并运行,便可以得到汕头大学官网的 HTML 页面内容。需要注意的是,由于官网可能会存在反爬机制,所以在实际使用中可能需要添加一些反反爬措施。
相关问题
python用request爬取网页
很高兴回答您的问题。Python中的requests库是一个流行的用于向网站发送HTTP请求的库。您可以使用该库获取网页的内容并对其进行解析。以下是一个基本的示例代码:
```python
import requests
url = 'https://www.example.com'
response = requests.get(url)
print(response.content)
```
在这个示例中,我们首先导入了requests库,然后指定了要抓取的网站的URL,并使用requests.get()方法发送GET请求。该方法返回一个响应对象,我们可以使用response.content获取网页的内容。
希望能帮到您!
用request爬取微博热搜
好的,以下是用 Python requests 库爬取微博热搜的代码示例:
```python
import requests
url = 'https://s.weibo.com/top/summary?cate=realtimehot'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
print(response.text)
else:
print('请求失败')
```
注意:为了避免被微博反爬虫机制封禁,我们需要在请求头中添加 User-Agent,模拟浏览器访问。另外,微博热搜页面的 URL 可能会发生改变,需要及时更新代码中的 URL。
阅读全文