python爬虫requests实例
时间: 2023-08-27 16:15:43 浏览: 52
好的,以下是一个简单的使用 Python requests 库进行网页爬取的示例代码:
```python
import requests
url = "https://www.baidu.com"
response = requests.get(url)
print(response.text)
```
上述代码中,我们首先导入 requests 库,然后指定要爬取的网页 URL,使用 requests.get() 方法获取页面内容,最后打印出页面的 HTML 内容。
需要注意的是,有些网站会对爬虫进行限制或封禁,因此在进行网页爬取时需要注意遵守相关法律规定和网站的使用协议。
相关问题
网页python爬虫项目实例
以下是一个网页Python爬虫项目的示例:
```python
# 导入所需的库
import requests
# 爬取强大的BD页面,打印页面信息
response = requests.get("http://www.baidu.com")
response.encoding = response.apparent_encoding
print("状态码:", response.status_code)
print(response.text)
# get方法实例
response = requests.get("http://httpbin.org/get")
print(response.status_code)
print(response.text)
# post方法实例
response = requests.post("http://httpbin.org/post")
print(response.status_code)
print(response.text)
# put方法实例
response = requests.put("http://httpbin.org/put")
print(response.status_code)
print(response.text)
```
这个示例中,我们首先使用了`requests`库来导入爬虫功能。然后,我们使用`get`方法爬取了百度页面,并打印了页面信息。接下来,我们展示了`get`方法、`post`方法和`put`方法的实例,分别访问了不同的网址,并打印了状态码和响应内容。你可以根据自己的需求修改这些示例来进行更复杂的网页爬取。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [Python学习 | 10个爬虫实例](https://blog.csdn.net/weixin_39310693/article/details/120401296)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]
python爬虫抢票实例代码
以下是一个简单的Python爬虫抢票的示例代码,以12306网站为例:
```python
import requests
from bs4 import BeautifulSoup
# 目标URL
url = 'https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=2022-12-01&leftTicketDTO.from_station=SHH&leftTicketDTO.to_station=BJP&purpose_codes=ADULT'
# 发送HTTP请求并获取页面内容
response = requests.get(url)
data = response.json()
# 解析JSON数据,提取车票信息
tickets = data['data']['result']
for ticket in tickets:
info = ticket.split('|')
train_no = info[3] # 车次号码
from_station = info[6] # 出发站
to_station = info[7] # 到达站
start_time = info[8] # 出发时间
end_time = info[9] # 到达时间
duration = info[10] # 历时
# 过滤条件,假设只需要筛选出高铁车次
if 'G' in train_no:
print(f'车次:{train_no},出发站:{from_station},到达站:{to_station},出发时间:{start_time},到达时间:{end_time},历时:{duration}')
# 其他操作,如自动填写表单、点击按钮等,请根据实际情况使用selenium库或其他相关库来完成。
```
注意:以上代码只是一个简单示例,具体的实现方式和所需的库可能因不同的网站而异。在实际应用中,您需要根据目标网站的页面结构和请求方式进行相应的调整和处理。
希望对您有所帮助!如果您还有其他问题,请随时提问。