Python爬虫入门教程：requests与urllib2实战
需积分: 50 99 浏览量
更新于2024-09-07
收藏 1.68MB PDF 举报
“爬虫学习资料，包括requests库和lxml库的使用，以及关于如何爬取百度图片的详细教程。”
在爬虫技术中，Python语言是常用的选择，尤其结合requests和lxml这两个强大的库，可以高效地抓取和处理网络数据。requests库是爬虫中的利器，它使得发送HTTP请求变得极其简单。通过`requests.get()`或`requests.post()`方法，我们可以轻松地获取网页内容或模拟表单提交。
requests库的基本用法如下：
1. 获取网页内容：
```python
import requests
response = requests.get('http://www.baidu.com')
print(response.text)
```
`response`对象包含了服务器的响应，`response.text`则提供了网页的文本内容。
2. 发送POST请求，用于模拟登录等操作：
```python
values = {"username": "your_username", "password": "your_password"}
data = urllib.parse.urlencode(values)
url = "https://login.example.com"
request = requests.Request(url, data=data)
response = requests.Session().send(request)
print(response.text)
```
这里使用了`requests.Request()`来构建请求，并通过`requests.Session().send()`发送POST请求。
lxml库则是Python的一个XML和HTML解析库，它提供了高效的解析和操作XML、HTML文档的能力。使用lxml，我们可以方便地提取所需信息：
1. 解析HTML文档：
```python
from lxml import etree
html = """
<html>
<body>
<h1>Title</h1>
<p>Paragraph</p>
</body>
</html>
"""
parser = etree.HTMLParser()
tree = etree.fromstring(html, parser)
title = tree.xpath('//h1/text()')[0]
print(title) # 输出: Title
```
2. 使用CSS选择器提取信息：
```python
selector = etree.HTMLParser(recover=True, encoding='utf-8')
tree = etree.fromstring(response.content, selector)
titles = tree.cssselect('h1.title')
for title in titles:
print(title.text)
```
在爬取百度图片的过程中，通常需要识别和处理JavaScript动态加载的内容，可能需要用到如Selenium这样的工具来模拟浏览器行为。同时，为了避免IP被封禁，可能需要使用代理IP，或者使用延时策略（如time.sleep()）来控制请求频率。
在实际操作中，爬虫还需要考虑反爬虫策略，如User-Agent伪装、Cookie管理、登录验证等。对于大规模爬取，可能需要使用Scrapy框架，它提供了更完整的爬虫项目管理结构。
爬虫学习涵盖了HTTP协议理解、网页解析、数据提取、异常处理等多个方面，而requests和lxml是实现这些功能的重要工具。通过深入学习和实践，我们可以构建出高效稳定的爬虫程序，实现对网络数据的有效抓取和分析。
爬虫
爬虫利器
requests：http://docs.python-requests.org/zh_CN/latest/user/quickstart.html
lxml：https://lxml.de/
文章
爬虫简而言之就是把网页下载下来或者构造信息发给后台从而得到自己想要的东西，当然，下载网页是最简单的方
式，看如下案例，这只是利用urlib2把百度首页下载下来，那么既然已经下载，那么接下来的事情就简单了，可以
用最简单的正则表达式去解析网页，从而获取自己想要的东西。当然，解析网页还有其他方式，文章后续会讲到。
1. urllib2
首先我们调用的是urllib2库里面的urlopen方法，传入一个URL，这个网址是百度首页，协议是HTTP协议，当然你
也可以把HTTP换做FTP,FILE,HTTPS 等等，只是代表了一种访问控制协议，urlopen一般接受三个参数，它的参数
如下：
第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。
第二三个参数是可以不传送的，data默认为空None，timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT
第一个参数URL是必须要传送的，在这个例子里面我们传送了百度的URL，执行urlopen方法之后，返回一个
response对象，返回信息便保存在这里面。
构造Post请求，模拟登陆
import urllib2
response = urllib2.urlopen("http://www.baidu.com")
print response.read()
urlopen(url, data, timeout)
import urllib
import urllib2
values = {"username":"1016903103@qq.com","password":"XXXX"}
data = urllib.urlencode(values)
url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()
下载后可阅读完整内容，剩余8页未读，立即下载
114 浏览量
105 浏览量
点击了解资源详情
189 浏览量
609 浏览量
106 浏览量
261 浏览量
117 浏览量
209 浏览量
冷夏LX
- 粉丝: 871
我的内容管理
展开
最新资源
- 富文本编辑器图片获取与缩略图设置方法
- 亿图画图工具：便捷流程图设计软件
- C#实现移动二次曲面拟合法在DEM内插中的应用
- Symfony2中VreshTwilioBundle：Twilio官方SDK的扩展包装器
- Delphi调用.NET DLL的Win32交互技术解析
- C#基类库大全：全面解读.NET类库与示例
- 《计算机应用基础》第2版PPT教学资料介绍
- VehicleHelpAPI正式公开：发布问题获取使用权限
- MATLAB车牌自动检测与识别系统
- DunglasTorControlBundle：Symfony环境下TorControl的集成实现
- ReactBaiduMap：打造React生态的地图组件解决方案
- 卡巴斯基KEY工具：无限期循环激活解决方案
- 简易绿色版家用FTP服务器：安装免、直接配置
- Java Mini Game Collection解析与实战
- 继电器项目源码及使用说明
- WinRAR皮肤合集：满足不同风格需求
