python爬虫源码
时间: 2023-10-13 17:06:05 浏览: 154
81个Python爬虫源代码
当然,我可以为你提供一个简单的Python爬虫源码示例。以下是一个使用`requests`库的简单爬虫,用于获取指定网页的HTML内容:
```python
import requests
def crawl(url):
try:
response = requests.get(url)
if response.status_code == 200:
return response.text
else:
return None
except requests.exceptions.RequestException as e:
print(e)
return None
# 测试爬取百度首页的HTML内容
url = "https://www.baidu.com"
html = crawl(url)
if html:
print(html)
```
这段代码使用`requests.get`方法发送GET请求,获取指定URL的页面内容,并返回响应的HTML。如果请求成功(状态码为200),则返回HTML内容,否则返回None。在这个示例中,我们使用了百度首页作为测试目标。
阅读全文