用python写一个面向对象的爬虫类
时间: 2023-11-20 21:06:03 浏览: 106
用Python写爬虫
好的,下面是一个面向对象的爬虫类的Python代码示例:
```python
import requests
class WebCrawler:
def __init__(self, url):
self.url = url
def download_html(self):
response = requests.get(self.url)
if response.status_code == 200:
html = response.text
return html
else:
return None
```
你可以通过实例化这个类,并调用其中的下载方法来获取指定网页的HTML文档。例如:
```python
crawler = WebCrawler('https://www.baidu.com')
html = crawler.download_html()
print(html)
```
可得到百度首页的HTML代码。请注意,这只是一个简单的示例,实际使用时需要考虑更多实现细节,如异常处理、编码处理等。
阅读全文