用python写一个面向对象的爬虫类

好的，下面是一个面向对象的爬虫类的Python代码示例：

import requests

class WebCrawler:
  def __init__(self, url):
    self.url = url
  
  def download_html(self):
    response = requests.get(self.url)
    if response.status_code == 200:
      html = response.text
      return html
    else:
      return None

你可以通过实例化这个类，并调用其中的下载方法来获取指定网页的HTML文档。例如：

crawler = WebCrawler('https://www.baidu.com')
html = crawler.download_html()
print(html)

可得到百度首页的HTML代码。请注意，这只是一个简单的示例，实际使用时需要考虑更多实现细节，如异常处理、编码处理等。

相关问题

用面向对象写一个python爬虫

好的，非常感谢您的提问。以下是一个使用面向对象编写的Python爬虫的示例代码：

import requests
from bs4 import BeautifulSoup

class WebScraper:
    def __init__(self, url):
        self.url = url
        self.data = {}

    def scrape(self):
        response = requests.get(self.url)
        soup = BeautifulSoup(response.content, 'html.parser')
        # 填写你的爬虫逻辑...
        self.data = {'example_key': 'example_value'}
    
    def get_data(self):
        return self.data

url = 'https://www.example.com'
scraper = WebScraper(url)
scraper.scrape()
print(scraper.get_data())

在这段代码中，我们创建了一个名为“WebScraper”的类，它具有URL属性和数据字典属性。我们定义了一个名为“scrape”的方法，它将使用Requests和BeautifulSoup库执行实际的网页爬取，并通过填充数据字典属性来存储数据。最后，我们定义了一个名为“get_data”的方法，它允许我们检索爬取到的数据。我们可以使用这个类来创建并运行一个Python爬虫，以提取有关所选网站的信息。

希望这个示例可以帮助您理解如何用面向对象的方式来编写一个基本的Python爬虫。如果您有任何进一步的问题，请随时联系我！

用python面向对象写个爬虫示例

好的，以下是一个用 Python 面向对象编写的简单爬虫示例：

import requests
from bs4 import BeautifulSoup

class Spider:
    def __init__(self, url):
        self.url = url
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
        self.html = ''

    def get_html(self):
        try:
            response = requests.get(self.url, headers=self.headers)
            response.raise_for_status()
            self.html = response.text
        except Exception as e:
            print(e)

    def parse_html(self):
        soup = BeautifulSoup(self.html, 'html.parser')
        links = []
        for link in soup.find_all('a'):
            links.append(link.get('href'))
        return links

if __name__ == '__main__':
    url = 'https://www.baidu.com'
    spider = Spider(url)
    spider.get_html()
    links = spider.parse_html()
    for link in links:
        print(link)

以上代码实现了一个爬虫类 Spider，其中包含了获取网页 HTML 内容和解析 HTML 内容的方法。在初始化时，需要传入要爬取的 URL。在获取 HTML 内容时，使用 requests 库发起 GET 请求，并添加了 User-Agent 头以避免被网站屏蔽。在解析 HTML 内容时，使用 BeautifulSoup 库进行解析，并返回所有链接。

在主函数中，创建 Spider 类的实例，调用 get_html 方法获取 HTML 内容，然后调用 parse_html 方法解析 HTML 内容并返回链接。最后，遍历链接并打印出来。