python爬虫函数整理

Python爬虫通常包含以下几个基本步骤，并通过一些核心库如`requests`、`BeautifulSoup`、`Scrapy`等进行操作，这里简单介绍一下常见的爬虫函数整理：

1. **发送HTTP请求**：使用`requests.get()`或`requests.post()`等函数向目标网站发送请求，获取网页内容。

   import requests
   response = requests.get('http://example.com')

2. **解析HTML**：利用`BeautifulSoup`库解析HTML文档，提取所需数据。

   from bs4 import BeautifulSoup
   soup = BeautifulSoup(response.text, 'html.parser')
   data = soup.find_all('tag_name')  # 替换'tag_name'为你需要的标签名

3. **数据处理**：清洗和结构化数据，可能涉及到列表推导式、字典创建等。

   def process_data(element):
       return {key: element[key] for key in ['attribute1', 'attribute2']}
   parsed_data = [process_data(item) for item in data]

4. **存储数据**：将抓取的数据保存到文件、数据库或者CSV等格式。

   with open('output.txt', 'w') as f:
       f.write('\n'.join([str(item) for item in parsed_data]))

5. **异常处理**：捕获网络错误、解析错误等，提高程序的健壮性。

   try:
       response.raise_for_status()  # 检查请求状态码
   except requests.exceptions.RequestException as e:
       print(f"请求出错: {e}")

6. **设置代理和反爬机制**：如果遇到反爬措施，可以考虑使用代理IP或设置User-Agent等。

   import random
   proxies = {'http': 'http://' + random.choice(proxies_list)}
   response = requests.get(url, proxies=proxies)