Python 爬虫怎么写

### 回答1：
Python 爬虫是指使用 Python 语言编写的程序，用于从网站或其他在线资源中提取数据。

写 Python 爬虫的步骤如下：

1. 导入所需的库，例如 requests 库用于发送 HTTP 请求，BeautifulSoup 库用于解析 HTML/XML 文档。

2. 设定要爬取的网站 URL。

3. 发送 HTTP 请求到所设定的 URL，并获取响应。

4. 对响应内容进行解析，提取所需的数据。

5. 对提取到的数据进行处理，例如存储到本地文件或数据库中。

下面是一个简单的 Python 爬虫的示例代码，爬取网站首页的 HTML 内容：

import requests

URL = "http://www.example.com"
response = requests.get(URL)
html_content = response.text
print(html_content)

此示例代码使用 requests 库发送 HTTP GET 请求到所设定的 URL，并将响应内容保存到变量 `html_content` 中。

注意：在写 Python 爬虫时，要遵守网站的机器人协议（robots.txt），并尽可能不要给网站带来额外负载。

### 回答2：
Python爬虫是一种利用Python编程语言编写的程序，用于自动从互联网上获取数据。下面是编写Python爬虫的基本步骤：

1. 导入相关库：首先，需要导入一些Python的库，例如requests、beautifulsoup等，这些库可以帮助我们发送HTTP请求，解析HTML等操作。

2. 发送HTTP请求：使用requests库可以轻松发送HTTP请求并获取相应的内容。可以发送GET请求或POST请求，具体取决于要爬取的网站需要什么类型的请求。

3. 解析HTML并提取数据：使用beautifulsoup库可以很方便地解析HTML内容，并提取所需的数据。通过分析网页的标签、属性等信息，可以定位到想要获取的数据所在的位置。

4. 数据处理和存储：获取到的数据可能需要进行一些清洗和处理，例如去除无用的标签和空格，提取出关键信息等。可以使用Python的字符串处理方法和正则表达式等工具进行数据处理。然后将数据存储到本地文件或数据库中，便于后续的分析和使用。

5. 遍历多个页面：如果需要爬取多个页面的数据，可以使用循环或递归的方法来遍历不同的页面。可以根据网页的链接规律来生成下一个页面的URL，并重复上述步骤。

6. 添加适当的延时和反爬措施：为了避免给网站服务器带来过大的压力，可以在每次请求之间添加适当的延时，避免频繁请求。同时，一些网站为了防止被爬虫程序抓取，可能会采取反爬措施，例如添加验证码、设置请求频率限制等，需要根据具体情况添加相应的处理方法。

7. 异常处理：在爬取过程中，可能会遇到一些异常情况，例如网络连接超时、页面解析错误等。可以使用try-except语句来捕获和处理这些异常，保证程序的稳定性和健壮性。

通过以上步骤，就可以编写出一个基本的Python爬虫程序了。值得注意的是，爬取网页数据应符合相关法规和道德伦理，不要用于非法用途。另外，需要尊重网站的爬虫规则，不要给目标网站带来过大的负担。