用python写一个 爬取网站信息的代码

在Python中，爬取网站信息通常会用到`requests`库来进行网页请求，以及`BeautifulSoup`库来解析网页内容。以下是一个简单的示例代码，展示了如何使用这两个库来爬取一个网站的基本信息。

首先，确保你已经安装了`requests`和`bs4`（BeautifulSoup的库）。

import requests
from bs4 import BeautifulSoup

# 目标网站的URL
url = 'http://example.com'

# 发送HTTP GET请求
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 打印网页的title标签内容
    print(soup.title.string)
    
    # 也可以进一步提取其他信息，例如所有的链接
    for link in soup.find_all('a'):
        print(link.get('href'))
else:
    print('请求失败，状态码:', response.status_code)

这段代码首先导入了必要的模块，然后定义了目标网站的URL。通过`requests.get`函数发起请求，如果请求成功（状态码为200），则使用BeautifulSoup解析HTML内容，并打印出网页的标题。之后，代码还遍历了所有的`<a>`标签来获取并打印所有的链接地址。

需要注意的是，爬取网站信息时应当遵守网站的`robots.txt`规则，并尊重网站版权和隐私政策。频繁的请求或大规模爬取可能会对网站服务器造成负担，甚至可能会导致你的IP被封禁。在编写爬虫程序时，应当合理控制请求频率，并在可能的情况下，遵循网站的API使用规则。