网络爬虫python基本代码

以下是一个简单的Python网络爬虫的基本代码，它使用了requests和BeautifulSoup库来获取并解析网页内容：

import requests
from bs4 import BeautifulSoup

url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 打印网页标题
print(soup.title.string)

# 打印所有链接
for link in soup.find_all('a'):
    print(link.get('href'))

这个代码首先使用requests库获取指定网页的内容，然后使用BeautifulSoup库将网页内容解析为HTML格式。接着，我们可以使用BeautifulSoup提供的各种方法来获取和处理网页中的各种元素，例如获取网页标题和所有链接。