用python写一个爬虫代码
时间: 2023-03-13 09:27:07 浏览: 50
好的,这是一个简单的 Python 爬虫代码示例:
```
import requests
from bs4 import BeautifulSoup
# 网站地址
url = 'http://www.example.com'
# 发送 HTTP 请求
response = requests.get(url)
# 解析 HTML 网页
soup = BeautifulSoup(response.text, 'html.parser')
# 提取网页中的所有链接
links = soup.find_all('a')
# 遍历所有链接
for link in links:
# 打印链接的文本内容和对应的 URL
print(link.text, link['href'])
```
在这段代码中,我们使用了 Python 的 `requests` 库来发送 HTTP 请求,使用了 `BeautifulSoup` 库来解析 HTML 网页,然后使用了 `find_all()` 方法来提取网页中的所有链接。
这只是一个简单的爬虫示例,你可以根据自己的需求来改进这段代码,例如,你可以使用正则表达式来筛选特定的链接,或者使用多线程来加快爬取速度等。