用Python写一个简单的网页爬虫代码
时间: 2024-05-02 19:20:01 浏览: 60
我可以回答这个问题。以下是一个简单的Python网页爬虫代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
for link in soup.find_all('a'):
print(link.get('href'))
```
这个代码使用了requests库和BeautifulSoup库来获取和解析网页内容,并打印出网页中所有链接的地址。
相关问题
用Python写一个爬虫代码
很高兴能够回答你的问题。Python爬虫代码的基础知识包括:使用HTTP/HTTPS请求获取网页、使用正则表达式解析网页、使用XPath解析网页以及存储爬取的数据。具体的编写方法可以参考一些教程,比如莫烦Python的爬虫教程,也可以参考各种网上的资源。
python 简单的爬虫代码
爬虫(Spider)是一种用于自动抓取网站信息的程序。下面是一个简单的 Python 爬虫的例子:
```python
import requests
def crawl(url):
# 发送 HTTP 请求
response = requests.get(url)
# 获取网页内容
html = response.text
# 处理网页内容
# ...
# 开始爬取
crawl('http://www.example.com')
```
上面的代码使用了 `requests` 库来发送 HTTP 请求,并获取响应内容。然后,我们就可以对网页内容进行处理了。
当然,这只是一个简单的例子,实际的爬虫代码可能会更复杂一些。但是,上面的代码已经可以让你对 Python 爬虫有一个基本的了解。
阅读全文