简单的python爬虫
时间: 2023-11-08 16:15:53 浏览: 26
好的,以下是一个简单的 Python 爬虫示例,爬取豆瓣电影 TOP250 的电影名和评分:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/top250'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
movie_list = soup.find_all('div', class_='hd')
rating_list = soup.find_all('span', class_='rating_num')
for i in range(len(movie_list)):
movie_name = movie_list[i].a.span.text.strip()
movie_rating = rating_list[i].text.strip()
print(f'{movie_name}: {movie_rating}')
```
以上代码使用 `requests` 库向豆瓣电影 TOP250 发送 GET 请求,获取网页源代码。然后使用 `BeautifulSoup` 库解析 HTML,获取电影名和评分。最后使用一个 for 循环打印出所有电影名和评分。
相关问题
简单python爬虫
当然,我可以帮你简单介绍一下Python爬虫的基础知识。Python爬虫是一种自动化获取互联网信息的技术,可以用来提取网页内容、下载文件、抓取数据等。
首先,你需要安装Python的爬虫库,比如常用的requests和BeautifulSoup库。你可以使用pip命令进行安装,比如运行以下命令:
```
pip install requests
pip install beautifulsoup4
```
接下来,你可以使用requests库发送HTTP请求来获取网页内容。例如,你可以使用以下代码发送一个GET请求,并获取网页内容:
```python
import requests
response = requests.get('http://example.com') # 将URL替换为你要爬取的网页地址
content = response.text # 获取网页内容
```
如果你需要解析HTML内容,可以使用BeautifulSoup库。以下是一个简单的示例,使用BeautifulSoup解析网页内容并提取标题:
```python
from bs4 import BeautifulSoup
soup = BeautifulSoup(content, 'html.parser')
title = soup.title.text # 获取网页标题
```
这只是一个简单的Python爬虫示例,你可以根据实际需求进行更复杂的操作。记得在爬取网页时要尊重网站的规则,遵守爬虫的道德准则。
希望这个简要的介绍对你有帮助!如果你有任何更具体的问题,请随时提问。
写一段简易python爬虫代码
当然可以! 下面是一段爬取网页标题的简单爬虫代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com' # 要爬取的网址
response = requests.get(url) # 发送请求
soup = BeautifulSoup(response.text, 'html.parser') # 使用beautifulsoup解析网页
title = soup.find('title').get_text() # 获取网页标题
print(title)
```
这段代码使用了 Python 的 requests 库和 bs4 (BeautifulSoup) 库,首先我们通过 requests 库发送一个 HTTP GET 请求到网站并获取返回的 HTML 页面内容,然后使用 bs4 库解析页面内容,最后通过 soup.find() 函数获取页面中的标题。
不过需要注意的是本段代码在非法网站使用或者爬取数据量太大时会涉及到违法问题,所以需要遵守相关法律法规,合理合法使用.