给我一个python网页爬虫代码
时间: 2024-06-08 10:06:53 浏览: 15
以下是一个基本的 Python 网页爬虫代码:
```python
import requests
from bs4 import BeautifulSoup
# 请求页面
url = "https://www.example.com"
response = requests.get(url)
# 解析页面
soup = BeautifulSoup(response.text, "html.parser")
# 找到需要的信息
title = soup.title.text
links = [link.get("href") for link in soup.find_all("a")]
# 输出结果
print("Title: ", title)
print("Links: ", links)
```
上述代码使用了 requests 库发出 HTTP 请求,BeautifulSoup 库解析 HTML 页面。你可以根据自己的需要对代码进行修改和优化。
相关问题
给我一个python网页爬虫代码,关键词可以自定义的
好的,以下是一个简单的python网页爬虫代码,可以根据自定义的关键词搜索百页面并将搜索结果打印出来:
```python
import requests
from bs4 import BeautifulSoup
def search(keyword):
url = 'https://www.baidu.com/s'
params = {'wd': keyword}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers, params=params)
soup = BeautifulSoup(response.text, 'html.parser')
results = soup.find_all('h3', {'class': 't'})
for result in results:
print(result.a.text)
search('Python爬虫')
```
这个代码使用了requests和BeautifulSoup库,通过requests库发送GET请求获取搜索结果页面,然后使用BeautifulSoup库解析页面并找出所有标题为h3且class为t的元素,打印出其下的a标签的文本内容。你可以自定义搜索的关键词,比如这里的'Python爬虫'。
给我提供一个python爬虫的代码
好的。
这是一个简单的 Python 爬虫代码,它可以爬取一个网站的所有链接:
```
import requests
from bs4 import BeautifulSoup
def crawl(url):
# 获取网页内容
page = requests.get(url)
# 创建 BeautifulSoup 对象
soup = BeautifulSoup(page.text, 'html.parser')
# 查找所有链接
links = soup.find_all('a')
# 遍历链接
for link in links:
# 提取链接文本和链接地址
text = link.text
href = link.get('href')
# 打印链接文本和链接地址
print(text, href)
# 爬取网站链接
crawl('https://www.example.com/')
```
希望这对你有帮助。
相关推荐
![ipynb](https://img-home.csdnimg.cn/images/20210720083646.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![none](https://img-home.csdnimg.cn/images/20210720083646.png)