python爬取搜索内容输出名称跟链接
时间: 2023-12-29 10:06:13 浏览: 29
以下是一个简单的Python爬虫程序,用于从百度搜索结果页面上提取结果名称和链接:
```python
import requests
from bs4 import BeautifulSoup
search_term = input("请输入要搜索的内容:")
url = "https://www.baidu.com/s"
params = {"wd": search_term}
response = requests.get(url, params=params)
soup = BeautifulSoup(response.text, "html.parser")
results = soup.find_all("div", class_="result")
for result in results:
title_element = result.find("h3", class_="t")
if title_element:
link_element = title_element.find("a")
if link_element:
title = link_element.text.strip()
link = link_element["href"].strip()
print(title)
print(link)
```
以上程序首先要求用户输入要搜索的内容,然后使用requests库向百度发送GET请求并传递搜索参数。接着,使用BeautifulSoup库对页面进行解析,并使用CSS选择器找到所有搜索结果的`<div>`元素。对于每个结果,程序查找标题元素的`<h3>`标签,然后在其中找到链接元素。如果找到了标题和链接元素,程序就输出它们的文本和链接。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)