python 采集百度搜索结果网址
时间: 2023-08-23 11:05:46 浏览: 147
python抓取百度搜索的数据
5星 · 资源好评率100%
以下是一个简单的 Python 代码示例,用于从百度搜索结果中采集网址:
```python
import requests
from bs4 import BeautifulSoup
query = input("请输入要搜索的关键词:") # 输入要搜索的关键词
url = f"https://www.baidu.com/s?wd={query}" # 构造搜索结果页面的 URL
response = requests.get(url) # 发送 HTTP 请求并获取响应
soup = BeautifulSoup(response.text, "html.parser") # 解析 HTML 页面
# 查找所有搜索结果的标题和链接
results = soup.find_all("h3", class_="t")
for result in results:
link = result.find("a").get("href")
print(link)
```
这个代码片段首先要求用户输入要搜索的关键词,然后构造搜索结果页面的 URL。接下来,它发送 HTTP 请求并获取响应,然后使用 BeautifulSoup 库解析 HTML 页面。最后,它查找所有搜索结果的标题和链接,并将它们打印到控制台上。
阅读全文
相关推荐
本文实例讲述了Python抓取百度查询结果的方法。分享给大家供大家参考。具体实现方法如下:
#win python 2.7.x
import re,sys,urllib,codecs
xh = urllib.urlopen(http://www.baidu.com/s?q1=123&rn=100).read().decode('utf-8')
rc = re.compile(r'.*?)',re.I)
match = rc.finditer(xh)
rcr = re.compile(r'<[^>