使用python写一个爬虫脚本
时间: 2024-06-09 19:05:25 浏览: 194
手把手教你写python爬虫
5星 · 资源好评率100%
好的,我们可以使用 Python 写一个爬虫脚本。
首先,我们需要安装相关的库,如 Requests 和 BeautifulSoup。接下来,我们可以使用 Requests 库向目标网站发送请求,获取网页的 HTML 源代码。
接下来,我们可以使用 BeautifulSoup 解析 HTML 源代码,以便提取有用的信息。
例如,我们可以提取所有的标题:
```
import requests
from bs4 import BeautifulSoup
url = "https://www.example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
titles = soup.find_all("h1")
for title in titles:
print(title.text)
```
这是一个简单的爬虫脚本,它向目标网站发送请求,获取 HTML 源代码,并解析所有的 h1 标题。
希望这对您有所帮助!
阅读全文