使用爬虫帮我写一个抓取网页脚本
时间: 2023-05-30 11:07:28 浏览: 138
抓取网页的脚本可以使用Python语言编写,使用requests和beautifulsoup库来实现。
以下是一个简单的例子,可以抓取指定网页的标题和正文:
```
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.title.string
content = soup.body.text
print('Title:', title)
print('Content:', content)
```
在这个例子中,先使用requests库发送GET请求获取网页的HTML代码,然后使用BeautifulSoup库解析HTML代码,提取出标题和正文。最后将结果打印出来。
需要注意的是,如果要抓取的网页需要登录或者有反爬机制,需要进行一些额外的处理。
阅读全文