pycharm 中通过python代码来做静态爬虫的案例
时间: 2024-10-22 10:15:06 浏览: 18
python爬虫教程从入门到精通
在PyCharm中,Python是一种常见的选择来进行静态网站爬虫开发,因为Python有许多强大的库如BeautifulSoup、Scrapy、Requests等。这里是一个简单的静态网页爬虫的Python代码案例:
```python
# 导入必要的库
import requests
from bs4 import BeautifulSoup
# 定义目标URL
url = "https://www.example.com"
# 使用requests发送GET请求获取网页内容
response = requests.get(url)
# 判断请求是否成功
if response.status_code == 200:
# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到需要的数据元素,比如所有标题
titles = soup.find_all('h1')
# 遍历数据并打印
for title in titles:
print(title.text)
else:
print(f"请求失败,状态码:{response.status_code}")
#
阅读全文