用python 爬取某个网页 150行代码
时间: 2024-12-16 15:25:16 浏览: 4
用python爬取网页并导出为word文档.docx
在Python中爬取网页,通常我们会使用一些库如requests和BeautifulSoup。下面是一个基本的150行左右的代码示例,用于抓取HTML内容并提取信息:
```python
import requests
from bs4 import BeautifulSoup
# 请求URL
url = 'http://example.com' # 替换成你要抓取的网页地址
# 发送GET请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析响应内容
soup = BeautifulSoup(response.text, 'html.parser')
# 获取前150行的HTML代码
first_150_lines = [str(line) for line in soup.prettify()[:150]]
# 打印或保存数据
for i, line in enumerate(first_150_lines):
print(f"第{i+1}行: {line}")
else:
print("请求失败")
阅读全文