生成代码:手机抓取页面
时间: 2024-10-18 13:13:59 浏览: 4
生成代码用于抓取网页通常涉及到网络爬虫技术,在Python中,我们可以使用像BeautifulSoup、Scrapy这样的库来辅助完成这项任务。这里是一个简单的例子,使用requests库获取HTML内容,然后BeautifulSoup解析它:
```python
import requests
from bs4 import BeautifulSoup
def fetch_webpage(url):
# 发送HTTP请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取需要的数据,例如所有链接
links = [a['href'] for a in soup.find_all('a', href=True)]
return links
else:
print(f"Failed to fetch page. Status code: {response.status_code}")
return None
# 示例使用
url_to_crawl = "https://example.com"
page_links = fetch_webpage(url_to_crawl)
if page_links:
print("抓取到的页面链接:", page_links)
else:
print("抓取失败")
阅读全文