app.py中爬取一个页面后,再爬取一个页面,用@app.route方法
时间: 2024-09-18 22:01:04 浏览: 35
在Flask框架中,`app.py`通常用于定义Web应用的主要路由和功能。如果你想要编写一个简单的爬虫应用程序,你可以利用Flask的路由装饰器`@app.route()`来处理HTTP请求,比如爬取网页。
当你想要爬取一个页面,你可能会创建一个函数,例如:
```python
from flask import Flask, request
import requests
app = Flask(__name__)
def fetch_page(url):
response = requests.get(url)
if response.status_code == 200:
return response.text
else:
return "Error fetching page"
@app.route('/scrape', methods=['GET'])
def scrape_first_page():
# 使用第一个URL
first_url = 'http://example.com/page1'
result = fetch_page(first_url)
return result
# 类似地,你可以添加另一个路由来爬取第二个页面
@app.route('/scrape/second', methods=['GET'])
def scrape_second_page():
second_url = 'http://example.com/page2'
result = fetch_page(second_url)
return result
if __name__ == '__main__':
app.run()
```
在这个例子中,`/scrape`和`/scrape/second`都是`app.route`下的路径。当你访问这些URL时,相应的`fetch_page`函数会被调用,爬取指定的页面内容。
阅读全文