scrapyd 获取所有运行中的爬虫
时间: 2024-05-19 20:10:44 浏览: 9
要获取 Scrapyd 中所有正在运行的爬虫,可以使用 Scrapyd API。Scrapyd API 允许您使用 HTTP 协议与 Scrapyd 交互,以获取有关 Scrapyd 中爬虫和任务的信息。以下是使用 Scrapyd API 获取所有正在运行的爬虫的步骤:
1. 首先,确保 Scrapyd API 已经启用并且可用。在 Scrapyd 的配置文件中,将 `bind_address` 属性设置为 `0.0.0.0`,并将 `http_port` 属性设置为 Scrapyd API 监听的端口(例如:6800)。
2. 然后,使用 Python 中的 `requests` 库向 Scrapyd API 发送请求,以获取所有正在运行的爬虫。示例代码如下:
```python
import requests
url = 'http://localhost:6800/listjobs.json?project=<your_project_name>&status=running'
response = requests.get(url)
data = response.json()
running_spiders = []
for job in data['jobs']:
running_spiders.append(job['spider'])
print(running_spiders)
```
在上面的代码中,我们向 Scrapyd API 发送了一个名为 `listjobs.json` 的请求,并指定了项目名称和任务状态为正在运行。然后,从响应中提取所有正在运行的爬虫名称,并将它们存储在一个列表中。
请确保将 `<your_project_name>` 替换为您 Scrapyd 项目的名称。
相关推荐
![.zip](https://img-home.csdnimg.cn/images/20210720083646.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![.zip](https://img-home.csdnimg.cn/images/20210720083646.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)