yarn app -list 和yarn application -list 的区别
时间: 2023-09-04 18:12:39 浏览: 191
`yarn app -list` 和 `yarn application -list` 命令都是用于列出YARN中所有正在运行的应用程序的列表,但它们的输出格式稍有不同。
`yarn app -list` 命令输出的是一个简单的表格,其中包含应用程序的应用ID,应用程序名称,用户名称,队列名称,应用程序类型,应用程序状态和最终状态等信息。
`yarn application -list` 命令输出的是一个更详细的表格,其中包含应用程序的应用ID,用户名称,应用程序名称,应用程序类型,队列名称,启动时间,结束时间,持续时间,应用程序状态和最终状态等信息。
因此,如果你想要一个更详细的应用程序列表,包括应用程序的开始和结束时间以及持续时间等信息,你应该使用 `yarn application -list` 命令。如果你只需要一个简单的应用程序列表,那么 `yarn app -list` 命令可能更适合你。
相关问题
python监听提交到yarn任务的状态和进度,并实时写入redis
可以使用Python的yarn-api-client库来监听提交到yarn任务的状态和进度,并实时写入redis。以下是一个示例代码:
```python
from yarn_api_client import ApplicationMaster, HistoryServer
import redis
# Connect to Redis
r = redis.Redis(host='localhost', port=6379, db=0)
# Connect to YARN Application Master
am = ApplicationMaster('http://yarn-app-master:8088')
# Get list of running applications
apps = am.cluster_applications(state='RUNNING')
# Loop through running applications
for app in apps:
# Get application ID
app_id = app['id']
# Get application state and progress
state = am.application_state(app_id)
progress = am.application_progress(app_id)
# Write state and progress to Redis
r.set(app_id + ':state', state)
r.set(app_id + ':progress', progress)
```
这段代码会连接到Redis,并使用yarn-api-client库连接到YARN Application Master。然后,它会获取正在运行的应用程序列表,并循环遍历每个应用程序。对于每个应用程序,它会获取应用程序的ID、状态和进度,并将它们写入Redis。
yarn指令查看job
你可以使用以下命令来查看 Yarn 上的 Job:
1. 查看正在运行的 Job:
```
yarn application -list
```
这个命令会列出当前正在运行的所有 Job。
2. 查看已经完成的 Job:
```
yarn application -list -appStates FINISHED
```
这个命令会列出所有已经完成的 Job。
3. 查看某个 Job 的详细信息:
```
yarn application -status <application ID>
```
其中 `<application ID>` 是你要查看详细信息的 Job 的 ID。这个 ID 可以在 Yarn UI 中找到。
4. 查看某个 Job 的日志:
```
yarn logs -applicationId <application ID>
```
其中 `<application ID>` 是你要查看日志的 Job 的 ID。这个 ID 可以在 Yarn UI 中找到。
以上命令都会输出相关的信息。如果你想将信息输出到文件中,可以使用以下命令:
```
yarn application -status <application ID> > <info file path>
```
或者
```
yarn logs -applicationId <application ID> > <log file path>
```
其中 `<info file path>` 或 `<log file path>` 是你要输出信息的文件路径。
阅读全文