ps -ef |grep tmp

时间: 2023-10-12 08:05:16 浏览: 89

shell多进程处理多图像

Brief 最近做一个目标检测项目的时候，一共有接近6000张高分辨率的图片，为了对图片的运算得到一个好的检测结果，采用先对图片进行图片增强的工作，但是增强的工作对一张图片处理的时间很长，一个晚上处理了130张，这么计算可能处理完整个文件夹需要16天，对于急于看到结果的我来说，是不能容忍的，因此采用shell文件进行程序并发，每一个程序处理30张，大概需要200个并行程序，希望服务器不会宕机0.0. 大体思想通过控制文件名来控制文件数量，通过shell文件调用处理图像增强程序，同时传入需要处理的文件名称，deal.sh如下： #!main.sh主体 #!/bin/sh tmp_=30 for 在IT行业中，尤其是在数据分析、机器学习或人工智能领域，高效地处理大量数据是至关重要的。本文主要探讨了如何利用shell脚本实现多进程处理大量图像，以加速图像增强工作，提高工作效率。问题的背景是目标检测项目，涉及到近6000张高分辨率的图像。由于每张图片的增强过程耗时较长，单线程处理速度无法满足需求。为了解决这个问题，开发者选择了使用shell脚本来实现多进程并发执行，以此来缩短整体的处理时间。在shell脚本编程中，多进程处理可以通过fork()系统调用或者使用&符号在后台启动进程。在这个案例中，`deal.sh`脚本的核心思路是通过循环和并发来分批处理图像。脚本中的核心代码如下： ```bash #!/bin/bash tmp_=30 for ((i=170; i<=5543; i=i+tmp_)) do python test.py $i $tmp_ & done exit 1 ``` 这段脚本定义了一个变量`tmp_`，表示每个进程处理的图片数量（这里为30）。然后通过for循环，每次迭代将`test.py`这个Python程序以背景模式启动（即添加`&`），并将当前的图片编号`$i`和处理的图片数量`$tmp_`作为参数传递给Python脚本。这样，shell会同时启动多个进程，每个进程负责处理一部分图片。在`test.py`这个Python程序中，可以根据接收到的参数来确定要处理的图片范围。例如，如果`sys.argv[1]`和`sys.argv[2]`分别代表起始和结束的图片编号，可以检查当前行的图片ID是否在处理范围内，以决定是否进行处理。然而，增加并发度的同时，也需要注意服务器资源的承载能力。当每个进程处理的图片数量减少到15时，虽然处理速度显著提升，但可能会导致CPU占用过高，从而引起服务器性能问题甚至崩溃。为了避免这种情况，需要合理控制并发进程的数量，平衡处理速度与系统负载。在遇到需要终止特定进程的情况时，可以使用`ps`命令配合`grep`和`xargs`来查找并终止指定进程。例如，如果要杀掉所有名为`python`的进程，可以使用以下命令： ```bash ps -ef | grep python | grep -v grep | cut -c 9-15 | xargs kill -s 9 ``` 这个命令首先列出所有进程（`ps -ef`），然后筛选出包含`python`的行（`grep python`），接着排除掉grep本身（`grep -v grep`），再提取进程ID（`cut -c 9-15`），最后使用`xargs`将这些ID传递给`kill -s 9`，发送信号9（SIGKILL）来强制结束这些进程。通过shell脚本的多进程处理，我们可以有效地加速大量图像的处理工作，但同时也需要考虑服务器资源的限制和平衡。在实际应用中，根据任务特性和服务器配置调整进程数量，以及合理监控和管理进程，是实现高效并行处理的关键。

ps -ef | grep tmp是一条Linux命令，用于查找正在运行的进程中包含"tmp"关键字的进程。具体操作是通过ps -ef列出所有进程，然后使用管道符(|)将结果传递给grep命令进行筛选。grep tmp表示只显示包含"tmp"关键字的进程。123 #### 引用[.reference_title] - *1* [linux基础命令（一）](https://blog.csdn.net/m0_59278919/article/details/125320872)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Linux学习11_linux grep命令及ps -ef | grep java的含义](https://blog.csdn.net/wang_zhenwei/article/details/48730153)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

阅读全文

ps -ef |grep tmp

相关推荐

clickhouse单机安装步骤 - V1

ip-guard苹果系统Mac基础与客户端2020.pptx

[smsprev4@smspre1 PLCX]$ ps -ef | grep PLCXPro smsprev4 12358 22679 0 14:32 pts/18 00:00:00 grep --color=auto PLCXPro

吴天雄--linux练习题.doc

HP-UNIX 命令大全

HP-UX常用命令收集

HP-UX经典命令集

linux，AIX,HP-UNIX彻底删除crs

Process may have start already! pls check /tmp/./PLCXPro.pid. ，tmp目录下没有这个文件

怎么解决[gpadmin@lm2hdp02 bin]$ psql -p 2345 -d postgres psql: could not connect to server: No such file or directory Is the server running locally and accepting connections on Unix domain socket "/tmp/.s.PGSQL.2345"?

Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)

ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (111)

ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)怎么解决

mac电脑报错ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)

Unable to open socket file /proc/48118/root/tmp/.java_pid48118: target process 48118 doesn't respond within 10500ms or HotSpot VM not loaded

linux链接数据库报错：ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2) 我该怎么解决呢？

[smsprev4@smspre1 PLCX]$ ./PLCXPro & [1] 11564 [smsprev4@smspre1 PLCX]$ Process may have start already! pls check /tmp/./PLCXPro.pid.

weblogic.management.ManagementException: Unable to obtain lock on F:\Oracle\Middleware\Oracle_Home\user_projects\domains\base_domain10.8\servers\AdminServer\tmp\AdminServer.lok. Server may already be running

最新推荐

达梦数据库主备搭建指导文档

YOLO算法-城市电杆数据集-496张图像带标签-电杆.zip

(177406840)JAVA图书管理系统毕业设计(源代码+论文).rar

(35734838)信号与系统实验一实验报告

YOLO算法-椅子检测故障数据集-300张图像带标签.zip

Java毕业设计项目：校园二手交易网站开发指南

管理建模和仿真的文件

【MVC标准化：肌电信号处理的终极指南】：提升数据质量的10大关键步骤与工具

能否提供一个在R语言中执行Framingham数据集判别分析的详细和完整的代码示例？

Blaseball Plus插件开发与构建教程