如何在jupyter中查看cuda在电脑中下载的文件位置
时间: 2024-05-06 20:18:13 浏览: 111
在 Jupyter 中查看 CUDA 下载文件的位置,可以使用以下代码:
```python
!echo $HOME
```
这将输出当前用户的主目录路径。在该目录下,CUDA 下载的文件通常位于 `~/Downloads` 目录中。如果您在运行 CUDA 下载命令时指定了其他下载目录,则文件可能在该目录中。
相关问题
autodl在jupyterlab
### 使用 JupyterLab 和 AutoDL 进行自动深度学习模型训练和部署
#### 准备工作
为了在 JupyterLab 中使用 AutoDL 平台进行深度学习模型的训练和部署,需先完成必要的准备工作。这包括但不限于租用 GPU 资源并配置相应的开发环境。
- 租用 GPU:通过云服务提供商获取适合深度学习任务所需的计算资源[^1]。
```bash
# 假设已经登录到云服务平台,并选择了合适的GPU实例规格后启动实例
```
- 配置环境:安装 Python 解释器以及依赖库如 PyTorch 或 TensorFlow 等框架;设置 SSH 密钥以便安全访问远程主机上的 Jupyter Notebook/Lab 实例。
#### 安装与配置 JupyterLab
一旦完成了上述准备活动,则可以在所选的云计算环境中搭建 JupyterLab:
- 登录至已开通的服务节点;
- 更新系统包管理工具并安装 Anaconda 发行版来简化后续操作过程中的软件包管理和虚拟环境隔离问题解决方法[^4]。
```bash
sudo apt-get update && sudo apt-get install -y wget bzip2
wget https://repo.anaconda.com/archive/Anaconda3-2023.07-1-Linux-x86_64.sh
bash Anaconda3-2023.07-1-Linux-x86_64.sh -bfp /opt/anaconda3
export PATH="/opt/anaconda3/bin:$PATH"
source ~/.bashrc
```
- 创建新的 conda 环境用于支持特定版本的 Python 及其扩展组件集合(例如 CUDA Toolkit 版本匹配)。
```bash
conda create --name autodl_env python=3.9
conda activate autodl_env
pip install jupyterlab ipykernel torch torchvision torchaudio cudatoolkit=11.3 -f https://download.pytorch.org/whl/cu113/torch_stable.html
python -m ipykernel install --name=autodl_env
```
#### 启动 JupyterLab 服务并与本地浏览器建立连接
现在可以开始运行 JupyterLab 来加载 notebook 文件或编写新脚本来实现自动化机器学习流程了。
- 执行 `jupyter lab` 命令开启 Web 应用程序监听端口,默认情况下会打印出一个 token 字符串作为身份验证机制的一部分。
```bash
nohup jupyter lab --ip='*' --port=8888 --allow-root &
```
- 将生成的安全令牌复制下来备用,在个人电脑上打开终端窗口并通过 ssh tunneling 技术转发远端服务器开放出来的 HTTP 接口给本地客户端设备使用。
```bash
ssh -N -L localhost:8888:localhost:8888 username@your_remote_host_ip_address
```
此时应该能够在 web 浏览器地址栏输入 http://localhost:8888 访问到了位于云端的工作空间界面内开展进一步的研究探索工作了!
#### 开始训练模型
当一切就绪之后就可以着手构建自己的项目工程结构体并且导入数据集文件夹等内容项了。对于 YOLOv5 模型而言,可以通过克隆官方 GitHub 存储库的方式快速获得完整的代码基线[^2]。
```bash
git clone https://github.com/ultralytics/yolov5.git
cd yolov5/
```
按照之前提到过的指南说明准备好对应的图片样本及其标注信息之后便可以直接调用内置函数接口来进行迭代优化参数直至收敛为止。
```python
!python train.py --img 640 --batch 16 --epochs 50 --data custom_dataset.yaml --weights yolov5s.pt
```
#### 大规模预训练语言模型微调实践
如果计划调整大型预训练的语言模型比如 Qwen2.5 7B Instruct ,则需要额外注意下载过程中涉及到版权归属等问题。确保遵循 ModelScope 社区准则合法合规地取得授权许可后再行动作[^3]。
```python
from modelscope import snapshot_download
model_path = "Qwen/Qwen2.5-7B-Instruct" # 替换成实际路径
cache_path = "/root/autodl-tmp"
snapshot_download(model_path, cache_dir=cache_path)
```
jupyter 配置pytorch
要在Jupyter中配置Pytorch环境,可以按照以下步骤进行操作:
1. 首先,在Anaconda Prompt的(base)环境下,输入命令conda create -n Pytorch python=3.7来创建一个名为Pytorch的虚拟环境。确保已经安装好Anaconda和Python 3.7。使用conda env list命令可以查看已有的虚拟环境。
2. 然后,输入命令conda activate Pytorch来进入Pytorch环境。
3. 接下来,下载并安装与你电脑上的CUDA版本匹配的Pytorch。首先通过在命令行输入“nvidia-smi”来查看电脑上的CUDA版本。然后,前往Pytorch官网下载对应版本的Pytorch包,并将下载口令粘贴到Anaconda Prompt中进行安装。
4. 验证是否安装成功。在Pytorch环境下,输入python命令,然后输入import torch和torch.cuda.is_available()来检查Pytorch是否成功安装。如果结果是True,则表示安装成功。
5. 配置Jupyter环境。在Anaconda Prompt的(base)环境下,输入conda install nb_conda来安装nb_conda包。然后,在Pytorch环境下,依次输入conda install ipykernel和python -m ipykernel install --user --name pytorch --display-name “Pytorch”来配置Jupyter环境。
6. 最后,打开cmd并输入jupyter notebook来启动Jupyter。创建一个Pytorch的文件来测试配置是否成功。如果在Jupyter中显示空心圆,则表示配置成功。如果显示实心圆并弹出连接失败的错误信息,则需要在Pytorch环境下执行pip uninstall pyzmq命令卸载pyzmq,然后再执行pip install pyzmq==19.0.2命令安装pyzmq。重新启动Jupyter后,配置就完成了。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [Pytorch安装教程+jupyter配置Pytorch环境](https://blog.csdn.net/weixin_44820505/article/details/125761422)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
- *2* *3* [在pytorch中配置jupyter](https://blog.csdn.net/weixin_47131505/article/details/127233075)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]
阅读全文