PyTorch调用GPU

可以通过以下方式调用GPU：

import torch

# 检查是否有可用的GPU
if torch.cuda.is_available():
    device = torch.device("cuda")          
    print(f'There are {torch.cuda.device_count()} GPU(s) available.')
    print(f'Using GPU: {torch.cuda.get_device_name(0)}') # 选择第一个GPU
else:
    print('No GPU available, using CPU instead.')
    device = torch.device("cpu")

然后，将模型和数据移动到GPU上进行计算：

model.to(device)

inputs = inputs.to(device)
masks = masks.to(device)

outputs = model(inputs, attention_mask=masks)

相关问题

PyTorch 调用GPU

PyTorch 支持使用 GPU 进行计算，以加速模型训练和推理。下面是在 PyTorch 中使用 GPU 的基本步骤：

1. 检查是否有可用的 GPU：

import torch

if torch.cuda.is_available():
    device = torch.device("cuda")   # 使用 GPU
else:
    device = torch.device("cpu")    # 使用 CPU

2. 将模型和数据移动到 GPU 上：

model.to(device)   # 将模型移动到 GPU 上
data = data.to(device)   # 将数据移动到 GPU 上

3. 计算时使用 GPU：

output = model(data)   # 在 GPU 上计算模型输出

4. 将计算结果从 GPU 上移回 CPU：

output = output.to("cpu")   # 将输出从 GPU 上移回 CPU

注意，如果模型和数据在 CPU 上，则无需进行移动操作。同时，当使用 GPU 进行计算时，可能会出现内存不足的情况，此时可以考虑减小 batch_size 或者使用更高性能的 GPU。

pytorch调用GPU

### 配置和使用 PyTorch 的 GPU 加速

为了确保能够在 PyTorch 中利用 GPU 提升计算性能，需确认安装的是支持 CUDA 版本的 PyTorch 库[^1]。如果遇到 `AssertionError: PyTorch not compiled with CUDA enabled` 错误，则表明当前使用的 PyTorch 不支持 CUDA 功能。

#### 安装兼容 CUDA 的 PyTorch

推荐通过 Anaconda 来管理 Python 环境以及安装所需的库文件，因为这可以简化依赖关系处理并减少冲突的可能性[^3]。具体操作如下：

- 打开终端或命令提示符窗口；
- 创建一个新的 conda 虚拟环境（可选），例如命名为 pytorch_env：

  conda create -n pytorch_env python=3.9

- 激活创建好的虚拟环境：

  conda activate pytorch_env

- 使用 Conda 或 pip 命令安装带有 CUDA 支持的 PyTorch 发行版。这里假设计算机上已正确设置了 NVIDIA 显卡驱动程序及相应的 CUDA 工具包版本。对于特定 CUDA 和 cuDNN 组合的选择，请参照官方文档说明：

  # 对于最新稳定版且自动匹配合适的CUDA版本
  conda install pytorch torchvision torchaudio cudatoolkit -c pytorch
  
  # 或者指定确切版本号
  pip install torch==1.10.0+cu113 torchvision==0.11.1+cu113 torchaudio===0.10.0+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html

完成上述步骤之后，应该能够成功加载支持 GPU 计算能力的 PyTorch 实例。

#### 测试 GPU 是否可用

可以通过下面这段简单的代码片段验证是否已经正确启用了 GPU 加速功能：

import torch

if torch.cuda.is_available():
    device = 'cuda'
else:
    device = 'cpu'

print(f'Using {device} device')

tensor_example = torch.tensor([1., 2., 3.], device=device)
print(tensor_example)

# 将现有张量移动到GPU (仅当它最初位于CPU时有效)
another_tensor = another_tensor.to(device)

以上脚本会尝试检测系统内是否存在可用的 Nvidia GPU 设备，并打印出正在使用的设备名称；接着定义了一个小型张量对象并将之放置在选定的目标硬件之上运行[^2]。