mlx-lm gpu

### 使用 mlx-lm 配置 GPU

对于希望利用 Mac 设备上 Apple Silicon 架构的内置 GPU 加速机器学习任务的开发者来说，配置 `mlx-lm` 是一种有效的方式。具体而言，在支持 GPU 的 Mac M1/M2 上安装并使用 `mlx-lm` 可以为深度学习提供必要的硬件加速。

#### 安装依赖库
首先需要确保环境中已经正确设置了 Python 和 pip 工具链。接着可以通过 Pip 安装命令来获取最新的 `mlx-lm` 库版本：

pip install mlx-lm

此过程会自动拉取所有必需的依赖项，并完成软件包的初始化工作[^2]。

#### 检查 GPU 支持状态
一旦成功安装了 `mlx-lm` 后，建议先验证当前环境是否能够识别到可用的 GPU 资源。这一步骤非常重要，因为它直接影响后续操作能否充分利用硬件性能优势。可以执行如下代码片段来进行检测：

import torch
print(torch.backends.mps.is_available())

上述脚本将返回布尔值表示 MPS (Metal Performance Shaders) 是否被激活以及是否有兼容的 Metal GPU 存在。MPS 是 macOS 平台上用于图形处理单元计算的核心技术之一，它允许应用程序访问设备上的 GPU 功能以提高运算效率。

#### 设置模型推理时启用 GPU
当确认系统中有合适的 GPU 可供调用之后，则可以在加载预训练好的大型语言模型（LLMs）实例之前指定其运行位置为 GPU。下面给出了一段示范性的 Python 代码用来展示这一过程：

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("model_name_or_path")
model = AutoModelForCausalLM.from_pretrained("model_name_or_path").to('mps')

这里的关键在于 `.to('mps')` 方法的应用，该方法指示 PyTorch 将整个神经网络迁移到 Metal 编程接口所管理下的 GPU 中去执行，从而实现显著的速度提升效果[^3]。