安装flashattention window

### 如何在 Windows 上安装 FlashAttention 库

#### 准备工作
为了成功安装 FlashAttention，在 Windows 平台上需先确认已正确设置 Python 和 PyTorch 的环境。确保使用的 Python 版本与 FlashAttention 兼容。

#### 安装方法
对于普通设备，可以通过 `pip` 工具来安装 FlashAttention 库[^2]：

pip install flash-attn --no-build-isolation

这条命令会自动处理大部分依赖项并完成软件包的安装过程。使用 `--no-build-isolation` 参数可以避免某些情况下由于构建隔离导致的问题。

#### 额外配置
如果目标硬件支持 NVIDIA Hopper 架构或其他特殊加速特性，则可能需要查阅官方文档获取更详细的指导说明以应用相应的优化选项。

#### 测试安装
安装完成后建议创建一个小测试脚本来验证是否能够正常使用该库的功能。这有助于及时发现潜在兼容性问题或错误配置。

import torch
from flash_attn import flash_attention

query = torch.rand(1, 8, 16)  # (batch_size, seq_len, embed_dim)
key = torch.rand_like(query)
value = torch.rand_like(query)

output = flash_attention(query, key, value)
print(output.shape)