1环境安装简述

总的流程参考：部署（一）

安装环境为：

finetuning：、、、H100

inference：、RTX4090

请按照CUDAInstallationGuideforLinux—的说明进行安装

tensorrt请按照InstallingTensorRTNVIDIATensorRTDocumentation的说明进行安装

请确保系统中已安装以下依赖项：ffmpeg、libsm6、libxext6

Note：请确保CUDA版本为12.4。否则，配置flash-attn模块时可能会遇到问题

下载therepo后安装：

condacreate-ngr00tpython=3.10condaactivategr00tpipinstall--upgradesetuptoolspipinstall-e.[base]pipinstall--no-build-isolationflash-attn==2.7.1.post4

2安装1.清理环境

清理老CUDA/驱动：

sudoapt-get--purgeremove"*cublas*""cuda*""nvidia*"sudoapt-getautoremovesudoapt-getupdate

2.安装NVIDIA驱动

NVIDIA官方有严格的CUDA-Driver兼容性要求，每个CUDA版本要求“最低驱动版本”

要求最低NVIDIA驱动版本550.xx

官方参考表：1.WhyCUDACompatibility—CUDACompatibility

550是现阶段社区主流推荐，最广泛支持新老显卡、性能兼容性最好。550是Ubuntu官方apt仓库/NVIDIArepo的长期支持主线（LTS）

sudoapt-getupdatesudoapt-getinstallnvidia-driver-550sudoreboot

重启后，运行nvidia-smi，确认能看到GPU信息

nvidia-smi

可以先用lspci|grep-invidia确认物理上有没有GPU

3.添加官方仓库（APT在线仓库）

#添加GPGkey和repo源sudoapt-getinstall-ywgetgnupgwget

4.安装

sudoapt-getinstallcuda-toolkit-12-4

5.配置环境变量

添加到~/.bashrc：

echo'exportPATH=/usr/local//bin:$PATH'~/.bashrcecho'exportLD_LIBRARY_PATH=/usr/local//lib64:$LD_LIBRARY_PATH'~/.bashrcsource~/.bashrc

验证nvcc路径：

nvcc-V

6.（可选）编译与运行CUDA官方Samples

若只是开发，samples不是必须，但用它自测环境非常靠谱

如果按照上述流程装好驱动和CUDAtoolkit，里面没有samples包，因此先下载NVIDIA官方CUDASamples源码：GitCode-全球开发者的开源社区,开源代码托管平台

选择12.4版本下载测试：

cdcuda-samplesmake-jcdbin/x86_64/linux/release./deviceQuery

deviceQuery输出结果：

检测到NVIDIAGeForceRTX4080SUPER

驱动版本/运行时版本：12.4/12.4

各项CUDA功能（多流、统一内存、管理内存、最大线程等）全支持

“Detected1CUDACapabledevice(s)”

deviceQuery最后没有报错，也没写“FAILED”，说明测试完全通过

7.安装依赖

安装以下依赖项：ffmpeg、libsm6、libxext6

sudoapt-getupdatesudoapt-getinstallffmpeglibsm6libxext6-y

3gr00t安装

condacreate-ngr00tpython=3.10condaactivategr00tpipinstall--upgradesetuptoolspipinstall-e.[base]pipinstall--no-build-isolationflash-attn==2.7.1.post4

如果找不到cuda报错FileNotFoundError:[Errno2]Nosuchfileordirectory:'
/usr/local//bin/nvcc'，就修改一下~/.bashrc：

sudogedit~/.bashrc

加入：

exportCUDA_HOME=/usr/local/=$CUDA_HOME/bin:$PATHexportLD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH

然后source或重启

4tensorrt安装

建议在gr00t环境安装后安装tensorrt

根据NVIDIATensorRT官方文档（最新版），TensorRT的安装方式有多种，如果只使用python包可以通过pip安装，但TensorRTC++APIsorcompilepluginswritteninC++无法使用，pip安装到anaconda环境的方式安装：

python3-mpipinstall--upgradepippython3-mpipinstallwheelpython3-mpipinstall--upgradetensorrt

默认情况下，pip装的是最新版本且适配（无需特别指定CUDA12）

PS：此种方法有特定环境限制，但均在gr00t要求范围内：

支持到3.13（建议和PyTorch/Transformers保持一致的Python版本）

Linuxx86_64支持及以上

快速验证，新建一个test_tensorrt脚本：

importtensorrtdeftest_tensorrt_version():print("TensorRTversion:",tensorrt.__version__)assertisinstance(tensorrt.__version__,str)if__name__=="__main__":test_tensorrt_version()