Создание среды CUDA для разработки ИИ

Если вы нашли этот пост, значит, вы, вероятно, собираетесь начать разработку глубокого обучения с использованием GPU. Эта статья – наглядное руководство, в котором описан процесс подготовки вычислений на GPU на базе CUDA в среде Ubuntu.
Особенно это будет полезно для начинающих, которые хотят проверить, "Установлено ли CUDA на моем ПК?" Я постарался сделать так, чтобы следовать этому было легко.

Если вам интересно, что такое CUDA, рекомендую сначала ознакомиться с предыдущим постом Что такое CUDA? Начало работы с GPU и параллельными вычислениями.

1. Зачем настраивать среду GPU?

Обучение моделей ИИ требует выполнения большого количества матричных операций.
Эти операции выполняются намного быстрее на GPU, специализированных для параллельных вычислений, чем на CPU.

Однако наличие GPU – это не всё.
Необходимы три компонента: драйвер, который сообщает операционной системе о GPU,
CUDA, которая позволяет выполнять вычисления на GPU,
и библиотека cuDNN, оптимизированная для глубокого обучения.
Все три должны быть точно установлены, чтобы использовать GPU.

2. Проверка состояния GPU – Драйвер и CUDA установлены?

nvidia-smi

Это инструмент, который показывает текущее состояние GPU.
Если вы видите версию CUDA и точное наименование GPU,
это означает, что "GPU удачно распознан и драйвер установлен".

3. Инструменты разработки CUDA – Зачем нужен nvcc?

nvcc – это инструмент для компиляции кода CUDA (.cu).
По сути, это компилятор, необходимый для реального использования CUDA.

sudo apt update
sudo apt install nvidia-cuda-toolkit
nvcc --version

4. cuDNN – секретное оружие для быстрого выполнения операций глубокого обучения на GPU

cuDNN – это библиотека численных операций высокой скорости, разработанная NVIDIA, которая оптимизирует операции глубокого обучения.

Она используется в фреймворках глубокого обучения (таких как PyTorch, TensorFlow и т.д.)

• Свертка
• Пуллинг
• RNN
• LSTM
• BatchNorm
• Активации и другие операции, чтобы эффективно и быстро обрабатывать на GPU

Если вы планируете использовать фреймворки глубокого обучения, такие как PyTorch или TensorFlow, эта библиотека действительно необходима.

Чтобы фреймворки могли эффективно использовать GPU, необходимо установить пакет cuDNN, соответствующий версии CUDA.

Путь загрузки пакета cuDNN зависит от операционной системы и архитектуры процессора, поэтому обязательно посетите официальную страницу загрузки cuDNN от NVIDIA, чтобы скачать и установить правильную библиотеку.

При загрузке cuDNN убедитесь, что вы первоначально проверили версию CUDA, которую видели в nvdia-smi, и установили соответствующую версию cuDNN.

5. Тестирование – Проверим, работает ли GPU в Python

После установки давайте проверим, все ли работает корректно.

import torch
print(torch.cuda.is_available())          # True
print(torch.cuda.get_device_name(0))      # NVIDIA GeForce RTX  XXXX

6. Резюме

7. Заключение от Джесси

Теперь ваша система готова к вычислениям на GPU.
На этой основе вы сможете быстро обучать или запускать различные модели, такие как Whisper, LLaMA, ChatGPT и другие.