MIKI BLOG

2026-03-10

DGX Spark에 모델 추론을 위한 FlashAttention 2 설치 후기

DGX Spark 환경에서 모델 추론 속도 및 GPU 메모리 사용량 개선을 위해 FlashAttention 2를 설치한 후기입니다. 설치 과정의 어려움과 설치 후 체감 효과를 공유합니다.

#cuda #gpu #dgx spark #flashattention 2 +2

2026-03-03

ONNX Runtime GPU: 직접 빌드가 필요한 이유와 방법

ONNX Runtime GPU를 aarch64 환경에서 직접 빌드해야 하는 이유와 구체적인 단계별 방법을 상세히 안내합니다. CUDA 13, cuDNN 설치부터 CMake 옵션 설정, 휠 파일 생성 및 검증까지 DGX‑Spark 사용자에게 최적화된 빌드 가이드를 제공합니다.

#gpu #딥러닝 #onnxruntime #aarch64 +2

2025-12-17

딥러닝 코드에 항상 같이 등장하는 NumPy와 PyTorch, 둘의 진짜 관계와 학습 순서 가이드

딥러닝 개발자라면 한 번쯤 고민했던 NumPy와 PyTorch의 관계를 명확히 정리했습니다. NumPy는 CPU 기반 수치 계산과 데이터 전처리, 시각화에 주로 쓰이고, PyTorch는 GPU에서 자동 미분을 지원하는 텐서 연산에 특화됩니다. 두 라이브러리의 메모리 공유와 변환 방법을 이해하면 실무에서 효율적으로 오가며 개발할 수 있습니다.

#pytorch #gpu #딥러닝 #numpy +3

2025-11-21

CPU에서 GPU로의 권력 이동 - AI는 왜 '행렬'을 사랑할까?

CPU에서 GPU로 전환하면서 AI 모델이 행렬 연산을 선호하는 이유와 성능 향상 사례를 다룹니다. GPU 가속이 어떻게 딥러닝 성능을 끌어올리는지, 행렬 기반 연산의 효율성을 설명합니다.

#deep learning #gpu #ai #performance +1

2025-06-27

엔비디아(NVIDIA), GPU를 넘어 CPU 시장에 도전하다! AI 시대의 새로운 '슈퍼칩' 전략

GPU의 왕좌에 앉은 NVIDIA, 이제는 CPU 시장도 넘본다! Grace CPU와 슈퍼칩 전략을 통해 AI 컴퓨팅 시대를 선도하려는 NVIDIA의 비전과, 이를 둘러싼 경쟁 지형을 깊이 있게 분석한 포스트입니다.

#gpu #nvidia #x86 #arm +4

2025-04-20

CUDA란 무엇인가? GPU와 병렬 컴퓨팅의 시작

CUDA는 병렬 컴퓨팅을 위한 NVIDIA의 플랫폼으로, GPU를 활용한 고속 연산에 필수적인 기술이다. 그 개념과 구조를 소개한다.

#cuda #병렬컴퓨팅 #gpu #딥러닝 +1

모든 게시물