NVIDIA CUDA란? NVIDIA의 AI 해자를 지탱하는 소프트웨어

01CUDA의 실체

CPU 대 GPU: 소수의 큰 코어 대 수천 개의 작은 코어

GPU가 CPU보다 뛰어난 핵심은, 서로 다른 연산을 빠르게 순차 처리하도록 최적화된 소수의 코어 대신 많은 데이터에 같은 연산을 동시에 수행할 수 있는 수천 개의 작은 처리 코어를 갖췄다는 점입니다. 화면의 모든 픽셀에 비슷한 연산을 해야 하는 그래픽 작업에는 이상적이지만, CUDA 이전에는 이 병렬성을 다른 용도로 쓰려면 연산을 그래픽 작업으로 위장해 OpenGL을 거쳐야 했습니다. 번거롭고 제한적인 임시방편이었습니다.

2006년 CUDA 출시

2006년 11월 출시된 CUDA는 하나의 플랫폼입니다. C·C++(이후 Python, Fortran 등도 추가)의 확장 기능, 컴파일러, 런타임으로 구성돼, 개발자가 그래픽 작업으로 위장하지 않고도 GPU의 병렬 코어에서 직접 실행되는 코드를 작성할 수 있게 해줍니다. 코드는 수천 개의 동시 실행 ‘스레드’ 그리드로 조직됩니다. 이 하나의 변화 덕분에 컴퓨터 그래픽 밖의 연구자들도 GPU를 물리 시뮬레이션, 단백질 접힘, 이후에는 신경망 연구에 활용하기 시작했습니다.

02컴파일러에서 라이브러리 군으로

CUDA 자체는 기반 계층일 뿐입니다. 실제 프로덕션에서 쓰이는 것은 NVIDIA가 20년에 걸쳐 그 위에 쌓아 올린 전문 라이브러리 스택이며, 각 라이브러리는 특정 문제 유형에 맞춰 최적화돼 있습니다.

이 라이브러리들은 저마다 NVIDIA 엔지니어들이 자사 하드웨어에 맞춰 수년간 손수 성능을 다듬은 결과물입니다. 경쟁사가 자사 칩을 위해 처음부터 다시 해내야 하는 종류의 최적화 작업입니다.

03오늘날 생태계의 규모

수치로 본 CUDA

NVIDIA는 2026년 4월 GTC에서 CUDA 출시 20주년을 기념하며, 이 플랫폼이 전 세계 600만 명의 개발자를 뒷받침하고 있다고 밝혔습니다 — 자체 발표 수치로 독립적인 감사를 거치지는 않았지만, 연구자들이 가장 먼저 배우는 기본 플랫폼이라는 CUDA의 널리 알려진 위상과는 일치합니다.

플라이휠과 하위 호환성 약속

Jensen Huang CEO는 CUDA의 경제 구조를 '플라이휠'이라고 표현했습니다. 20년간 누적된 CUDA 호환 GPU 도입량이 설치 기반을 만들고, 이것이 개발자와 신규 애플리케이션을 끌어들이며, 그 결과 CUDA 호환 하드웨어를 더 구매할 근거가 다시 생기는 선순환입니다. NVIDIA는 또한 2006년 초기 GPU용으로 작성된 CUDA 코드가 수정 없이 현행 세대 하드웨어에서도 그대로 실행된다고 밝혔습니다 — 구체적인 하위 호환성 주장이며, NVIDIA의 하드웨어가 세대를 거듭해도 CUDA 기반 코드베이스를 좀처럼 다시 작성할 필요가 없는 이유 중 하나입니다.

04해자: 전환이 어려운 이유

수년간 쌓인 하드웨어별 세부 결정들

NVIDIA의 개별 라이브러리 하나하나는 원리적으로 재현 불가능한 것이 아닙니다 — 실제로 경쟁사들도 비슷한 것을 만들어 왔습니다. 재현하기 어려운 것은 그 축적입니다. CUDA 위에서 돌아가는 실제 상용 AI 시스템에는 대개 수년에 걸친 하드웨어별 세부 결정이 켜켜이 쌓여 있습니다 — NVIDIA 고유의 메모리 계층 구조에 맞춘 커널 최적화, NCCL의 전제를 축으로 짠 혼합 정밀도 학습 경로, NVIDIA 자체 도구(Nsight)를 전제로 한 디버깅·프로파일링 워크플로, CUDA의 존재를 당연시하는 CI/CD 파이프라인 등입니다. 이런 요소는 칩의 사양표 어디에도 드러나지 않지만, 다른 플랫폼으로 옮기려면 실질적인 엔지니어링 비용을 들여 이 모두를 다시 만들어야 합니다.

PyTorch와 TensorFlow는 CUDA를 전제로 만들어졌다

가장 널리 쓰이는 두 딥러닝 프레임워크인 PyTorch와 TensorFlow도 CUDA를 전제로 만들어졌습니다. 이후 두 프레임워크 모두 다른 백엔드 지원을 추가했지만, 어느 쪽에서도 여전히 가장 잘 지원되고 문서화가 가장 잘 된 경로는 CUDA입니다.

05해자에 생긴 균열

Triton: 이식 가능한 커널 언어

CUDA 종속에 대한 가장 뚜렷한 도전은 경쟁 칩이 아니라 경쟁 추상화 레이어에서 나옵니다. OpenAI의 Triton은 GPU 커널을 작성하기 위한 Python 기반 언어로, 개발자가 코드를 한 번만 작성하면 서로 다른 하드웨어에서도 근접한 성능을 얻을 수 있게 해주며, 지금은 PyTorch 자체 컴파일러(torch.compile) 내부의 기본 커널 생성 경로가 되었습니다 — 즉 새로 작성되는 PyTorch 코드 중 점점 더 많은 부분이 더 이상 CUDA 전용 코드를 직접 건드리지 않는다는 뜻입니다.

NVIDIA의 대응, 그리고 엇갈리는 전략 해석

GTC 2026에서 예고된 NVIDIA 자체의 대응은 CUDA Tile IR과, Triton이 이를 백엔드로 삼아 직접 컴파일할 수 있게 해주는 구조입니다 — NVIDIA는 이를 협력적인 시도라고 규정합니다. Triton 고유의 타일 기반 프로그래밍 모델이 Tile IR과 자연스럽게 맞아떨어져, 개발자가 Triton을 떠나지 않고도 NVIDIA 특화 속도 향상을 얻을 수 있다는 논리입니다. 그러나 CUDA를 만든 초기 엔지니어링 팀 일부는 이 설명에 공개적으로 이의를 제기하며, 관련 언어인 cuTile이 NVIDIA의 공식 입장이 시사하는 것보다 더 직접적으로 개발자를 Triton에서 떼어내려는 목적이라고 주장합니다 — NVIDIA 자신의 전략을 어떻게 읽어야 할지는 실제로 의견이 갈리며, 아직 결론이 나지 않았습니다.

2026년 기준 대안들

06CUDA가 중요한 이유

CUDA 자체는 NVIDIA가 판매하거나 매출을 따로 공시하는 제품이 아닙니다. 무료로 쓸 수 있고, 그 수익은 전적으로 NVIDIA의 하드웨어 판매로 돌아오며 시장도 그렇게 가치를 매깁니다. NVIDIA의 전반적인 시가총액 흐름과 데이터센터 매출은 이 사이트의 GPU 역사 기사에서 자세히 다룹니다. CUDA와 관련해 핵심적인 부분은, 경쟁 칩 제조사가 NVIDIA의 입지를 따라잡기 가장 어려운 요소가 어느 한 칩 세대의 스펙이 아니라 이 생태계의 깊이라는 점입니다.

07앞으로의 과제

시장 점유율 추정치는 출처마다 다르다

CUDA의 지배력을 보여주는 시장 점유율 수치는 출처마다 크게 다르며 독립적으로 감사되지 않았습니다. NVIDIA의 AI 가속기 점유율에 대한 애널리스트 추정치는 방법론과 조사 시점에 따라 대략 75%에서 80%대 후반까지 갈립니다. 완전히 투명하고 검증 가능한 방법론을 공개한 곳은 없으므로, 개별 수치는 방향성 참고자료로만 봐야 합니다.

AMD의 ROCm이 격차를 좁히고 있다

AMD의 ROCm 플랫폼은 실질적인 격차를 좁혔습니다. 2026년 기준 PyTorch, vLLM, SGLang 모두 공식 ROCm 지원을 갖췄고, AMD는 세대를 거듭할수록 추론 성능이 크게 향상됐다고 밝혔습니다. 즉 잘 지원되는 특정 워크로드에서는 CUDA와의 실질적 성능 격차가 좁혀졌다는 뜻이지만, 문서화·툴링 성숙도·예외 사례 라이브러리 지원 등 더 넓은 생태계는 여전히 뒤처져 있습니다.

Triton이 해자를 갉아먹을지는 아직 미해결

Triton 같은 이식 가능한 컴파일러가 결국 CUDA의 해자를 갉아먹을지, 아니면 그 안에 흡수될지는 아직 진짜로 결론이 나지 않았습니다. 이유는 위의 '해자의 균열' 절에서 다뤘습니다.

08자주 묻는 질문

09출처