핵심 정보
모더들이 NVIDIA GeForce RTX 30 시리즈 및 40 시리즈 그래픽 카드의 펌웨어 제한을 성공적으로 우회하여 이전에는 전문가용 하드웨어에만 예약되어 있던 컴퓨팅 잠재력을 해제했습니다. 내부 제한을 무시함으로써 이러한 수정 사항을 통해 소비자용 GPU가 전문가용 제품과 비교할 수 있는 명령어 발행 속도를 달성할 수 있게 되었습니다.
Ampere 기반 RTX 30 시리즈의 경우, 연구원들은 FP/BF16 FMA의 명령어 발행 속도를 FP32 작업으로 두 배 늘리는 방법을 개발했습니다. 이 수정 사항을 통해 RTX 3090 Ti와 같은 카드는 행렬 곱셈을 최대 80% 더 빠르게 수행할 수 있어 신경망 애플리케이션에 큰 이점을 제공합니다.
Ada Lovelace 기반 RTX 40 시리즈는 FP16 및 BF16 텐서 처리량이 2배 향상되었습니다. RTX 4090에서 테스트한 결과 165.6 TeraFLOPS에서 331.6 TeraFLOPS로 증가하여 일반적으로 전문가용 RTX 6000 Ada Lovelace 시리즈로 제한되었던 성능 수준과 일치했습니다.
이러한 수정 사항은 기본 NVIDIA 드라이버와의 호환성을 유지하며 450W TGP와 같은 원래 전력 제한 내에서 작동합니다. 잠금 해제는 로컬 대규모 언어 모델의 토큰 처리량을 향상시키지만, 사용자는 부팅 시 모드를 활성화해야 합니다. 중요한 점은 이러한 수정 사항이 GPU 보증을 무효화한다는 것입니다.
