要点
モッダーがNVIDIA GeForce RTX 30シリーズおよび40シリーズグラフィックスカードのファームウェア制限を回避し、これまでプロフェッショナル向けハードウェアに限定されていた演算能力を解放することに成功しました。 内部制限を上書きすることで、これらの改造により、コンシューマー向けGPUがプロフェッショナル向け製品に匹敵する命令発行レートを達成できるようになりました。
AmpereベースのRTX 30シリーズでは、研究者がFP/BF16 FMAの命令発行速度をFP32演算に対して2倍にする手法を開発しました。 この改造により、RTX 3090 Tiなどのカードは行列乗算を最大80%高速化でき、ニューラルネットワークアプリケーションに大きな恩恵をもたらします。
Ada LovelaceベースのRTX 40シリーズでは、FP16およびBF16テンソルスループットが2倍に向上しました。 RTX 4090でのテストでは、165.6 TeraFLOPSから331.6 TeraFLOPSへの増加が確認され、通常はプロフェッショナル向けのRTX 6000 Ada Lovelaceシリーズに制限されている性能レベルに達しました。
これらの改造は標準のNVIDIAドライバーとの互換性を維持し、450W TGPなどの元の電力制限内で動作します。 このロック解除はローカルの大規模言語モデルのトークンスループットを向上させますが、ユーザーは起動時にMODを有効にする必要があります。 重要な点として、これらの改造を行うとGPUの保証が無効になります。
