要点
モッダーたちが、Nvidia RTX 20、30、40シリーズGPUに課せられた人為的なAI性能の半減制限を解除するファームウェアの脆弱性を開発しました。 Nvidiaの署名済みSEC2ブーターファームウェアにおけるスタックバッファオーバーフローを悪用することで、これらの非公式モジュールは、以前はプログレードのカードにのみ制限されていたネイティブの行列演算スループットを復元するレジスタを切り替えることを可能にします。 ロック解除プロセスは世代によって異なり、Linuxモジュールや実験的なWindowsビルドを使用して制限を回避します。
gpu-unlockプロジェクトはAmpereカードをカバーし、gpu-unlock-adaはRTX 4090を含むAda Lovelaceアーキテクチャを対象としています。 RTX 2080 TiなどのTuringベースのカードは、turing-unlockおよびKohakUnlockプロジェクトを通じてサポートされています。 性能向上は顕著ですが、一貫性はありません。
RTX 4090のピークテンソルレートは2倍になる可能性がありますが、実際の行列乗算ベンチマークでは、特定のカード、電力制限、ワークロードに応じて12%から94%の改善が見られます。 開発者は、これらの改造にはハードウェアの損傷、データの破損、システムの不安定化などのリスクが伴うと警告しています。 これらの向上にもかかわらず、実際のチャットボットのトークン速度はメモリ帯域幅によって制限されるため、ほとんど変化しません。
さらに、サポートは依然として限定的です。 HopperおよびBlackwellアーキテクチャは対象外であり、多くの特定のカードバリエーションは未検証のままです。 現在、プロジェクトは互換性を拡大するためにユーザーからの報告を収集していますが、公式のロードマップは存在しません。
