Wichtige Informationen
Modder haben erfolgreich Firmware-Beschränkungen bei NVIDIA GeForce RTX 30- und 40-Serie Grafikkarten umgangen, um Rechenpotenzial freizuschalten, das zuvor professioneller Hardware vorbehalten war. Durch das Aufheben interner Begrenzungen ermöglichen diese Modifikationen Consumer-GPUs, Befehlsausgaberaten zu erreichen, die mit ihren professionellen Gegenstücken vergleichbar sind.
Für die Ampere-basierte RTX 30-Serie entwickelten Forscher eine Methode, um die Befehlsausgabegeschwindigkeit von FP/BF16 FMA in FP32-Operationen zu verdoppeln. Diese Modifikation ermöglicht es Karten wie der RTX 3090 Ti, Matrixmultiplikationen bis zu 80 % schneller durchzuführen, was neuronalen Netzwerkanwendungen erheblich zugutekommt.
Die Ada Lovelace-basierte RTX 40-Serie verzeichnete eine zweifache Beschleunigung beim FP16- und BF16-Tensor-Durchsatz. Tests auf einer RTX 4090 zeigten einen Anstieg von 165,6 TeraFLOPS auf 331,6 TeraFLOPS, was Leistungsniveaus entspricht, die normalerweise auf die professionelle RTX 6000 Ada Lovelace-Serie beschränkt sind.
Diese Modifikationen behalten die Kompatibilität mit Standard-NVIDIA-Treibern bei und arbeiten innerhalb der ursprünglichen Leistungsgrenzen, wie etwa der 450 W TGP. Während die Freischaltungen den Token-Durchsatz für lokale große Sprachmodelle verbessern, müssen Benutzer die Mods beim Booten aktivieren. Wichtig ist, dass diese Modifikationen die GPU-Garantie ungültig machen.
