Información clave

Un grupo de modders ha desarrollado exploits de firmware para eliminar los límites artificiales de rendimiento de IA a la mitad en las GPUs Nvidia RTX de las series 20, 30 y 40. Al aprovechar un desbordamiento de búfer de pila en el firmware firmado SEC2 Booter de Nvidia, estos módulos no oficiales permiten a los usuarios cambiar registros que restauran el rendimiento nativo de cálculo de matrices, el cual estaba restringido anteriormente a tarjetas de grado profesional.

El proceso de desbloqueo varía según la generación, utilizando módulos de Linux o compilaciones experimentales de Windows para eludir la limitación. El proyecto gpu-unlock cubre las tarjetas Ampere, mientras que gpu-unlock-ada se dirige a la arquitectura Ada Lovelace, incluida la RTX 4090. Las tarjetas basadas en Turing, como la RTX 2080 Ti, son compatibles a través de los proyectos turing-unlock y KohakUnlock.

Las ganancias de rendimiento son significativas pero inconsistentes. Si bien las tasas máximas de tensores para la RTX 4090 pueden duplicarse, los benchmarks de multiplicación de matrices en el mundo real muestran mejoras que oscilan entre el 12% y el 94%, dependiendo de la tarjeta específica, los límites de energía y la carga de trabajo. Los desarrolladores advierten que estas modificaciones conllevan riesgos, incluyendo posibles daños al hardware, corrupción de datos o inestabilidad del sistema.

A pesar de estas ganancias, las velocidades reales de tokens de los chatbots permanecen prácticamente sin cambios, ya que están limitadas por el ancho de banda de la memoria. Además, el soporte sigue siendo limitado; las arquitecturas Hopper y Blackwell están fuera del alcance, y muchas variantes específicas de tarjetas permanecen sin verificar. Actualmente, los proyectos están recopilando informes de usuarios para ampliar la compatibilidad, aunque no existe una hoja de ruta oficial.

Consulta la fuente original para más detalles.