TGFC俱乐部>>完全数码讨论区>>
- 刷新/显图/登录/注册/WEB
标题:40系30系解放翻倍算力了。。。
时间:26-10-25 02:49
作者:blackeyed
posted by wap, platform: Android
老黄的刀被绕过了 不增加功耗的情况下 fp16算力几乎都翻倍
打游戏应该没啥用，训练能力应该大幅加强了，推理看推什么，画图好像提高两次，大语言卡显存带宽瓶颈
看来30和40系还能涨价。。。
Ampere这代老黄的刀法格外狠：同年代的A100，BF16和FP16是平起平坐的满速；到了3090，BF16直接减半——NVIDIA官方spec白纸黑字：FP16 Tensor 71.2 TFLOPS，BF16只有35.6。芯片本体完全支持，是固件层面锁死了"速度选择器"。这就是刀法，切得明明白白。
现在有人把这把刀缝回去了。GitHub上有个项目叫 gpu-unlock（作者Zagitta），思路很骚：借矿卡解锁社区（CMP 90HX那帮人连8G→64G显存都敢放出来）的V67/PLM手法，写了个Linux内核模块，在开机时、NVIDIA驱动还没绑卡之前，直接给显卡写速度选择器SS0=0x88888888，选中满速BF16，然后FLR复位，再让原装驱动正常加载。不改驱动、不刷BIOS、不用UEFI。
效果：3090的BF16从半速变满速。BF16恰恰是大模型训练/微调的默认精度——比FP16稳、loss不容易溢出，还同样省。天天炼丹的打工人约等于白捡一截速度。讲武德地说：算力瓶颈型任务收益最明显，显存带宽瓶颈的任务提升有限，别指望啥都翻倍。
本帖最后由 blackeyed 于 2026-10-25 03:05 通过手机版编辑
老黄的刀被绕过了 不增加功耗的情况下 fp16算力几乎都翻倍
打游戏应该没啥用，训练能力应该大幅加强了，推理看推什么，画图好像提高两次，大语言卡显存带宽瓶颈
看来30和40系还能涨价。。。
Ampere这代老黄的刀法格外狠：同年代的A100，BF16和FP16是平起平坐的满速；到了3090，BF16直接减半——NVIDIA官方spec白纸黑字：FP16 Tensor 71.2 TFLOPS，BF16只有35.6。芯片本体完全支持，是固件层面锁死了"速度选择器"。这就是刀法，切得明明白白。
现在有人把这把刀缝回去了。GitHub上有个项目叫 gpu-unlock（作者Zagitta），思路很骚：借矿卡解锁社区（CMP 90HX那帮人连8G→64G显存都敢放出来）的V67/PLM手法，写了个Linux内核模块，在开机时、NVIDIA驱动还没绑卡之前，直接给显卡写速度选择器SS0=0x88888888，选中满速BF16，然后FLR复位，再让原装驱动正常加载。不改驱动、不刷BIOS、不用UEFI。
效果：3090的BF16从半速变满速。BF16恰恰是大模型训练/微调的默认精度——比FP16稳、loss不容易溢出，还同样省。天天炼丹的打工人约等于白捡一截速度。讲武德地说：算力瓶颈型任务收益最明显，显存带宽瓶颈的任务提升有限，别指望啥都翻倍。
本帖最后由 blackeyed 于 2026-10-25 03:05 通过手机版编辑
回复列表 (8)
posted by wap, platform: Android
不明觉厉。大部分的文字推论瓶颈在于带宽，只有图像推论能受到益吧。
不明觉厉。大部分的文字推论瓶颈在于带宽，只有图像推论能受到益吧。
===================
posted by wap, platform: Chrome
4090能涨了吗
4090能涨了吗
===================
原帖由 qazqaz 于 2026-10-25 05:46 发表
posted by wap, platform: Android
不明觉厉。大部分的文字推论瓶颈在于带宽，只有图像推论能受到益吧。
posted by wap, platform: Android
不明觉厉。大部分的文字推论瓶颈在于带宽，只有图像推论能受到益吧。
看推理什么了, 文字推理的prefill速度也是暴涨的, decode几乎没变化, 如果是前置压力大的就受益
我刚出门紧急买了一张4090 48G, 害怕这消息继续发酵价格还要暴涨:绿脸贱笑:兔脸红:
===================
posted by wap, platform: Android
4090能有多少收益？
4090能有多少收益？
===================
posted by wap, platform: MAC OS X
全都解相当于全没解，解的是BF16和FP16，小显存卡没啥用，反正也跑不了满血大模型。但是！可能会对4090有影响，据说40系还解了FP8的算力，这个就非常夸张了，4090现在比5090还猛
这些解锁全部来源于170hx，这张卡才是真神
全都解相当于全没解，解的是BF16和FP16，小显存卡没啥用，反正也跑不了满血大模型。但是！可能会对4090有影响，据说40系还解了FP8的算力，这个就非常夸张了，4090现在比5090还猛
这些解锁全部来源于170hx，这张卡才是真神
===================
原帖由 xif7456 于 2026-10-25 16:47 发表
posted by wap, platform: MAC OS X
全都解相当于全没解，解的是BF16和FP16，小显存卡没啥用，反正也跑不了满血大模型。但是！可能会对4090有影响，据说40系还解了FP8的算力，这个就非常夸张了，4090现在比5090还猛
...
posted by wap, platform: MAC OS X
全都解相当于全没解，解的是BF16和FP16，小显存卡没啥用，反正也跑不了满血大模型。但是！可能会对4090有影响，据说40系还解了FP8的算力，这个就非常夸张了，4090现在比5090还猛
...
4090的显存带宽不如5090 显存吞吐量大就没啥用, 显存调用少,计算多的才有用
大语言的话就prefill提升巨大, decode几乎没变, 跑图提升也很大, 其他还不清楚, 我没试看别人说的:绿脸贱笑:兔脸红:
===================
posted by wap, platform: MAC OS X
是的，跑图看别人测试快了挺多，对工作室这些就是实打实的价值。48G显存跑大模型其实也不够，decode提升只能靠TP了，解锁了算力也算变相让双卡TP变的更好用了。
其实有大语言需求，现在8G的170hx仍然值得买，单卡就能装下INT8的27b，如果还能解锁80G，单卡就能跑满BF16的27B，对个人来说真的是毕业了。
原帖由 @blackeyed 于 2026-10-25 16:52 发表
4090的显存带宽不如5090 显存吞吐量大就没啥用, 显存调用少,计算多的才有用
大语言的话就prefill提升巨大, decode几乎没变, 跑图提升也很大, 其他还不清楚, 我没试看别人说的:绿脸贱笑:兔脸红:
4090的显存带宽不如5090 显存吞吐量大就没啥用, 显存调用少,计算多的才有用
大语言的话就prefill提升巨大, decode几乎没变, 跑图提升也很大, 其他还不清楚, 我没试看别人说的:绿脸贱笑:兔脸红:
其实有大语言需求，现在8G的170hx仍然值得买，单卡就能装下INT8的27b，如果还能解锁80G，单卡就能跑满BF16的27B，对个人来说真的是毕业了。
===================
posted by wap, platform: Chrome
现在48G版什么价了
我还在想要不要那我的24G到电脑店升级到48G呢
原帖由 @blackeyed 于 2026-10-25 16:12 发表
看推理什么了, 文字推理的prefill速度也是暴涨的, decode几乎没变化, 如果是前置压力大的就受益
我刚出门紧急买了一张4090 48G, 害怕这消息继续发酵价格还要暴涨:绿脸贱笑:兔脸红:
看推理什么了, 文字推理的prefill速度也是暴涨的, decode几乎没变化, 如果是前置压力大的就受益
我刚出门紧急买了一张4090 48G, 害怕这消息继续发酵价格还要暴涨:绿脸贱笑:兔脸红:
我还在想要不要那我的24G到电脑店升级到48G呢
===================
[登录后才可回复]