TGFC俱乐部>>完全数码讨论区>>
- 翻页: ##1 ##2 > (1/2页)
- 刷新/显图/登录/注册/WEB
标题:内存和显存没有办法降价了，社区Strata仓库新出了qwen3.8flashnext的部署方案
时间:26-10-02 22:35
作者:realsquall
q3s精度，12G显存 64G内存可跑，速度惊人。moe架构未来大有可为，要看看deepseek未来的社区版本了。
校准实测结果（热身后，非冷启动）：
--calibrate 调出：--pool-workers 31，官方测量 132.4 tok/s
真实前后对比（五言绝句，本机 LAN）：
- 优化前：thinking ON ~50 tps / 首答 3.3s；OFF ~90 tps
- 优化后：thinking ON ~105-130 tps（首答 1.5s）
- thinking OFF ~133-148 tps（首答 1.4s）
提速 +40~60%，比官方 5070 基准（53）高出 2 倍多。之前那次 11.9 tps 是刚重启的冷缓存假象，热了就回来了。
服务状态：0.0.0.0:8080 已恢复，模型 loaded，ctx 262144，vision 开，校准配置已写入。
RTX5090 Gen4 X8 EPYC 7402 128g 内存分配 80g PVE 直通
Time Status Prompt Reused Output Tok/s Hit rate Duration
18:50:05 Done 58,252 56,418 1,033 115.9 95.9% 11.8 s
18:49:59 Done 56,423 55,647 299 128.2 93.8% 4.1 s
18:49:50 Done 55,652 50,395 434 108.5 90.4% 7.1 s
18:46:37 Done 55,673 0 415 102.1 92.6% 26.2 s
18:46:29 Done 779 0 696 111.2 92.1% 8.0 s
18:46:01 Done 55,105 0 347 95.6 83.7% 27.3 s
18:45:58 Max tokens 63 58 250 117.4 95.5% 2.2 s
18:45:52 Max tokens 63 0 250 92.3 85.1% 3.5 s
18:45:38 Done 54,432 54,086 1,474 115.0 93.6% 14.0 s
18:45:18 Done 54,091 16,384 237 103.7 88.1% 18.0 s
18:41:11 Done 206,577 206,472 267 90.9 96.9% 3.8 s
18:38:26 Done 206,477 16,384 258 97.1 95.5% 73.5 s
附件：: [您所在的用户组无法下载或查看附件]
校准实测结果（热身后，非冷启动）：
--calibrate 调出：--pool-workers 31，官方测量 132.4 tok/s
真实前后对比（五言绝句，本机 LAN）：
- 优化前：thinking ON ~50 tps / 首答 3.3s；OFF ~90 tps
- 优化后：thinking ON ~105-130 tps（首答 1.5s）
- thinking OFF ~133-148 tps（首答 1.4s）
提速 +40~60%，比官方 5070 基准（53）高出 2 倍多。之前那次 11.9 tps 是刚重启的冷缓存假象，热了就回来了。
服务状态：0.0.0.0:8080 已恢复，模型 loaded，ctx 262144，vision 开，校准配置已写入。
RTX5090 Gen4 X8 EPYC 7402 128g 内存分配 80g PVE 直通
Time Status Prompt Reused Output Tok/s Hit rate Duration
18:50:05 Done 58,252 56,418 1,033 115.9 95.9% 11.8 s
18:49:59 Done 56,423 55,647 299 128.2 93.8% 4.1 s
18:49:50 Done 55,652 50,395 434 108.5 90.4% 7.1 s
18:46:37 Done 55,673 0 415 102.1 92.6% 26.2 s
18:46:29 Done 779 0 696 111.2 92.1% 8.0 s
18:46:01 Done 55,105 0 347 95.6 83.7% 27.3 s
18:45:58 Max tokens 63 58 250 117.4 95.5% 2.2 s
18:45:52 Max tokens 63 0 250 92.3 85.1% 3.5 s
18:45:38 Done 54,432 54,086 1,474 115.0 93.6% 14.0 s
18:45:18 Done 54,091 16,384 237 103.7 88.1% 18.0 s
18:41:11 Done 206,577 206,472 267 90.9 96.9% 3.8 s
18:38:26 Done 206,477 16,384 258 97.1 95.5% 73.5 s
附件：: [您所在的用户组无法下载或查看附件]
回复列表 (55)
我的单卡pro5000 72G原先是跑不了q4权重的118G，经过仓库改造，现在单卡可以跑。
长上下文（227K token prompt，256K 原生档，needle 测试）
请求 prompt prefill 耗时/速度 decode MTP 接受 命中率 盘读
串行 #A 227,843 61.42 s / 3709.4 t/s 80 tok @ 82.6 t/s 47/62 (75.8%) 96.5% 1302 blob
串行 #B 227,846 61.24 s / 3720.4 t/s 80 tok @ 96.2 t/s 53/76 (69.7%) 97.2% 2604 blob
串行 #C 227,855 61.49 s / 3705.7 t/s 80 tok @ 117.3 t/s 55/69 (79.7%) 98.9% 3906 blob
并发 #A 227,843 61.60 s / 3699.0 t/s 80 tok @ 108.4 t/s 50/65 (76.9%) 98.3% 5208 blob
并发 #B 227,846 61.77 s / 3688.8 t/s 65 tok @ 128.2 t/s 44/51 (86.3%) 98.7% 6510 blob
并发 #C 227,855 61.92 s / 3679.9 t/s 73 tok @ 124.1 t/s 48/61 (78.7%) 99.0% 7812 blob
关键观察：
prefill 速度在 227K 长度下并发零劣化（3709 → 3680 t/s，-0.8% 在噪声内）
decode 从短文 96 → 长文 108-128 t/s 不降反升（MTP 接受率 55%→79%，长文重复结构利于草稿命中）
专家命中率随使用自适应爬升：96.5%（首条 227K）→ 99.0%（第六条）——adaptive swap 把热专家持续换进显存，盘读是"预热代价"不是稳态
单路 227K 全流程（prefill+decode）62-63 s
震惊瘫坐，q4精度100多token 227kprompt，predill+decode只要一分钟。而且显存占用64G，内存占用96G。速度比之前的q4部署方案要快一倍多。这方案比之前27b fp8方案都要好很多了。毕竟3.8 flashnext q4权重118G，而27b fp8只有29G，同样条件220kprompt下，速度比flashnext q4慢30%。
长上下文（227K token prompt，256K 原生档，needle 测试）
请求 prompt prefill 耗时/速度 decode MTP 接受 命中率 盘读
串行 #A 227,843 61.42 s / 3709.4 t/s 80 tok @ 82.6 t/s 47/62 (75.8%) 96.5% 1302 blob
串行 #B 227,846 61.24 s / 3720.4 t/s 80 tok @ 96.2 t/s 53/76 (69.7%) 97.2% 2604 blob
串行 #C 227,855 61.49 s / 3705.7 t/s 80 tok @ 117.3 t/s 55/69 (79.7%) 98.9% 3906 blob
并发 #A 227,843 61.60 s / 3699.0 t/s 80 tok @ 108.4 t/s 50/65 (76.9%) 98.3% 5208 blob
并发 #B 227,846 61.77 s / 3688.8 t/s 65 tok @ 128.2 t/s 44/51 (86.3%) 98.7% 6510 blob
并发 #C 227,855 61.92 s / 3679.9 t/s 73 tok @ 124.1 t/s 48/61 (78.7%) 99.0% 7812 blob
关键观察：
prefill 速度在 227K 长度下并发零劣化（3709 → 3680 t/s，-0.8% 在噪声内）
decode 从短文 96 → 长文 108-128 t/s 不降反升（MTP 接受率 55%→79%，长文重复结构利于草稿命中）
专家命中率随使用自适应爬升：96.5%（首条 227K）→ 99.0%（第六条）——adaptive swap 把热专家持续换进显存，盘读是"预热代价"不是稳态
单路 227K 全流程（prefill+decode）62-63 s
震惊瘫坐，q4精度100多token 227kprompt，predill+decode只要一分钟。而且显存占用64G，内存占用96G。速度比之前的q4部署方案要快一倍多。这方案比之前27b fp8方案都要好很多了。毕竟3.8 flashnext q4权重118G，而27b fp8只有29G，同样条件220kprompt下，速度比flashnext q4慢30%。
===================
以前我的双卡72G pro5000跑3.8 flashnext q4权重大概只有60t/s，现在单卡可跑，速度还快一倍。
本地部署的q4画的鹈鹕比在线满血版还好，速度还一样。平替了。
[ 本帖最后由 realsquall 于 2026-10-2 23:42 编辑 ]
附件：: [您所在的用户组无法下载或查看附件]
本地部署的q4画的鹈鹕比在线满血版还好，速度还一样。平替了。
[ 本帖最后由 realsquall 于 2026-10-2 23:42 编辑 ]
附件：: [您所在的用户组无法下载或查看附件]
===================
posted by wap, platform: Chrome
能发点大家看得明白的吗？要是发个教程也行。。这完全看不懂
能发点大家看得明白的吗？要是发个教程也行。。这完全看不懂
===================
posted by wap, platform: Android
这种就和有好好的“token”不用，非要用什么“词元”一样，不伦不类，鬼才看得懂。
这种就和有好好的“token”不用，非要用什么“词元”一样，不伦不类，鬼才看得懂。
===================
已经把图发出来了，真想用的去github仓库查一下啊，有ai了，啥都很方便了。还在问这些问题的，是不是连agent是啥都不清楚啊
===================
posted by wap, platform: Chrome
喷了，第一张是本地3.8 flash next画的还是第二张？
原帖由 @realsquall 于 2026-10-2 23:04 发表
以前我的双卡72G pro5000跑3.8 flashnext q4权重大概只有60t/s，现在单卡可跑，速度还快一倍。
本地部署的q4画的鹈鹕比在线满血版还好，速度还一样。平替了。
以前我的双卡72G pro5000跑3.8 flashnext q4权重大概只有60t/s，现在单卡可跑，速度还快一倍。
本地部署的q4画的鹈鹕比在线满血版还好，速度还一样。平替了。
===================
可以做一个Q3_S的鹈鹕测试吗？ 看下跟27b的差距
===================
posted by wap, platform: Chrome
看看
qwen没咋用
不过要本地能跑deekseek flash 4.1, 那是真的完全可以用的
看看
qwen没咋用
不过要本地能跑deekseek flash 4.1, 那是真的完全可以用的
===================
posted by wap, platform: Android
中低硬件确实MoE 比dense 优势大多了
中低硬件确实MoE 比dense 优势大多了
===================
原帖由 icetea776 于 2026-10-3 11:52 发表
可以做一个Q3_S的鹈鹕测试吗？ 看下跟27b的差距
可以做一个Q3_S的鹈鹕测试吗？ 看下跟27b的差距
我的笔记本正好是5070ti 12G和64G ddr5600，我安装下试试，临时用用也是可以的
===================
原帖由 folkfox 于 2026-10-3 11:25 发表
posted by wap, platform: Chrome
喷了，第一张是本地3.8 flash next画的还是第二张？
posted by wap, platform: Chrome
喷了，第一张是本地3.8 flash next画的还是第二张？
第一张
===================
8845hx cpu
64G ddr5 5600
5070ti 12G
192k上下文
40token/s，已经完全可以应用了
附件：: [您所在的用户组无法下载或查看附件]
64G ddr5 5600
5070ti 12G
192k上下文
40token/s，已经完全可以应用了
附件：: [您所在的用户组无法下载或查看附件]
===================
posted by wap, platform: Android
我用27b装了这个next flash，然后用qwen next flash 自己把自己破限了。牛逼
我用27b装了这个next flash，然后用qwen next flash 自己把自己破限了。牛逼
===================
posted by 论坛助手, platform: iPhone
拍断大腿，5090dv2 加 32g 内存 2333
拍断大腿，5090dv2 加 32g 内存 2333
===================
原帖由 cynic0522 于 2026-10-3 22:42 发表
posted by 论坛助手, platform: iPhone
拍断大腿，5090dv2 加 32g 内存 2333
posted by 论坛助手, platform: iPhone
拍断大腿，5090dv2 加 32g 内存 2333
加根32G内存可破，而且非常舒服
===================
posted by wap, platform: Chrome
第二个图啥软件啊, 是管理模型的吗
你是linux装的吗
原帖由 @realsquall 于 2026-10-3 19:07 发表
8845hx cpu
64G ddr5 5600
5070ti 12G
192k上下文
40token/s，已经完全可以应用了
8845hx cpu
64G ddr5 5600
5070ti 12G
192k上下文
40token/s，已经完全可以应用了
你是linux装的吗
===================
posted by 论坛助手, platform: iPhone
现在这价格下不去屌了，退而求其次 2q 吧
或者试试虚拟内存
原帖由 realsquall 于 2026-10-03 23:12 发表
加根32G内存可破，而且非常舒服
加根32G内存可破，而且非常舒服
现在这价格下不去屌了，退而求其次 2q 吧
或者试试虚拟内存
===================
posted by wap, platform: iPhone
16g显存，42g内存能用吗
4060ti
16g显存，42g内存能用吗
4060ti
===================
5070ti 16G+64g ddr4，Q3_X速度只有35左右，ddr4拖后腿了。 期待再优化一下，能优化成ninfer那个速度就好用了。
===================
===================
又升级了
5090 32G 64G内存，Strata跑Q4权重，可以跑到100token/s,0.1.39现在已经支持多并发了
2*5080 16G应该比单卡5090 32G还要快。这q4的flashnext，比27b fp8还要强，而且速度快的多。
[ 本帖最后由 realsquall 于 2026-10-5 14:56 编辑 ]
5090 32G 64G内存，Strata跑Q4权重，可以跑到100token/s,0.1.39现在已经支持多并发了
2*5080 16G应该比单卡5090 32G还要快。这q4的flashnext，比27b fp8还要强，而且速度快的多。
[ 本帖最后由 realsquall 于 2026-10-5 14:56 编辑 ]
===================
结论：引擎健康，参数为 OOM 修复后终态；最近 12 个请求 decode 中位 135.7 t/s（74.6~169.8），缓存命中率中位 98.6%（93.5%~99.8%）。取样时间 18:42，当前正有 1 路在生成（就是本会话）。
当前参数（/metrics 实读，v0.1.39）
项 值
模型 qwen3.8-flash-next-unsloth-ud-q4_k_xl
上下文 262144（256K）
KV int8，kv_resident=32768
并发 parallel=4（batch_slots=4，slot_cache=1）
专家缓存 18976 槽 / 55.4 GiB（primary 全在 VRAM）
MTP spec=6，mtp_max=4，lookup=3，spec_min_p=0.70
对话缓存 8192 MiB / 4 slots（min_free 2560）
显存余量 vram_free 2713 MiB（OOM 修复预留 3072 生效中）
其他 pcie_frac 0.35，images=true，vram_elastic=0
Decode 速度（最近 12 请求）
中位 135.7 t/s，区间 74.6 ~ 169.8
分布正常：单发/尾段请求 150-170，多路混跑时降到 75-90（批窗分摊，符合 10-04 终态审计口径）
prefill：增量读 1~1679 token 时 prompt_ms 仅 1~1.4s（缓存复用），冷段 ~700-3900 t/s
命中率
中位 98.6%，最高 99.8%，最低 93.5%
4 个槽持有 39K~117K token 会话态，reused 普遍 10万+ token，说明 conversation-cache + kv-resident 在真实长会话里持续吃满收益
单卡跑出的速度，单发160token左右，同时也可以四路一起干活了，还带多模态，可以看图片和视频，很满足了。以前126G的权重必须两卡运行，速度也只有50-60token，现在不仅可以动态分配专家层到gpu，其他也可以放ram，大大提高命中率，同时速度还翻倍多。另外的卡可以同时跑视频了，解放算力。
当前参数（/metrics 实读，v0.1.39）
项 值
模型 qwen3.8-flash-next-unsloth-ud-q4_k_xl
上下文 262144（256K）
KV int8，kv_resident=32768
并发 parallel=4（batch_slots=4，slot_cache=1）
专家缓存 18976 槽 / 55.4 GiB（primary 全在 VRAM）
MTP spec=6，mtp_max=4，lookup=3，spec_min_p=0.70
对话缓存 8192 MiB / 4 slots（min_free 2560）
显存余量 vram_free 2713 MiB（OOM 修复预留 3072 生效中）
其他 pcie_frac 0.35，images=true，vram_elastic=0
Decode 速度（最近 12 请求）
中位 135.7 t/s，区间 74.6 ~ 169.8
分布正常：单发/尾段请求 150-170，多路混跑时降到 75-90（批窗分摊，符合 10-04 终态审计口径）
prefill：增量读 1~1679 token 时 prompt_ms 仅 1~1.4s（缓存复用），冷段 ~700-3900 t/s
命中率
中位 98.6%，最高 99.8%，最低 93.5%
4 个槽持有 39K~117K token 会话态，reused 普遍 10万+ token，说明 conversation-cache + kv-resident 在真实长会话里持续吃满收益
单卡跑出的速度，单发160token左右，同时也可以四路一起干活了，还带多模态，可以看图片和视频，很满足了。以前126G的权重必须两卡运行，速度也只有50-60token，现在不仅可以动态分配专家层到gpu，其他也可以放ram，大大提高命中率，同时速度还翻倍多。另外的卡可以同时跑视频了，解放算力。
===================
posted by wap, platform: iPhone
那么只有支持moe的模型才能在strata里用吗
那么只有支持moe的模型才能在strata里用吗
===================
posted by wap, platform: Android
今天关注了一下，社区一堆质疑它的inference质量的。
今天关注了一下，社区一堆质疑它的inference质量的。
===================
https://github.com/sergqwer/strata-nvfp4
用这个版本，和fp8基本一样了，99%以上，越来越猛了
用这个版本，和fp8基本一样了，99%以上，越来越猛了
===================
posted by wap, platform: Android
我用iq3s 体验很好了。让他修之前gpt5.5写的烂尾代码意外的好用
原帖由 @qazqaz 于 2026-10-6 05:06 发表
今天关注了一下，社区一堆质疑它的inference质量的。
今天关注了一下，社区一堆质疑它的inference质量的。
===================
flashnext比27b好用，27b现在除了傻快，质量还差点意思
===================
posted by wap, platform: iPhone
试了下，无限循环了。但是速度挺快的。
试了下，无限循环了。但是速度挺快的。
===================
posted by wap, platform: Android
你确定你知道27b会傻快？125b比27b那个快多了。
原帖由 @icetea776 于 2026-10-7 00:41 发表
flashnext比27b好用，27b现在除了傻快，质量还差点意思
flashnext比27b好用，27b现在除了傻快，质量还差点意思
===================
posted by wap, platform: iPhone
模型参数不代表速度的。27b 稠密模型速度并不快。
原帖由 @icetea776 于 2026-10-7 00:41 发表
flashnext比27b好用，27b现在除了傻快，质量还差点意思
flashnext比27b好用，27b现在除了傻快，质量还差点意思
===================
posted by wap, platform: Android
不懂就问：只用本地大模型的语言推理，不做视频，用64g内存加外置5090m显卡在出文速度和结果体验上和豆包ai云端等相比如何，需要上128g内存吗？
本帖最后由 可比熊 于 2026-10-7 08:40 通过手机版编辑
不懂就问：只用本地大模型的语言推理，不做视频，用64g内存加外置5090m显卡在出文速度和结果体验上和豆包ai云端等相比如何，需要上128g内存吗？
本帖最后由 可比熊 于 2026-10-7 08:40 通过手机版编辑
===================
3.8flashnext用q4k xl写文章的水准很不错。豆包免费的显然是不如的。
你24G显卡，如果是128G内存就可以用Q4K_XL,比IQ3S写中文写作方面应该强2个档次
你24G显卡，如果是128G内存就可以用Q4K_XL,比IQ3S写中文写作方面应该强2个档次
===================
我现在单卡pro5000 72G已经可以跑这个速度了，简直炸裂，基本prompt一下去，马上就decode出来的水平了。
附件：: [您所在的用户组无法下载或查看附件]
附件：: [您所在的用户组无法下载或查看附件]
===================
原帖由 cc0128 于 发表于 2026-10-6 21:59 发表
模型参数不代表速度的。27b 稠密模型速度并不快。
模型参数不代表速度的。27b 稠密模型速度并不快。
[ 本帖最后由 icetea776 于 2026-10-7 04:17 编辑 ]
附件：: [您所在的用户组无法下载或查看附件]
===================
我是 Hermes Agent（Nous Research 出品），跑在你的 QuantOS2 工作区里。
我能做的事大致几块：
代码工程：读写文件、跑命令、调试、写测试、git 操作，直接在你的仓库里改东西而不是只给建议。
数据/量化：Tushare 下载、Qlib 快照与回测、Canonical 数据治理这条线我有一整套技能和流程约束。
影视创作：洋子/H3 管线、分镜提示词、BGM 选曲、TTS 配音评估、成片交付到邮箱。
本地基础设施：Hermes 自身配置、MCP、launchd 服务、Ollama/vLLM/NewAPI、Roy 新 PC 运维。
网页/研究：搜索、抓取、浏览器自动化、报告与图表输出。
另外我有持久记忆——你的偏好（结论先行、说人话、实测和推算要分清、治理铁律等）都记着，跨会话生效。
有什么要做的直接说。
我能做的事大致几块：
代码工程：读写文件、跑命令、调试、写测试、git 操作，直接在你的仓库里改东西而不是只给建议。
数据/量化：Tushare 下载、Qlib 快照与回测、Canonical 数据治理这条线我有一整套技能和流程约束。
影视创作：洋子/H3 管线、分镜提示词、BGM 选曲、TTS 配音评估、成片交付到邮箱。
本地基础设施：Hermes 自身配置、MCP、launchd 服务、Ollama/vLLM/NewAPI、Roy 新 PC 运维。
网页/研究：搜索、抓取、浏览器自动化、报告与图表输出。
另外我有持久记忆——你的偏好（结论先行、说人话、实测和推算要分清、治理铁律等）都记着，跨会话生效。
有什么要做的直接说。
===================
deepseek v4.1flash还不如我本地的3.8flashnext Q4kxl快
现在真的爽翻
[ 本帖最后由 realsquall 于 2026-10-7 19:18 编辑 ]
附件：: [您所在的用户组无法下载或查看附件]
现在真的爽翻
[ 本帖最后由 realsquall 于 2026-10-7 19:18 编辑 ]
附件：: [您所在的用户组无法下载或查看附件]
===================
posted by wap, platform: iPhone
好的，我去买内存去了…
好的，我去买内存去了…
===================
posted by wap, platform: Chrome
不过讲真, 你这都是正当需求, 没必要非要本地模型吧
现在其实很多在线api很便宜, 如果用国产那几个模型得话
搞本地模型很多人是为了一些其他正规模型不支持得需求, 比如搞皮角, 写黄色小说, 搞黄色视频等等
原帖由 @realsquall 于 2026-10-7 14:17 发表
我是 Hermes Agent（Nous Research 出品），跑在你的 QuantOS2 工作区里。
我能做的事大致几块：
代码工程：读写文件、跑命令、调试、写测试、git 操作，直接在你的仓库里改东西而不是只给建议。
数据/量化：Tushare 下载、Qlib 快照与回测、Canonical 数据治理这条线我有一整套技能和流程约束。
影视创作：洋子/H3 管线、分镜提示词、BGM 选曲、TTS 配音评估、成片交付到邮箱。
本地基础设施：Hermes 自身配置、MCP、launchd 服务、Ollama/vLLM/NewAPI、Roy 新 PC 运维。
网页/研究：搜索、抓取、浏览器自动化、报告与图表输出。
另外我有持久记忆——你的偏好（结论先行、说人话、实测和推算要分清、治理铁律等）都记着，跨会话生效。
有什么要做的直接说。
我是 Hermes Agent（Nous Research 出品），跑在你的 QuantOS2 工作区里。
我能做的事大致几块：
代码工程：读写文件、跑命令、调试、写测试、git 操作，直接在你的仓库里改东西而不是只给建议。
数据/量化：Tushare 下载、Qlib 快照与回测、Canonical 数据治理这条线我有一整套技能和流程约束。
影视创作：洋子/H3 管线、分镜提示词、BGM 选曲、TTS 配音评估、成片交付到邮箱。
本地基础设施：Hermes 自身配置、MCP、launchd 服务、Ollama/vLLM/NewAPI、Roy 新 PC 运维。
网页/研究：搜索、抓取、浏览器自动化、报告与图表输出。
另外我有持久记忆——你的偏好（结论先行、说人话、实测和推算要分清、治理铁律等）都记着，跨会话生效。
有什么要做的直接说。
现在其实很多在线api很便宜, 如果用国产那几个模型得话
搞本地模型很多人是为了一些其他正规模型不支持得需求, 比如搞皮角, 写黄色小说, 搞黄色视频等等
===================
posted by wap, platform: Samsung
像我这种用hermes调用comfui出图的能这么用吗，我现在是hermes使用deepseek出提示词，调用comfyui并且出图后筛图。但使用本地qwen 3.8 next，32g显存够comfyui和qwen 3.8next一起跑吗。我5090+64g
像我这种用hermes调用comfui出图的能这么用吗，我现在是hermes使用deepseek出提示词，调用comfyui并且出图后筛图。但使用本地qwen 3.8 next，32g显存够comfyui和qwen 3.8next一起跑吗。我5090+64g
===================
原帖由 somesun 于 2026-10-8 08:29 发表
posted by wap, platform: Chrome
不过讲真, 你这都是正当需求, 没必要非要本地模型吧
现在其实很多在线api很便宜, 如果用国产那几个模型得话
搞本地模型很多人是为了一些其他正规模型不支持得需求, 比如搞皮角 ...
posted by wap, platform: Chrome
不过讲真, 你这都是正当需求, 没必要非要本地模型吧
现在其实很多在线api很便宜, 如果用国产那几个模型得话
搞本地模型很多人是为了一些其他正规模型不支持得需求, 比如搞皮角 ...
我是玩硬件，玩模型，不是玩api啊，而且看一下这个速度，还是破限版，刚才优化了一下，基本上200token/s了，这基本接近满血qwen3.8flashnext，还有fp32精度的多模态，我基本可以为所欲为了。找国外的那些需要注册的xx网站的vip会员都可以搞到最高权限。。。其实破限版有非常多的玩法，不能细讲了，能爽到的人自然会懂了。
附件：: [您所在的用户组无法下载或查看附件]
===================
原帖由 madoka 于 2026-10-9 07:54 发表
posted by wap, platform: Samsung
像我这种用hermes调用comfui出图的能这么用吗，我现在是hermes使用deepseek出提示词，调用comfyui并且出图后筛图。但使用本地qwen 3.8 next，32g显存够comfyui和qwen 3.8next一起跑 ...
posted by wap, platform: Samsung
像我这种用hermes调用comfui出图的能这么用吗，我现在是hermes使用deepseek出提示词，调用comfyui并且出图后筛图。但使用本地qwen 3.8 next，32g显存够comfyui和qwen 3.8next一起跑 ...
一起跑肯定不够，你设置个工作流来回跑就行，当然驱动comfyui的时候要用云端api了
===================
posted by wap, platform: Samsung
嗯，我昨天换了个思路改在mac studio装了破限的olmx flashnext 6bit版，配合comfyui也挺好，速度比我使deepseek慢点但也完全可以接受，这样挂机执行任务挺好。
原帖由 @realsquall 于 2026-10-9 22:27 发表
一起跑肯定不够，你设置个工作流来回跑就行，当然驱动comfyui的时候要用云端api了
一起跑肯定不够，你设置个工作流来回跑就行，当然驱动comfyui的时候要用云端api了
===================
posted by wap, platform: iPhone
非常给力
附件：: [您所在的用户组无法下载或查看附件]
非常给力
附件：: [您所在的用户组无法下载或查看附件]
===================
strata引擎又更新了，decode速度再提升13%，太猛了
本帖最后由 潇洒云 于 2026-10-11 14:57 编辑
256K
KV int8
KV resident 32768
spec 6
spec-min-p 0.7
vram reserve 1024
parallel 1
prefill 默认 w4a8
PCIe 自动
route tail skip 7
预计最有可能落在：
190–205 tok/s
新的升级可以拉满到200token了。
[ 本帖最后由 realsquall 于 2026-10-11 15:02 编辑 ]
本帖最后由 潇洒云 于 2026-10-11 14:57 编辑
256K
KV int8
KV resident 32768
spec 6
spec-min-p 0.7
vram reserve 1024
parallel 1
prefill 默认 w4a8
PCIe 自动
route tail skip 7
预计最有可能落在：
190–205 tok/s
新的升级可以拉满到200token了。
[ 本帖最后由 realsquall 于 2026-10-11 15:02 编辑 ]
===================
posted by wap, platform: iPhone
所以具体能干啥？我科研向用gpt6.1-sol高额度根本用不完…
所以具体能干啥？我科研向用gpt6.1-sol高额度根本用不完…
===================
posted by wap, platform: iPhone
本地模型不用担心泄密啊，公司文档上传容易丢工作
原帖由 @心之一方 于 2026-10-11 16:13 发表
所以具体能干啥？我科研向用gpt6.1sol高额度根本用不完…
所以具体能干啥？我科研向用gpt6.1sol高额度根本用不完…
===================
有很多东西根本不能细说，破限的软件越强，能干的事情就超乎你的想象。
===================
posted by wap, platform: Android
上下文还是太小，不支持1M
上下文还是太小，不支持1M
===================
posted by wap, platform: iPhone
96g内存差不多
原帖由 @inter189839 于 2026-10-11 21:33 发表
上下文还是太小，不支持1M
上下文还是太小，不支持1M
===================
1/2页 ##1 ##2 下页
[登录后才可回复]