12GB 显存显卡跑 125B Qwen3.8 模型：Strata 登场，单张 RTX 5070 跑出 94 词元 / 秒

据IT之家10月6日消息，科技媒体gigazine在当日发布报道，透露开发者Niko1221已开源推出Strata引擎，该引擎允许在显存容量为12GB及以上的消费级显卡上，运行量化后的Qwen3.8-Flash-Next模型（该模型包含1250亿参数）。

IT之家补充说明，Qwen3.8-Flash-Next模型是阿里巴巴Qwen团队于2026年8月推出的多模态混合专家（MoE）模型的压缩迭代版本，配备了125B参数，同时额外包含51B参数的n-gram嵌入表，原生支持262K token的上下文长度。

为降低显存占用，Strata主要依赖两项核心技术：一是将MoE（混合专家）模型整体加载到RAM中，仅将使用频率较高的专家模型调入VRAM；二是采用轻量模型进行投机解码，通过预测下一个Token来加速推理进程。

在硬件配置方面，运行Qwen3.8-Flash-Next需要满足最低要求：配备12GB以上VRAM的NVIDIA或AMD显卡、32GB以上RAM、80GB以上存储空间（建议使用SSD），以及Windows 10/11或Linux操作系统。

性能数据上，在搭载NVIDIA GeForce RTX 5070（12GB VRAM）、Ryzen 5 7600处理器和64GB RAM的配置中，2比特量化版Q2_0实现了94词元/秒的推理速度，3比特量化版IQ3_S则达到53词元/秒。而在AMD Radeon RX 9070 XT（16GB VRAM）环境下，Q2_0版本的推理速度为60词元/秒。

NVIDIA平台性能表现：

硬件配置：NVIDIA RTX 5070（12 GB显存），AMD Ryzen 5 7600，64 GB系统内存。

量化版本（Size）	写答案速度（Writes answers）	阅读提示速度（Reads your prompt）
Q2_0	94个词元/秒	2,650个词元/秒
IQ2_XS	79个词元/秒	2,090个词元/秒
IQ3_XXS	62个词元/秒	1,750个词元/秒
IQ3_S	53个词元/秒	1,620个词元/秒
Coder	55个词元/秒	2,180个词元/秒

AMD平台性能表现：

硬件配置：AMD RX 9070 XT（16 GB显存），AMD Ryzen 9 3900X，47 GB内存。

量化版本（Size）	写答案速度（Writes answers）	阅读提示速度（Reads your prompt）
Q2_0	60个词元/秒	1,160个词元/秒
IQ2_XS	52个词元/秒	1,110个词元/秒
Coder	44个词元/秒	1,420个词元/秒

这里“写答案”对应生成回复（输出）的速度，“阅读提示”则对应处理用户输入prompt（上下文）的速度。用户可通过九游平台获取更多相关信息。

参考

• 点此前往GitHub体验Strata