在您自己的游戏电脑上运行 1250 亿参数的 AI 模型
（NVIDIA 或 AMD 显卡，12 GB 或以上显存），支持 Windows 或 Linux 系统，免费开源。
体素宝塔花园，单次提示，在 RTX 5070 显卡上运行，使用 Strata 渲染器（IQ3_S，128K 上下文）· 完整视频（49 秒）
Strata 可以在普通 PC 上运行Qwen3.8-Flash-Next。这是一个大型智能 AI 模型，通常需要服务器支持。它可以聊天、编写代码、读取图片，并与您的应用程序和编码代理协同工作。所有数据都不会离开您的 PC。
它的速度有多快？
我们在两台普通游戏电脑上进行了测试。一个词元大约相当于四分之三的单词。
回复速度：短聊天中回复的显示速度。每秒 60 个响应，比你阅读的速度还快。
读取你的提示：接收你发送的内容（这里是一个 32K 令牌的文档、代码或聊天记录）的速度有多快。
NVIDIA：Q2_0 行使用引擎 0.1.36，其他行使用 0.1.26（4K 个答案，32K 个提示）。完整表格请参见 DETAILS.md 文件。显存越大的显卡速度越快：RTX 3090（24 GB）每秒写入约 100-140 个 token。长聊天和其他显卡：各型号速度， 社区结果。
Strata是免费的。如果它在你的电脑上运行良好，一杯咖啡就能让你继续工作。
你需要什么
安装程序会设置其他所有事项。两张或三张显卡可以共享该型号（多GPU）。
实验性的，由社区成员在自己的机器上编写和测试：
较旧的显卡（Tesla P40 / V100、GTX 10、Radeon VII / MI50、RX 6700 XT、RX 5500 XT）：较旧的 GPU。
Intel Arc，基于 Linux 源代码构建：Intel Arc。
不带 AVX2 指令集的旧处理器：它们可以工作，但速度很慢。旧款 CPU。
完整列表：docs/INSTALL.md。
安装
让你的AI来设置它。
你使用人工智能代码助手（例如 Claude Code、Cursor、Codex、GitHub Copilot 等）吗？请将以下内容粘贴到其中：
Set up Strata on this PC for me: https://github.com/Niko1221/Strata - follow docs/AI_SETUP.md in that repository.
它会检查您的显卡、内存和硬盘，并选择合适的型号。然后，它会安装并启动程序，并告诉您如何连接应用程序。人工智能工具还可以通过其 MCP 服务器安装、启动和停止 Strata 。
或者自己动手。
下载 Strata并解压缩（或git clone直接解压）。Windows 系统：双击运行START-HERE.bat。Linux系统：./setup.sh在 Strata 文件夹中运行。
NVIDIA 和 AMD 的安装步骤相同。安装程序会自动找到您的显卡并为其设置正确的引擎。之后，它会询问您几个问题：
哪个型号和哪个尺寸？
模型记住的上下文量（模型记住的文本量），
是否应该显示图片。
每次按 Enter 键即可选择推荐答案。然后它会下载模型（约 70 GB）并开始下载。如果下载停止，请再次运行：它会从上次中断的地方继续下载。您的浏览器将打开 Strata 应用程序 http://127.0.0.1:8080。
模型启动时，您的电脑可能会运行缓慢或停止响应 1-3 分钟（首次启动时间可能更长）。Strata 会将 35-55 GB 的内存加载到您的 RAM 中，并锁定其中一部分供显卡使用。这是正常现象。请耐心等待，不要关闭窗口。该窗口会显示 Strata 的运行状态。
下次再运行START-HERE.bat（或./setup.sh）。它会立即启动，不会下载两次。关闭窗口即可停止模型。UPDATE.bat（./update.sh）会在不启动 Strata 的情况下更新它。有关更新、Docker、多个卡片、文件存放位置以及所有选项的信息，请参阅：docs/INSTALL.md。
我应该选择哪款型号？
安装程序会根据您的内存推荐合适的内存条。同一型号的内存条有多种容量规格，压缩程度各不相同。容量较小的内存条速度更快，容量较大的内存条则性能更佳。
Coder：一个移除了半数专家的代码版本。它达到了完整模型 SWE-bench 验证分数的 91%（由作者评测），并占用 32 GB 内存。在代码之外，例如处理中文和其他中日韩文本时，它的性能较弱（#438）。对于这些文本，建议使用 Q2_0、IQ2_XS 或 IQ3_S，这些版本保留了所有专家。
Swift 1.5：进行了微调，思考时间大大缩短，就能更快地给出答案。在保证答案质量的前提下，您可以更快地获得答案。
Unsloth UD-IQ4_XS： Unsloth 的 4 位版本，质量介于 IQ3_S 和 UD-Q4_K_XL 之间。下载大小为 94 GB。在内存小于 80 GB 的情况下，Strata 会在响应时从 SSD 读取部分数据，因此速度会比较慢（使用 NVMe SSD 可以改善这种情况）。
Unsloth UD-Q4_K_XL（实验型）：最接近完整模型。但 Strata 在响应时会从 SSD 读取大部分数据，因此在 64 GB 的 PC 上写入速度仅为 7-8.5 个令牌/秒。
OrcaRouter 的 Uncensored IQ3_XXS：需要手动设置，不在安装程序菜单中。
尺寸、下载和适用范围：docs/MODELS.md。要稍后添加其他模型，请运行 SETUP.bat（Linux ./setup.sh --setup：）。
使用它
Strata 应用的监视器（左图），同时编码代理正在根据视频编写宝塔花园（右图）。
在浏览器中打开
http://127.0.0.1:8080。它有聊天功能、实时监控模型和您的 GPU/CPU/RAM 的信息，以及包含设置和地址的“关于”页面。您的应用和编码代理：添加一个“OpenAI兼容”的提供程序，并指定其基本URL
http://127.0.0.1:8080/v1。任何API密钥和任何模型名称均可使用。使用 Anthropic API 的应用程序：
http://127.0.0.1:8080/v1/messages（Claude 代码ANTHROPIC_BASE_URL=http://127.0.0.1:8080：）。Codex CLI 和其他使用 OpenAI Responses API 的应用程序：（
/v1/responses设置）。
思考难度：在聊天菜单或应用的“推理难度”设置中选择“关闭”、“低”、“中”或“高” 。“关闭”速度最快。“高”最适合回答难题。
图片：在设置中选择“是”，然后选择“启用图片”。之后，点击聊天窗口中的“图片” ，或在应用程序中添加图片。AMD显卡在Linux系统下可以通过处理器读取图片；但在Windows系统下目前尚不支持此功能。
通过手机或其他电脑：
START-HERE.bat --setup --host 0.0.0.0 --api-key <secret>务必设置密钥。Strata 默认一次只响应一个请求，其他请求则等待。要同时响应多个请求，请进行设置
"parallel": 2（参见BATCHING.md）。在 12 GB 的存储卡上，这样做会降低每次响应的速度。提示信息较长： Strata 会完整读取聊天记录的第一条消息，大约每 30,000 个代币需要 1 分钟。后续消息会在几秒钟内开始读取。
更多信息：您的聊天记录存储在哪里，API。
出问题了吗？
我第一次启动 Strata 时电脑卡住了。这是加载模型时的正常现象。请稍等片刻，不要关闭窗口。如果 10 分钟后仍然卡住，请重启电脑，关闭其他程序后再试一次，或者选择较小的尺寸。
下载或安装过程中会停止。再次运行
START-HERE.bat（或./setup.sh）命令，它会从停止的地方继续。运行速度非常慢，磁盘指示灯一直闪烁，或者显示“引擎意外停止”。您的电脑可用内存不足。请关闭其他程序（浏览器会占用大量内存），或选择较小的内存容量（Q2_0 或 IQ2_XS）。
它提示端口 8080 已被占用。Strata程序已经在运行。请查看它的窗口。
更多问题及其解决方法：docs/TROUBLESHOOTING.md。仍然遇到问题？请提交 issue并strata-<model>.log从 Strata 文件夹附加相关文件。发现安全问题？请私下报告：SECURITY.md。
它是如何运作的？
这类模型通常运行在拥有数百GB显存的服务器上。你的显卡只有12-24GB显存。Strata通过将工作负载分配到你的整个PC上，使模型能够适应你的配置。想象一下厨房：你经常使用的东西放在台面上，其余的则放在储藏室里。
该模型由 24,576 名小型专家（“专家”）组成。每个词只需要 10 名专家。
你的显卡保存着最常用的几千个专家数据。你的内存存储着所有这些数据，而你的处理器则同时处理其余的数据。你的固态硬盘则存储着一个庞大的查找表。
先猜测，后验证：一个小助手猜测接下来的几个词。大模型一次性验证所有猜测的词。这样就能得到相同的答案，速度提升 1.6 到 1.8 倍。
长文本以大块形式读取（一次最多 8,192 个标记），速度超过每秒 1,000 个标记。
更详细的说明：docs/HOW_IT_WORKS.md。每个部件及其编号： 详细信息和论文。
版权和许可
该模型为 Qwen 团队开发的Qwen3.8-Flash-Next 。它由ISTA-DASLab、UkisAI（Swift 1.5）和 Unsloth压缩。Strata 使用了llama.cpp / ggml的部分代码。所有版权信息请参见 docs/HOW_IT_WORKS.md。Strata采用MIT 许可证开源。部分组件和每个模型都有各自的许可证（具体许可证请参见此处）。
支持层
Strata 是免费开源的。如果您觉得它有用，可以支持它的开发：
项目地址：https://github.com/Niko1221/Strata
12.8k颗星
观察者
82人观看