一、Strata 是什么
GitHub 上的开源模型部署工具，目标是让硬件配置有限的普通电脑也能运行超大参数语言模型，最高支持 1250 亿参数（125B）。

即使显卡只有 8GB 显存，也不一定只能跑小模型，本地运行大模型的硬件门槛有望降低。

二、工作原理

核心思路是模型权重分层存放和加载：

部分数据放入显存；

其余数据利用系统内存；

必要时借助硬盘空间；

通过显存、内存、硬盘协同调度，突破显存容量的部分限制。

官方/文章称：相同模型、相同提示词下，Strata 速度比 llama.cpp 快近 4 倍。
三、部署方法
下载开源 Strata 项目

下载地址：https://github.com/Niko1221/Strata/releases/tag/v0.2.6

下载后直接打开安装，会根据电脑硬件推荐最适合的模型和部署环境。

支持 N卡、A卡、Mac、Linux 等系统。

加载本地模型

如果之前下载过开源模型，可直接载入：

点击左侧 模型 → 管理模型 → 使用本地 GGUF 格式的模型，加载即可。

自带监控面板。

四、一句话总结
Strata 通过显存、内存、硬盘协同调度来分层加载模型权重，试图让 8GB 显存级别的普通电脑也能运行 125B 超大模型，并支持本地 GGUF 模型加载和多平台部署。