写作 / 音乐 / 入门 FAQ

SD 1.5 可以(开 CPU offload 与优化),512 分辨率出一张图 20–40 秒。但体验已属「考古」,¥1.8k 的 3060 12G 是更好的入场券。

查看全文 →

按优先级:开 xformers/SDPA 注意力优化 → 降分辨率 → 换 FP8/GGUF 量化模型 → CPU offload(速度掉 5–10 倍)。这些都是权宜之计,根本解法还是显存容量。

查看全文 →

有,GGUF 逐层 offload:模型分层放显存+内存,显存占 60% 时约 5 tok/s。能跑,但「能用」的门槛是 8 tok/s 以上,对应显存覆盖率 80%+。

查看全文 →

是。32B Q4 约 20G,5070 Ti 16G 轻度 offload 或 5090 全显存覆盖;当前 32B 级开源模型的能力已覆盖 70B 的多数日常用途。除非明确需要 70B 级推理质量,否则 32B 是甜点。

查看全文 →

会,表现形式是 GPU 利用率上不去:视频工作流里抽帧、分辨率调整、光流计算、最终编码都由 CPU 完成,若单步处理时间超过 GPU 生成时间,显卡就在空转——这是很多「换了 5080 还是慢」的真实原因。

查看全文 →

对纯 GPU 推理几乎无影响(模型在显存里)。只在 CPU offload 时,内存带宽直接决定速度——但那是「有没有」的问题,先解决容量再谈频率。

查看全文 →

模型加载失败(OOM)、加载极慢(走 swap)、系统卡死。系统还要占 6–10G,所谓 32G 跑大模型的「32G」不是全部给你的模型用的。

查看全文 →

有,但都是降级:量化(损质)、offload(掉速 5–10 倍)、低分辨率(损功能)。这些手段的本质都是「把装不下变成装得下」,代价远大于当初加 500 元上大一档显存。

查看全文 →

付费 API:DeepSeek-V3 综合最强且便宜;免费:GLM-5-Flash 起步。本地:Qwen3-32B 中文长文质感最好(需 24G 显存),预算低就 14B(12G)。文笔差距 < 一致性管理的重要性——工具链才是分水岭。

查看全文 →

三件套:①角色卡(固定格式的人设/口癖/关系,每章注入);②向量库存世界观设定,按需检索而非全量塞入;③每章结尾生成摘要,滚动替换原文。这套流程能把上下文压在 32K 内,中小模型也能稳。

查看全文 →

能,而且是甜点:ACE-Step 编曲、DiffRhythm 中文歌、MusicGen 全部流畅。12G 卡(3060/5070)是本地音乐的性价比入场券。

查看全文 →

音乐是长序列去噪:一首 3 分钟的歌对应数千步的音频潜空间迭代,计算量约为一张图的百倍量级。快卡缩短等待,显存决定能不能跑——买卡策略与绘画一致:先保容量。

查看全文 →

会:免费档普遍有 RPM(每分钟请求数)与 TPM(tokens 上限)限制,高峰期排队。对原型开发够用;对线上业务,请把免费档当降级兜底而不是主力。

查看全文 →

看条款:多数平台免费档默认允许用于改进服务,付费档可关闭。敏感数据(代码、客户信息)要么走付费档 + 数据协议,要么本地部署——这也是本站存在的原因。

查看全文 →

分场景:手部结构、文字渲染、提示词遵循、真实感人像——Flux 明显强。但 SDXL 的 LoRA/ControlNet 生态成熟度仍占优,特定画风(动漫/插画)微调过的 SDXL 反而更对味。工具没有总冠军,只有匹配度。

查看全文 →

GGUF Q4 量化 + 512-768 分辨率可以跑通,速度慢、高分易爆。能升到 12G+ 体验完全不同——这是「能跑」与「好用」的典型分界线。

查看全文 →

Ollama 一行命令拉起(ollama run qwen3:14b),适合个人;对外提供服务用 vLLM 或 llama.cpp server(并发与 API 兼容更好);Windows 图形界面用 LM Studio。

查看全文 →

32B Q4 约 20G,16G 卡必须把部分层 offload 到内存,速度从 30+ tok/s 掉到 10 tok/s 以下。「能跑」和「好用」之间隔着一张 24G 卡(二手 3090 或 5090)。

查看全文 →

99% 是蒸馏版(R1-Distill):把 R1 的推理能力蒸馏进 Qwen/Llama 小模型,7B-70B 规格,单卡能跑。它与满血 671B 差距明显——蒸馏版保留了推理风格,综合知识与满血版不在一个量级。

查看全文 →

两个硬条件:数据绝对不能出内网(金融/医疗/法务),或部署在内网做大批量离线任务。否则 API 的价格(百万 tokens 几块钱)让本地化在 economics 上几乎不成立。

查看全文 →

7B-8B Q4 量化流畅(10-15 tok/s),14B 勉强。适合对话与轻量写作;绘画(SDXL)可用但慢,视频不现实。16G 是「体验装」,认真玩从 32G 起步。

查看全文 →

显存等价物是统一内存:128G Studio(约 ¥1.9 万)可全内存跑 70B Q4,而 N 卡侧 48G(双 3090)要折腾、5090 32G 要 offload。代价是速度:内存带宽(~800GB/s 顶配)只有 5090 显存的约一半,输出大约 5-8 tok/s——安静、省电、无折腾,适合「让它慢慢写」的任务。

查看全文 →

推理可以(MPS 后端/MLX),速度约为同价 N 卡的一半;训练与生态(CUDA/xformers)仍是短板, Flux LoRA 级任务建议 N 卡或云。定位:Mac=推理终端,N 卡=全能工作站。

查看全文 →

¥1.8k 拿到 12G 显存,单位显存价格全场最低(新卡里),SDXL/7B/14B 量化全解锁。短板是带宽慢、无 DLSS4 新特性——但 AI 场景显存容量 >> 一切。

查看全文 →

4060 Ti 16G 降价后是「预算卡死 + 必须 16G」的备选,但同价位优先 5060 Ti 16G(带宽 +55%,支持 FP4)。4060 8G 只推荐纯 SD 玩家。

查看全文 →

比两年前好得多(ROCm 覆盖 7900/9070 系,llama.cpp/ZLUDA 可用),但仍需折腾。愿意动手 + 想要便宜大显存:可以;要开箱即用:N 卡。

查看全文 →

1024×1024 FP8:5070 Ti 约 20-30 秒/张,5080 约 17-25 秒——差距 15-20%。日更 50 张以内,每天多等不到 5 分钟;日更 200+ 张,一年省下的时间值回差价。

查看全文 →

几乎无感:32B Q4 都是 20+ tok/s 级别,差距 <15%。大模型看显存容量,两卡相同。

查看全文 →

算力指数 ÷ 价格 × 10000:5070 Ti = 8.9,5080 = 7.7。同样花一万元,5070 Ti 买到更多 AI 性能——除非绝对速度刚需,性价比选它。

查看全文 →

SDXL 出图约快 40-50%,LLM 推理快 30-40%,Flux 快 50%+——推理类应用基本是带宽瓶颈,这个差距每张图、每次对话都在累计。

查看全文 →

¥2,500 以内(对比新 5060 Ti 省 ¥1,100+)且验卡通过,作为最低成本 16G 方案可以;再贵就不如加钱新的。

查看全文 →

都只能 offload 跑(16G < 20G),5060 Ti 因带宽快一倍,速度大约 8-10 vs 4-5 tok/s——都是「能跑不爽」档,32B 请看 24G+ 卡。

查看全文 →

纯 SDXL 1024 出图:8G 够用且更快(带宽 256 vs 448 的差距在 8G 场景被掩盖)。但 ControlNet 叠加、高清放大、批量 LoRA 都会顶到 12G+——「只玩 SDXL」的承诺通常撑不过三个月。

查看全文 →

8G:7B Q4 流畅;16G:14B 全速、32B offload。差的是两个模型量级,不是速度百分比。

查看全文 →

从别处省:机箱散热、硬盘缩到 512G——这些后期好补;显存焊死补不了。优先级:显存 > 一切。

查看全文 →

凭 12G:上上代定位失误留下的「平民大显存」。AI 推理看容量再看带宽,3060 的 12G 至今能装下 SDXL + 14B Q4,而 4060 的 8G 装不下就是装不下。

查看全文 →

快(35+ tok/s),但 7B 是它的天花板;3060 慢一点跑 14B,能力上限高一个量级。两年后新模型的门槛涨到 10G,8G 卡出局,12G 还在场上。

查看全文 →

有:¥3.6k 的 5060 Ti 16G——同时比两卡快、比两卡显存大,这就是它成为入门首选的原因。

查看全文 →

二手 2060 12G(约 ¥1,100)+ i3/12400F 散片 + H610 + 16G DDR4 + 512G + 二线电源 ≈ ¥3,000。SD 1.5 全速、SDXL 768 勉强、7B 可跑——入门验证需求够用。

查看全文 →

三个原因:二手显卡风险 + 16G 内存局促 + 512G 装不下几个模型。多攒 ¥1,400 上全新 3060 12G + 32G + 1T 整机,体验翻倍且全部有保修。

查看全文 →

不买硬件:免费 API(GLM-5-Flash)+ Kaggle 免费 GPU + 云 GPU 新人券,零成本覆盖学习需求;确定长期需求后再一次性投入。

查看全文 →

8G 显存 = SDXL 优化可用、7B 流畅、Flux 无缘——台式 4060 8G 的体验,但价格能买台式 5060 Ti 16G 整机。移动刚需再考虑。

查看全文 →

16G 显存(不是台式的 24G),跑 Flux/14B 够用,但 2 万+ 的价格 + 满载噪音/降频,同预算台式 + 便携本的组合体验好得多。

查看全文 →

能且安静:M4 Pro 64G 统一内存跑 32B 很从容。短板是速度(带宽)与生态(无 CUDA、训练弱)。推理终端优秀,全能工作站仍看 N 卡台式——详见 [Mac 跑大模型指南](/guides/mac-mini-llm/)。

查看全文 →

散热:长时间推理会降频(性能掉 20-30%),垫高 + 风扇满转;功耗:插电跑(电池模式性能腰斩);显存:游戏本的「满血版」指功率,显存不会满血。

查看全文 →

PCIe 3.0 x16 对推理影响 <5%(模型加载慢一点,推理速度几乎不变);CPU 六核以上够用。省下的平台预算全部贴给显存,是升级的最优路径。

查看全文 →

5060 Ti(180W)配老 450W 铜牌勉强,建议换 650W 金牌(¥399)——电源是升级路上唯一不能省的安全件。

查看全文 →

三种:电源低于 400W 且非标尺寸(品牌小机箱)、CPU 四核以下(数据预处理会卡)、机箱装不下双槽长卡。其余都能救。

查看全文 →

推理类 10-15%(数据搬运密集型损失更大),训练类 15-25%。5090 外接的实际体验接近台式 5080——花顶配的钱,用次顶配的体验。

查看全文 →

画像很窄:已有雷电 3/4 轻薄本(不能换台式)、桌面空间受限、只偶尔跑重度任务。这类用户 eGPU 是唯一解;其他人台式的性价比高 30%+。

查看全文 →

比雷电带宽翻倍(64Gbps)损失更小,但需要拆机改接口,失去便携性与保修——极客玩法,不适合推荐为通用方案。

查看全文 →

macOS/Windows 官网下载安装包;Linux 一行:curl -fsSL https://ollama.com/install.sh | sh。装完终端跑 ollama run qwen3:7b,模型自动下载运行,无需配环境。

查看全文 →

8G → 7-8B Q4;12G → 14B Q4(甜点);16G → 14B 全速 + 32B offload;24G+ → 32B 全速;无独显 → 7B 纯 CPU(10 tok/s 以内,仅尝鲜)。完整对照表见模型库。

查看全文 →

Ollama:命令行/服务端首选,生态最大;LM Studio:图形界面 + 模型市场,新手友好。两者后端都是 llama.cpp,性能一致——按界面偏好选。

查看全文 →

①显存被其他程序占用导致 offload 变慢(关掉游戏/浏览器硬件加速);②上下文拉满 128K 吃额外显存;③首次加载慢是硬盘读模型(40G 模型 SSD 上 10 秒,机械盘 1 分钟+)。

查看全文 →

顺序很重要:①启动参数加 --medvram(免费,损失 <10%);②模型换 FP8 版(显存减半,画质轻损);③分辨率降一档(1024→768)。这三步能救 90% 的 OOM。

查看全文 →

Q8 几乎无感,Q6 轻微,Q4 在细节纹理上有损失。显存刚差一点选 Q6/Q8,差得多只能 Q4 + 接受降级。

查看全文 →

解码是显存峰值时刻(放大修复时尤甚):开 VAE tiling(分块解码)直接解决,速度慢 20-30% 但不再 OOM——高清放大工作流必备。

查看全文 →

不能。优化的本质是降级换可用:量化损画质、offload 掉速度 5-10 倍、降分辨率损构图。长期玩,显存容量是唯一根治方案。

查看全文 →

LoRA(绘画圈用法):冻结底模训练低秩适配器,显存 ≈ 底模 + 激活;QLoRA(NLP 圈用法):先把底模量化到 4bit 再训 LoRA,显存再砍一半——7B 从 20G 压到 10G。

查看全文 →

现实:FP8 底模 + 梯度检查点 + batch 1,一个 1000 图的 LoRA 约 3-5 小时。24G 卡同样任务快一倍且能开 batch 2——偶尔训 16G 够,常训 24G+。

查看全文 →

4090 约 ¥2/h:SDXL LoRA(2h)≈ ¥4/次,7B QLoRA(4h)≈ ¥8/次。月训练 < 30 小时,云比买卡便宜一个数量级——先云后卡。

查看全文 →

单路对话几乎无差;并发 4 路以上 vLLM 的连续批处理(continuous batching)开始拉开差距,8 路并发时总吞吐可达 Ollama 的 3-5 倍——服务场景的硬差距。

查看全文 →

Ollama:一行命令;vLLM:pip/Docker + 参数调优(prompt 模板、GPU 内存利用率、量化格式)。前者 5 分钟,后者要读文档——但换来的是生产级稳定性。

查看全文 →

常见组合:开发调试用 Ollama(快),上线切 vLLM(稳),两者都兼容 OpenAI API 格式,前端代码不用改。

查看全文 →

不差:官方都有一键安装包,CUDA 驱动即装即用。个人推理选 Windows 完全没问题,别为了「极客感」折腾双系统。

查看全文 →

三个信号:①要跑 vLLM/Xformers 等对编译环境敏感的组件;②用 Docker 部署服务;③多卡/集群。这些在 Windows 上要么折腾要么不支持。

查看全文 →

靠谱且是主流:Windows 里跑 Linux 子系统,CUDA/显存直通,训练生态可用,同时保留桌面体验。注意显存被 Windows 图形界面占 1-2G。

查看全文 →

看耐心:offload 后 8-12 tok/s,日常对话可接受,长文生成会等。若 32B 是主力模型,24G 卡(二手 3090 ¥5.5k)是质变;偶尔用,16G 凑合。

查看全文 →

中文长文/复杂推理/代码明显更强一档——这是「本地生产力」的门槛级差异。显存允许就上 32B,它也是多数开源评测的甜点规格。

查看全文 →

入门 16G offload:¥9.6k;全速 24G(二手 3090):¥9.4k 学生档;旗舰 5090 + 96G:¥3 万。分别对应[本地大模型场景](/scenarios/local-llm/)三档。

查看全文 →

三个常见原因:①没开注意力优化(xformers/SDPA,免费提速 15-25%);②分辨率拉太高(1024 是基准,1344+ 慢一倍);③硬盘是机械盘(每张图重读模型缓存)。

查看全文 →

30→24 步几乎无感(DPM++ 系调度器);配合 LCM/Turbo LoRA 可以压到 8 步,快 3 倍,细节略糊——批量草稿用低步数,精修用标准步数,是生产级的常见组合。

查看全文 →

出图速度 ≈ 显存带宽:3060(360)→ 5060 Ti(448)→ 5070 Ti(896)→ 5080(960)。同代内加钱买带宽,跨代优先看[每万元算力榜](/rankings/gpu-value/)。

查看全文 →

两个原因:显存占用随分辨率平方增长(4K ≈ 16 倍像素);模型在 1024 尺度训练,超出后构图崩坏(多肢体/糊面)。放大方案又快又稳又省显存。

查看全文 →

轻度: tiled 放大(VAE tiling/Ultimate Upscale)分块处理,8G 都能跑,只是慢;重度细节重绘(ControlNet Tile)16G 舒适。瓶颈从显存变成了时间。

查看全文 →

16G + 高带宽:5070 Ti 起步(1024 生成快 + 放大排队短);商用插画级 4K 批量:5080/5090。纯入门体验放大:5060 Ti 16G 够。

查看全文 →

dev:质量上限高、步数多(20-28 步);schnell:4 步出图、速度快 4 倍+,细节略粗。商用选 schnell,自用追求画质选 dev——很多人两个都装。

查看全文 →

严格说不能(非商用许可覆盖生成物用途的解读存在争议)。稳妥做法:商单全部用 schnell 或 SD 系(注意 SDXL 基础许可同样有条件),或购买商业授权。

查看全文 →

宽松可商用:Qwen-Image、Wan2.2、ACE-Step(Apache 系);有条件:SDXL(非商用条款,产出物一般可商用但服务条款另说)、Stable Audio Open;不可商用:MusicGen(CC-BY-NC)。商用前逐一核对官方许可页——见[模型库](/models/)各条目的许可标注。

查看全文 →

能:Wan2.2 1.3B(约 8G)或 LTX 蒸馏版,720p×5 秒约 3-8 分钟/条。14B 级画质模型需要 16G+(量化)。

查看全文 →

两类:国产平台(即梦/可灵等)的每日免费积分,够每天几条短片;海外平台新用户体验分。限制:排队、水印、分辨率上限——白嫖适合尝鲜,量产不适合。

查看全文 →

本地 1.3B vs 云端旗舰:画质、时长、连贯性差 1-2 个档次。免费方案的价值是「跑通流程 + 验证需求」,确定要做视频再投硬件或订阅。

查看全文 →

优先「容量充足」地区(便宜 10-20% 且秒开机);卡型按任务:推理/轻训练 4090,大显存任务 A800(80G,¥5.6/h)。学生认证有专属优惠。

查看全文 →

镜像预装了 PyTorch/CUDA/ComfyUI 等,开机即用——自己配环境动辄 1-2 小时,按 ¥2/h 计费就是 ¥2-4 的「学费」,还容易配错。

查看全文 →

忘!关!机!按量计费 24 小时挂机 = ¥48。习惯:训练脚本结束自动关机(shutdown 命令),或用「定时关机」功能;调试间隙切无卡模式(¥0.1/h)保数据。

查看全文 →

小文件网页上传;大数据集走阿里云盘/OSS 中转(AutoDL 有免费加速);代码用 Git。千万别用网盘直链爬——限速能把等待拉到小时级。

查看全文 →

日用量 <3h:按量;3-8h:包周(约 85 折);7×24 常驻:包月——或者直接算本地回本(见云 vs 本地对比),常驻需求通常本地更划算。

查看全文 →

溢价来自稳定性与生态:AutoDL 类便宜但消费级体验;阿里云贵 2-3 倍但有 SLA/发票/内网互通。个人学习选前者,企业生产选后者。

查看全文 →

有:竞价/抢占式实例(再降 30-50%,可能被回收,适合可断任务)、新用户包月首购优惠、学生认证价。组合使用月成本能压到标价的 6 成。

查看全文 →

轻度(每天几百次对话):免费档 + ¥5-10;中度(自用 Agent/机器人):¥20-50;重度(对外服务):上百起。先免费档跑通,账单会告诉你该切哪档。

查看全文 →

三板斧:①长 system prompt 触发缓存(命中价 1/4);②小模型路由,turbo/flash 答简单的,大模型只兜难题;③控制输出长度(结构化输出比长篇省)。组合可降 50-70%——详见[成本优化指南](/cloud/cost-optimization/)。

查看全文 →

三个信号:月 API 账单 > ¥200(回本周期进入一年内)、数据敏感不能出网、需要无限量批量跑。对照[本地大模型指南](/scenarios/local-llm/)选配置。

查看全文 →

短章节(2-3 千字/次)够用;长篇的瓶颈本来就不是模型而是上下文管理——角色卡 + 章节摘要 + 向量检索的三件套,比换更贵的模型提升更大。

查看全文 →

写作界面:SillyTavern/酒馆类(角色卡与世界观管理,免费开源);本地模型:Ollama + 7-8B;设定库:AnythingLLM/Cherry Studio(免费档)。全套零成本。

查看全文 →

日更 1 万字以上(API 账单出现)、或对文笔上限有出版级要求(切 DeepSeek/旗舰 API)、或隐私要求本地 32B(¥9.6k 整机)——见[AI 写作场景](/scenarios/ai-novel/)。

查看全文 →

编曲接近,人声还有差距(咬字/情感)。本地优势是免费无限量、商用许可清晰(Apache 系)、曲风标签可控;Suno 优势是开箱即用的人声完成度。做 demo/BGM 本地够,发单曲 Suno 省心。

查看全文 →

入门:3060 12G(ACE-Step/DiffRhythm);舒适:16G + 2TB(批量 + 样本库);YuE 长歌:24G。完整三档见[AI 音乐场景](/scenarios/ai-music/)。

查看全文 →

本地 ACE-Step/YuE 是 Apache 系(宽松),Suno 付费订阅才有商用权——这是很多人转向本地的真实原因。音乐商用前核对[音频模型许可](/models/audio/)。

查看全文 →

纯 GPU 推理(模型全在显存):<5% 基本无感;CPU offload 场景:DDR4-3200(约 50GB/s)vs DDR5-6000(约 90GB/s),offload 部分速度差近一半——重度 offload 用户才有换的意义。

查看全文 →

显卡 + 内存 + 电源三项升级后就是收益递减区;CPU 六核以上、主板能点亮新卡,就没必要动。把换平台的钱换成显存,永远是 AI 场景的更优解。

查看全文 →

大:模型加载 40G 文件,SSD 十秒级 vs 机械盘分钟级,且 ComfyUI 每次切模型都重读。¥200 的 1T NVMe 是老平台最便宜的升级,优先级仅次于显卡。

查看全文 →

现代显卡有毫秒级瞬时功耗尖峰(可达 TDP 的 1.5-2 倍),劣质电源直接触发保护重启。ATX3.1 规范专门应对这种负载——5090 级显卡,1200W ATX3.1 是底线不是浪费。

查看全文 →

重要且是整机里「最不该省」的件:它坏了可以带走所有配件。选一二线金牌(ATX3.1)、十年质保的型号,¥400-600 价位没有悬念。

查看全文 →

合理策略:按当前配置 +1 档选(650W 用户上 850W),覆盖一次显卡升级;直接上 1200W 只对明确要 5090 级的人有意义。

查看全文 →

特征:大批量同型号在售、价格明显低于行情、SN 码相近(机房批次)、金手指磨损但外观新、卖家是「数码回收商」。个人自用卡通常有购买记录、原盒或显卡支架等痕迹。

查看全文 →

不一定:训练卡 7×24 满载显存,显存颗粒老化比挖矿的算力损耗更致命。买二手 3090 特别要跑显存测试——显存故障是训练卡的头号死因。

查看全文 →

平台交易(走验货担保)、视频验卡、当面交易跑完五步再付款;价格低得反常 = 风险补偿,不是捡漏。预算内接受不了风险,新卡永远是最稳的答案。

查看全文 →

你付的不只是算力:SLA 保障、弹性伸缩、内网生态、发票合规。企业生产环境这些是刚需;个人学习完全用不上——去[云 GPU 对比](/cloud/gpu-cloud/)看便宜选项。

查看全文 →

两家的竞价 GPU 便宜 40-60%,会被回收:适合无状态推理(自动扩缩容)和带 checkpoint 的训练;务必设置「出价上限」和「回收前动作」(自动保存)。

查看全文 →

值得:两家的 GPU 试用券 + 代金券组合,第一个月能省 50%+。注意试用期结束自动转按量——设好提醒,别让「试用」变「账单惊喜」。

查看全文 →

商家将原版显卡的显存颗粒替换为更大容量颗粒并重焊、改 BIOS 识别——把 11G 变 22G、24G 变 48G。核心芯片不变,显存翻倍。产地集中在华强北系供应链,已流通多年,是「大显存跑大模型」需求的灰色但真实的解。

查看全文 →

NVIDIA 故意把消费卡显存卡在 8-24G,把大显存留给数万元的专业卡;而 32B/70B 模型按显存定价需求。魔改把「70B 自由」的价格从 5 万+(专业卡)拉到 8 千+,填的就是这个缝隙。

查看全文 →

排序:①无官方保修(店保 90 天-1 年,出保即废铁风险);②重焊工艺参差(显存坏一颗全卡报废);③供电散热魔改(部分商家放宽功耗墙换稳定性);④残值差(出手折价 30%+)。本质是拿「故障概率」换「显存价格」。

查看全文 →

不推荐:验卡、监控、故障处理都有门槛。小白的大显存路线:二手 3090 24G(原厂显存,风险模式成熟)或官卡 5060 Ti 16G 起步,等需求真的到 70B 再考虑魔改。

查看全文 →

三个信号:①要插 2-4 张卡跑 70B/MoE(消费级主板双卡 PCIe 拆分损失大);②重度 CPU offload / MoE 混合推理——四通道内存带宽是双通道的两倍,offload 速度直接受益;③内存需求 128G+(HEDT 支持 256G+ 甚至 1T)。

查看全文 →

7000 系(如 7960X,24 核)二手/清库存性价比高;9000 系全新平台带宽与能效更好。CPU 本身对 AI 推理贡献小——预算重点放在主板(PCIe 通道数)与内存通道插满,而不是顶配 U。

查看全文 →

撕裂者 CPU + 主板 + 4×32G DDR5 起步约 ¥15-20k(不含显卡)——是消费级整机的 2-3 倍。所以决策公式很清晰:多卡/四通道带来的收益能不能吃掉这个差价,只有 70B+/MoE 重度玩家能。

查看全文 →

EPYC 更便宜的核心数与更多内存通道(八/十二通道),但无核显、主板贵、机箱形态是服务器向;撕裂者是「工作站形态的 HEDT」,日常使用体验好。AI 玩家主流选撕裂者,机架部署选 EPYC——见[服务器平台指南](/guides/server-cpu-ai/)。

查看全文 →

大模型 CPU 推理的速度上限 = 内存带宽。EPYC 八通道 DDR4-3200 ≈ 204GB/s、DDR5 平台更高,是消费级双通道的 2-3 倍——纯内存跑 MoE 小激活模型(30B-A3B 类)能达到 15-30 tok/s,可用性完全不同。

查看全文 →

拆机 EPYC(如 7002/7003 系 32-64 核)散片价常低于消费级 i9;配套服务器主板/准系统(二手)整体拉低成本。注意:拆机件无保修、散热器为被动式(必须机架风道)、部分板卡需要特定电源接口。

查看全文 →

①噪音:服务器风扇全速像起飞,放卧室别想;②功耗:整机待机就 100W+;③兼容性:内存必须按通道组配 RDIMM(普通内存条插不上);④形态:准系统是机架式,放进家里的书架需要决心。

查看全文 →

要桌面体验(安静/单机箱/核显输出)→ 撕裂者;要极限内存通道与性价比、接受机架形态 → EPYC;只是想试试 → 先用现有电脑 + 内存超频,别直接上服务器平台。

查看全文 →

消费级主板说明书标注(通常 4 槽 = 双通道,插 2/4 槽或 1/3 槽);HEDT/服务器主板标注四/八通道,必须按通道组等容量插满。插错的典型症状:容量对但带宽减半(AIDA64 一测便知)。

查看全文 →

两种场景:①offload——显存装不下的层放内存,每生成一个 token 都要过一遍,内存带宽直接决定速度(双通道 offload 32B ≈ 4-6 tok/s,四通道翻倍);②MoE——全部参数常驻内存,带宽就是天花板。

查看全文 →

分两种:原本没插满通道(如 2 条插 4 槽板的双通道已是满配)→ 插满通道翻带宽;已经满通道 → 加容量只提升「能装下多少」,不提升速度。带宽 vs 容量,见[内存速度测试](/guides/memory-speed-benchmark/)。

查看全文 →

DDR5 单条内部是两个 32bit 子通道,但主板层面双条仍是「双通道」总位宽 128bit——营销话术常混淆。判断标准只有一个:实测带宽(DDR5-6000 双通道 ≈ 90GB/s,DDR4-3200 ≈ 50GB/s)。

查看全文 →

不能:DDR3/4/5/6 物理防呆缺口位置不同,插不进异代插槽。能混的只有同代不同频率(就低运行)。所以「升级内存」和「换平台」经常是同一件事。

查看全文 →

①单条双 32bit 子通道(并行效率提升,尤其小数据块访问);②PMIC 电源管理上移到内存条(电压从 1.1V 起步,超频空间更大)。对 AI 的实际意义:同频带宽利用率更高,offload 场景比 DDR4 快约 30-50%。

查看全文 →

JEDEC 标准已定(8Gbps 起步、预期消费版上探 12-17Gbps),2026 年处于平台导入早期,首发绑定新一代服务器/旗舰平台。对普通用户:别等——DDR5 正处于价格甜点位,DDR6 首发溢价惯例是 2-3 倍。

查看全文 →

纯 GPU 推理(模型全在显存):不用,带宽差距 <5%。重度 offload / MoE:DDR3(26GB/s)确实到极限,DDR4 双通道勉强,这时才考虑换。先测再换:[内存速度测试指南](/guides/memory-speed-benchmark/)。

查看全文 →

跑一次带宽测试对照理论值:DDR5-6000 双通道理论 ≈ 96GB/s,实测 <75GB/s 基本就是单通道运行(插错槽)或频率锁定在默认 4800——查主板说明书换槽位/开 XMP/EXPO 再测。

查看全文 →

大模型推理是顺序流式读取,带宽占绝对主导;延迟影响小(推理队列深度大)。所以内存选购优先级:容量 > 通道 > 频率 > 时序——别为低时序内存多花钱,把钱花在容量上。

查看全文 →

①MemTest86 / memtest86+ 完整跑 4 轮以上(错误会标出具体地址);②AIDA64 带宽对照同规格正常值;③温度:满载 <50℃(过热说明颗粒老化或马甲虚焊)。内存是二手配件里最值得买的(无机械磨损),但必须测。

查看全文 →

Linux:sysbench memory 测吞吐、dmidecode -t memory 查实际运行频率;Windows:AIDA64 试用版可测。最简单粗暴的验证:跑你的模型看 tok/s,对照同配置网友数据。

查看全文 →

功率:(CPU TDP + 显卡 TDP)× 1.5,5060 Ti → 650W、5070 Ti/5080 → 850W、5090 → 1200W ATX3.1。牌子:只买一二线金牌(它坏了会带走整台机器,是唯一不能省的配件)。模组与否无所谓,瓦数和牌子才是重点——详见[电源功率计算指南](/guides/psu-wattage-calc/)。

查看全文 →

4 槽主板的双通道通常要求 2/4(离 CPU 最远的两根)或 1/3——插 1/2 就是单通道,带宽直接减半。原则:两根条优先插满一个通道组,看主板说明书/丝印标注。

查看全文 →

AI 主机黄金比例:显卡 50-60%、CPU 15%、内存 10%、存储 8%、电源机箱散热 7%。显卡外的所有件按「够用」配——这不是游戏机,CPU 超频和 RGB 都不产生 token。

查看全文 →