首頁
/
節點
/
Local LLM
(373 篇)
GPU 跑 LLM 也会超频吗?
mingtdlb
·
Local LLM
·
5 個月前
·
4 回覆
DiffusionGemma
Livid
·
Local LLM
·
5 個月前
·
31 回覆
Gemma4 12b 居然比 Qwen3.5 9b 还快,意料不到
yuping913
·
Local LLM
·
5 個月前
·
3 回覆
什么? Apple Watch 也能本地跑 Qwen 了?
ericterminal
·
Local LLM
·
5 個月前
·
7 回覆
关于低算力 gpu 推理时 prefill 在总时长中的占比问题
zzutmebwd
·
Local LLM
·
5 個月前
·
8 回覆
Gemma4 12B 如何跑在 16G 显存上?
CatCode
·
Local LLM
·
6 個月前
·
25 回覆
消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang,好像使用 transformer 推理都比这两个框架快,并且占用显存低
zhengfan2016
·
Local LLM
·
6 個月前
·
20 回覆
想折腾一个 AI 主机,请行家出手
davidyin
·
Local LLM
·
6 個月前
·
82 回覆
锤子找钉子的项目分享:假想企业本地部署后不用人工洗库接入 llm 的中间层。
KaiWuBOSS
·
Local LLM
·
6 個月前
·
2 回覆
都 2026 年了,为什么还有人觉得 AMD 比 Nvidia 更适合部署本地大模型?
babymonster
·
Local LLM
·
7 個月前
·
130 回覆
DGX Spark、ASUS GX10、MSI EdgeXpert 看起来都像是一个母胎的产品,用起来有差别吗?
SzgSw5zGyN1iy
·
Local LLM
·
7 個月前
·
11 回覆
一直很纠结
az2022
·
Local LLM
·
7 個月前
gemma4:31b-coding-mtp-bf16
Livid
·
Local LLM
·
7 個月前
我自己的电脑是 5070Ti,总感觉跑一些模型算力不够
babymonster
·
Local LLM
·
7 個月前
·
51 回覆
没人看到人说大模型,就感觉碰到傻 X 了
jciba5n4y6u
·
Local LLM
·
7 個月前
LiteChat 轻量级本地大模型聊天 WebUI,支持 vLLM
zsj1029
·
Local LLM
·
7 個月前
·
7 回覆
能一起给本地部署的开源模型做个适配的 coding agent 吗?我憋了口气
KaiWuBOSS
·
Local LLM
·
7 個月前
·
115 回覆
github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps
stefwoo
·
Local LLM
·
7 個月前
·
10 回覆
私有化部署大模型的“终点”是 Mac 还是 Nvidia?
babymonster
·
Local LLM
·
7 個月前
·
29 回覆
自己做了一款在线 GPU 推理速度计算器 · TPS Calculator
diudiuu
·
Local LLM
·
7 個月前
·
12 回覆
«
3
4
5
6
7
»