Local LLM

(338 篇)

开源了一个 LLM 推理服务监控面板

invdan·Local LLM·大約 2 個月前

分享个自己在用的玩具

mountainl·Local LLM·2 個月前·8 回覆

lama.cpp 目前有重大性能 bug： checkpoint 的巡回逻辑对于混合模型（比如 qwen3.6-27B）无效，从而导致大概率每次对话都要 prefill 全文，严重拖慢速度

sentinelK·Local LLM·2 個月前·16 回覆

配置 kiro 的问题

davidyin·Local LLM·2 個月前·21 回覆

现在大模型主流都用哪些 nVidia GPU？

mingtdlb·Local LLM·2 個月前·30 回覆

GPU 跑 LLM 也会超频吗？

mingtdlb·Local LLM·2 個月前·4 回覆

Livid·Local LLM·2 個月前·31 回覆

Gemma4 12b 居然比 Qwen3.5 9b 还快，意料不到

yuping913·Local LLM·2 個月前·3 回覆

什么？ Apple Watch 也能本地跑 Qwen 了？

ericterminal·Local LLM·2 個月前·7 回覆

关于低算力 gpu 推理时 prefill 在总时长中的占比问题

zzutmebwd·Local LLM·2 個月前·8 回覆

Gemma4 12B 如何跑在 16G 显存上？

CatCode·Local LLM·2 個月前·25 回覆

消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低

zhengfan2016·Local LLM·3 個月前·20 回覆

想折腾一个 AI 主机，请行家出手

davidyin·Local LLM·3 個月前·82 回覆

锤子找钉子的项目分享：假想企业本地部署后不用人工洗库接入 llm 的中间层。

KaiWuBOSS·Local LLM·3 個月前·2 回覆

都 2026 年了，为什么还有人觉得 AMD 比 Nvidia 更适合部署本地大模型？

babymonster·Local LLM·3 個月前·130 回覆

DGX Spark、ASUS GX10、MSI EdgeXpert 看起来都像是一个母胎的产品，用起来有差别吗？

SzgSw5zGyN1iy·Local LLM·3 個月前·11 回覆

一直很纠结

az2022·Local LLM·3 個月前

gemma4:31b-coding-mtp-bf16

Livid·Local LLM·3 個月前

我自己的电脑是 5070Ti，总感觉跑一些模型算力不够

babymonster·Local LLM·4 個月前·51 回覆

没人看到人说大模型，就感觉碰到傻 X 了

jciba5n4y6u·Local LLM·3 個月前