Local LLM

(301 篇)

本地部署 GLM-5.2 的门槛太高了，根本玩不起！

beginor·Local LLM·大約 8 小時前·22 回覆

大模型小白推荐一下本地模型

jiezou·Local LLM·7 天前·30 回覆

开源了一个 LLM 推理服务监控面板

invdan·Local LLM·7 天前

有支持 6000 Ada 使用 deepseek v4 flash 推理的框架吗

frankyzf·Local LLM·10 天前·8 回覆

分享个自己在用的玩具

mountainl·Local LLM·12 天前·8 回覆

配置 kiro 的问题

davidyin·Local LLM·14 天前·21 回覆

现在大模型主流都用哪些 nVidia GPU？

mingtdlb·Local LLM·20 天前·30 回覆

lama.cpp 目前有重大性能 bug： checkpoint 的巡回逻辑对于混合模型（比如 qwen3.6-27B）无效，从而导致大概率每次对话都要 prefill 全文，严重拖慢速度

sentinelK·Local LLM·17 天前·15 回覆

GPU 跑 LLM 也会超频吗？

mingtdlb·Local LLM·17 天前·4 回覆

Livid·Local LLM·18 天前·31 回覆

Gemma4 12b 居然比 Qwen3.5 9b 还快，意料不到

yuping913·Local LLM·19 天前·3 回覆

什么？ Apple Watch 也能本地跑 Qwen 了？

ericterminal·Local LLM·19 天前·7 回覆

关于低算力 gpu 推理时 prefill 在总时长中的占比问题

zzutmebwd·Local LLM·20 天前·8 回覆

Gemma4 12B 如何跑在 16G 显存上？

CatCode·Local LLM·24 天前·25 回覆

消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低

zhengfan2016·Local LLM·29 天前·20 回覆

想折腾一个 AI 主机，请行家出手

davidyin·Local LLM·大約 2 個月前·82 回覆

锤子找钉子的项目分享：假想企业本地部署后不用人工洗库接入 llm 的中间层。

KaiWuBOSS·Local LLM·大約 2 個月前·2 回覆

都 2026 年了，为什么还有人觉得 AMD 比 Nvidia 更适合部署本地大模型？

babymonster·Local LLM·大約 2 個月前·130 回覆

DGX Spark、ASUS GX10、MSI EdgeXpert 看起来都像是一个母胎的产品，用起来有差别吗？

SzgSw5zGyN1iy·Local LLM·大約 2 個月前·11 回覆

一直很纠结

az2022·Local LLM·大約 2 個月前