Local LLM

(338 篇)

LiteChat 轻量级本地大模型聊天 WebUI，支持 vLLM

zsj1029·Local LLM·3 個月前·7 回覆

能一起给本地部署的开源模型做个适配的 coding agent 吗？我憋了口气

KaiWuBOSS·Local LLM·4 個月前·115 回覆

github 看到一个项目， 3090 跑 27B， 129tps，最高 207tps

stefwoo·Local LLM·4 個月前·10 回覆

私有化部署大模型的“终点”是 Mac 还是 Nvidia？

babymonster·Local LLM·4 個月前·29 回覆

自己做了一款在线 GPU 推理速度计算器 · TPS Calculator

diudiuu·Local LLM·4 個月前·12 回覆

我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

KaiWuBOSS·Local LLM·4 個月前·107 回覆

有一台 16 寸 m1max 64g+1T 满 GPU 的 MacBook Pro 适合部署哪个本地模型

alangz·Local LLM·4 個月前·11 回覆

用 antirez 的 llama.cpp fork 把 DeepSeek v4 Flash 在本地跑起来了

Livid·Local LLM·4 個月前·15 回覆

qwen3.6 27b 本地编码测试

zsj1029·Local LLM·4 個月前·62 回覆

全球本地部署开发者们一起，打造一个真正属于开源社区的 Coding Agent 了

KaiWuBOSS·Local LLM·4 個月前·29 回覆

xllm 真的比 vllm+plugin 性能好么？

joeue404·Local LLM·4 個月前

各位推荐一个 32G Macbook air M5 可以跑的 moe 模型

Hermitist·Local LLM·4 個月前·19 回覆

请教一个关于模型训练主机配置的问题

jamme·Local LLM·4 個月前·12 回覆

我的开源项目，欢迎大家使用和批评，本地无字典字符型模型训练架构代码完全开源，可形成语义结构

evegod·Local LLM·4 個月前

大伙有想过二次训练吗？

archxm·Local LLM·4 個月前·9 回覆

想在本地部署 OCR 服务，解析美团的外卖订单截图，求推荐一个好用的 OCR 模型

EchoPrince·Local LLM·4 個月前·48 回覆

多台 GPU 之间怎么组网互联？

mingtdlb·Local LLM·4 個月前·30 回覆

用 DGX Spark 做这些事情，是否能力合适/足够，有佬能解答吗?(估算也行)

qazwsxkevin·Local LLM·4 個月前·6 回覆

有没有简单版的 new-api 项目

novaren·Local LLM·4 個月前·7 回覆

部署本地模型 token 输出万能公式

diudiuu·Local LLM·4 個月前·3 回覆