Serge 是基于 llama.cpp 的聊天界面，用于運行羊駝模型。完全自托管，不需要 API 密鑰。適合 4GB RAM 并在 CPU 上運行。

• SvelteKit 前端

• 用于存儲聊天記錄和參數(shù)的 Redis

• API 的 FastAPI + langchain，使用 python 綁定包裝對 llama.cpp 的調(diào)用

使用

設(shè)置 Serge 非常簡單，可以在一個命令中完成啟動：

docker run -d \ ? ? ? ? -v weights:/usr/src/app/weights -v datadb:/data/db/ \ ? ? ? ? -p 8008:8008 ghcr.io/nsarrazin/serge:latest ? ? ? ?

然后只需轉(zhuǎn)到?http://localhost:8008/?就可以了！

API 文檔可以在?http://localhost:8008/api/docs?找到

關(guān)注公眾號：拾黑（shiheibook）了解更多

友情鏈接：

關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級服務(wù)市場：https://www.ijiandao.com/
安全、綠色軟件下載就上極速下載站：https://www.yaorank.com/