Serge Alpaca模型聊天界面
Serge 是基于 llama.cpp 的聊天界面,用于运行羊驼模型。完全自托管,不需要 API 密钥。适合 4GB RAM 并在 CPU 上运行。
SvelteKit 前端
用于存储聊天记录和参数的 Redis
API 的 FastAPI + langchain,使用 python 绑定包装对 llama.cpp 的调用
使用
设置 Serge 非常简单,可以在一个命令中完成启动:
docker run -d \ -v weights:/usr/src/app/weights -v datadb:/data/db/ \ -p 8008:8008 ghcr.io/nsarrazin/serge:latest
然后只需转到 http://localhost:8008/ 就可以了!
API 文档可以在 http://localhost:8008/api/docs 找到
关注公众号:拾黑(shiheibook)了解更多
赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
关注网络尖刀微信公众号
随时掌握互联网精彩
随时掌握互联网精彩
- 英镑汇率2023年5月18日
- 21世纪美国的核常融合威慑战略
- 评论:“明年复明年”,2G/3G退网咋就这么难?
- 中共中央 国务院印发《扩大内需战略规划纲要(2022-2035年)》
- 【有料视频】一招解决开黑炸麦!
- 资本运作成就“隐形链长”:中国移动正式“入主”启明星辰
- 年末抄底必看!好评率超高的10大笔记本电脑
- 女子熟睡中被翻开眼皮刷脸转走15万?支付宝回应
- 东京奥运会首日 中国队斩获三金一铜;鸿星尔克直播销售破1亿 ;“双减”工作选取北京上海等9个地区作为试点|Do早报
- 核酸检测背后的疯狂生意经
- 罗永浩再被限制消费;美团旗下钱袋宝支付被行政处罚26万;百度将回购计划从30亿美元提高至45亿美元|Do早报
- 6亿像素CMOS正在研发,未来便携设备或将革命
赞助链接