llama-gpt

LlamaGPT：一款自托管、离线的ChatGPT替代品

LlamaGPT是一个基于Llama 2模型的自托管、离线运行的聊天机器人项目。它提供了类似ChatGPT的对话体验，但完全私密，所有数据都保存在用户自己的设备上，不会外传。该项目由Umbrel团队开发，最新版本已支持Code Llama模型和NVIDIA GPU。

主要特点

100%私密：所有数据都在本地处理，不会离开用户设备

离线运行：无需互联网连接即可使用

自托管：用户可以在自己的设备上部署和运行

多种模型支持：包括Llama 2和Code Llama系列模型

兼容OpenAI API：提供与OpenAI API兼容的接口

支持的模型

LlamaGPT目前支持多种Llama 2和Code Llama模型，包括:

Nous Hermes Llama 2系列(7B、13B、70B)

Code Llama系列(7B、13B)

Phind Code Llama 34B

这些模型的大小从3.79GB到38.87GB不等，运行所需内存从6.29GB到41.37GB不等。

安装方式

LlamaGPT提供了多种安装方式:

在umbrelOS家庭服务器上一键安装

在M1/M2 Mac上通过Docker安装

在任何支持Docker的系统上安装

通过Kubernetes部署

安装过程简单，只需几个命令即可完成。不同型号的设备和不同大小的模型，其运行速度会有所差异。

OpenAI兼容API

LlamaGPT还提供了与OpenAI API兼容的接口，可以在http://localhost:3001访问。这让开发者可以轻松将现有的基于OpenAI API的应用迁移到LlamaGPT上。

未来发展

LlamaGPT的开发团队正在积极开发新功能，包括:

支持加载自定义模型

允许用户在不同模型间切换

进一步优化性能

该项目欢迎开发者参与贡献，特别是在这些新功能的开发上。

总的来说，LlamaGPT为用户提供了一个强大、灵活且注重隐私的AI聊天解决方案。无论是个人用户还是开发者，都可以轻松部署和使用这个开源项目，享受类似ChatGPT的AI对话体验。