text-generation-webui

页面：https://github.com/oobabooga/text-generation-webui
下载：https://github.com/oobabooga/text-generation-webui/archive/refs/heads/main.zip
解压main.zip到:d:/text-generation-webui

安装python环境管理工具：Miniconda

页面：https://docs.anaconda.com/free/miniconda/
下载：https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe
安装：打开Miniconda3-latest-Windows-x86_64.exe安装。

开始安装 text-generation-webui

1、执行:D:/text-generation-webui/cmd_windows.bat
2、等待。
3、期间有提示：硬件选择 A:N卡，B：A卡，C：Apple卡，D：Inter卡，E:仅使用CPU。
4、本次选择E: CPU 无GPU。

安装网页用户界面（命令行在:D:/text-generation-webui/cmd_windows.bat）
pip install -r requirements_cpu_only.txt

按需求使用文件

NVIDIA     has AVX2     requirements.txt
NVIDIA     no AVX2     requirements_noavx2.txt
AMD           has AVX2     requirements_amd.txt
AMD           no AVX2     requirements_amd_noavx2.txt
CPU only   has AVX2     requirements_cpu_only.txt
CPU only   no AVX2     requirements_cpu_only_noavx2.txt
Apple       Intel     requirements_apple_intel.txt
Apple      Apple Silicon  requirements_apple_silicon.txt

启动

执行:D:/text-generation-webui/start_windows 无错提示即可。

使用text-generation-webui

浏览器打开：http://127.0.0.1:7860/

下载模型

模型应放置在文件夹中text-generation-webui/models。它们通常是从Hugging Face下载的。

GGUF 模型是单个文件，应直接放入models. 例子：

text-generation-webui
└── models
    └── llama-2-13b-chat.Q4_K_M.gguf

其余模型类型（例如 16 位 Transformer 模型和 GPTQ 模型）由多个文件组成，必须放置在子文件夹中。例子：

text-generation-webui
├── models
│   ├── lmsys_vicuna-33b-v1.3
│   │   ├── config.json
│   │   ├── generation_config.json
│   │   ├── pytorch_model-00001-of-00007.bin
│   │   ├── pytorch_model-00002-of-00007.bin
│   │   ├── pytorch_model-00003-of-00007.bin
│   │   ├── pytorch_model-00004-of-00007.bin
│   │   ├── pytorch_model-00005-of-00007.bin
│   │   ├── pytorch_model-00006-of-00007.bin
│   │   ├── pytorch_model-00007-of-00007.bin
│   │   ├── pytorch_model.bin.index.json
│   │   ├── special_tokens_map.json
│   │   ├── tokenizer_config.json
│   │   └── tokenizer.model

在这两种情况下，您都可以使用 UI 的“模型”选项卡自动从 Hugging Face 下载模型。也可以通过命令行下载它。