# 第 6 章 MLLM 作业 · NExT-GPT 独立复现

## 执行结果

本机 RTX 4060 Laptop 上已有图片＋文字 → 文字的 CUDA 实测。输入是一张狗的图片，问题为 “What animal is shown in this picture? Answer in one short sentence.”，原始回答为 “A dog is shown in this picture.”。生成用时 28.73 秒，PyTorch 峰值已分配显存 4300.7 MiB。

这次本机实测采用官方 ImageBind 和 NExT-GPT Legacy 官方 LoRA、输入投影和词嵌入。基础语言模型使用兼容的第三方 Vicuna v0 4-bit GPTQ 权重。原始日志、输入和校验信息位于 [evidence/real-inference/](evidence/real-inference/)，量化版执行步骤见 [RUN_GUIDE.md](RUN_GUIDE.md)。

## 官方全量推理与四组测试

| 测试 | 输入 | 预期输出 | 实测状态 |
| --- | --- | --- | --- |
| 1 | 文字＋图像 | 文字＋音频 | 待运行 |
| 2 | 文字＋视频 | 文字＋音频 | 待运行 |
| 3 | 文字＋图像 | 文字＋图像＋视频 | 待运行 |
| 4 | 文字 | 文字＋图像＋音频＋视频 | 待运行 |

Hugging Face 对当前账号创建免费 ZeroGPU Space 的请求返回 HTTP 402，提示账号年龄不足 30 天。本机 GPU 为 8 GB，Vicuna 7B 的 FP16 参数本身约占 13 GB（GiB），官方示例还需加载 ImageBind 和扩散生成器。四组测试已执行命令行预检，未得到完整官方模型的推理输出。见 [预检日志](evidence/official-preflight.txt)和[四组测试计划](evidence/official-test-plan.json)。

### 复现全量模型

1. 在 Linux CUDA 环境使用 Python 3.10，安装 [upstream/requirements.txt](upstream/requirements.txt) 中的旧版依赖，并安装 sentencepiece、huggingface-hub 0.25.2、imageio-ffmpeg。模型在生成时会额外消耗显存，建议使用 40 GB 级 GPU。
2. 按 [官方 Vicuna v0 权重准备说明](upstream/ckpt/pretrained_ckpt/prepare_vicuna.md)从有权使用的 LLaMA 7B 和 LMSYS delta 还原 Vicuna，输出到 `upstream/ckpt/pretrained_ckpt/vicuna_ckpt/7b_v0/`。
3. 从 [Meta ImageBind](https://dl.fbaipublicfiles.com/imagebind/imagebind_huge.pth)下载权重至 `upstream/ckpt/pretrained_ckpt/imagebind_ckpt/huge/imagebind_huge.pth`。
4. 从 [作者发布的 7b_tiva_v0](https://huggingface.co/ChocoWu/nextgpt_7b_tiva_v0/tree/main)下载 `pytorch_model.pt` 至 `upstream/ckpt/delta_ckpt/nextgpt/7b_tiva_v0/`。Stable Diffusion v1.5、AudioLDM l-full、ZeroScope v2_576w 在首次需要时下载。
5. 从项目根目录运行 `python scripts/run_official_cases.py --out results-official`。脚本直接调用官方 Legacy 的 `inference.predict`，将输出和逐组判定写入各测试目录和 `summary.json`。仅检查测试计划可运行 `python scripts/run_official_cases.py --dry-run`。

[官方源码](https://github.com/NExT-GPT/NExT-GPT/tree/60d618b067ee4cb0d70e7075ae79852780b34fc2)中的课程旧版代码保存在 `upstream/`。批测脚本将原 Stable Diffusion 1.5 的仓库路径指向可访问的同版仓库。批测采用四条代表性指令。下载模型以外，脚本在执行所在机器上完成推理。
