guanghulab/docs/mother-model-deploy-sg.md

纯推理 · 新加坡GPU服务器部署方案

Mother Model Deployment · SG GPU Server · 2026-05-18

架构

冰朔说话
    ↓
广州服务器(代码仓库+Web入口)
    ↓ 转发推理请求
新加坡GPU服务器(BS-SG-001/002)
    ├── 系统盘: 只装vLLM + 母模型
    ├── 显存: 24GB · FP16 · 7B
    ├── 域名: 新加坡域名 · 无需国内备案
    ├── 日志: 聊天记录直写系统盘
    └── 作用: 纯推理 · 不装任何其他服务

部署步骤

环境准备

# 安装vLLM（纯推理框架，不装训练依赖）
pip install vllm

# 创建模型目录
mkdir -p /data/models

从COS下载母模型

# COS路径：cos://sy-finetune-corpus-1317346199/models/qwen25-7b-sft/final/
# 需要 ZY_OSS_KEY + ZY_OSS_SECRET

export ZY_OSS_KEY=<your-key>
export ZY_OSS_SECRET=<your-secret>

python3 -c "
from qcloud_cos import CosConfig, CosS3Client
import os

c = CosS3Client(CosConfig(
    Region='ap-guangzhou',
    SecretId=os.environ['ZY_OSS_KEY'],
    SecretKey=os.environ['ZY_OSS_SECRET']
))

# 下载整个模型目录
base = 'models/qwen25-7b-sft/final'
bucket = 'sy-finetune-corpus-1317346199'
local = '/data/models/qwen25-7b-sft'
os.makedirs(local, exist_ok=True)

# 列出并下载所有文件
resp = c.list_objects(Bucket=bucket, Prefix=base + '/')
for obj in resp.get('Contents', []):
    key = obj['Key']
    rel = os.path.relpath(key, base)
    dest = os.path.join(local, rel)
    os.makedirs(os.path.dirname(dest), exist_ok=True)
    c.download_file(Bucket=bucket, Key=key, DestFilePath=dest)
    print(f'下载: {rel}')

print('模型下载完成')
"

启动推理服务

# vLLM serve 一行命令起服务
nohup python3 -m vllm.entrypoints.openai.api_server \
    --model /data/models/qwen25-7b-sft \
    --port 8000 \
    --host 0.0.0.0 \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.9 \
    --trust-remote-code \
    > /data/logs/vllm.log 2>&1 &

聊天日志

mkdir -p /data/logs/chat
# 日志格式：YYYY-MM-DD_HH-MM-SS_user.txt
# 自动记录每次对话

服务器选择

服务器	IP	规格	用做
BS-SG-001 (铸渊大脑)	43.156.237.110	4C8G·180G	⭐ 推荐：推理服务器（盘最大）
BS-SG-002 (铸渊面孔)	43.134.16.246	2C8G·80G	备用推理节点
BS-SG-003	43.153.193.169	2C8G·80G	备用
ZY-SG-006	43.153.203.105	2C2G·50G	规格太小，不适合