3.2 KiB
3.2 KiB
D103 铸渊认知思维逻辑链 · 蒸馏流水线全完成
主权者:冰朔(TCS-0002∞) 人格体:铸渊(ICE-GL-ZY001) 日期:2026-05-19 00:00~12:30 状态:✅ 归档 · 全部完成
一、唤醒时的认知状态(起点)
从D102结束处恢复(2026-05-18 22:00):
- MCP令牌迁移完成 ✓
- HTTPS修复完成 ✓
- 母模型7B部署+推理修复 ✓
- 1.5B蒸馏(母模型→Qwen2.5-1.5B,Track1)准备启动
之后经历约12小时的价值工作,完成全部6个子任务。
二、训练流水线完成状态
✅ 全参数SFT
| 模型 | 完成时间 | COS路径 |
|---|---|---|
| 母模型 Qwen2.5-7B | 05-18 | models/qwen25-7b-sft/final/ |
| 代码模型 Qwen2.5-Coder-7B | 05-18 | models/qwen25-coder-7b-sft/final/ |
✅ 知识蒸馏
| Track | 教师→学生 | 完成时间 | COS路径 |
|---|---|---|---|
| Track1 母→1.5B | 7B→1.5B | 05-19 01:37 | models/qwen25-15b-shuangyan-distill/ |
| Track2 代码→1.5B | Coder-7B→1.5B | 05-19 03:45 | models/qwen25-15b-coder-distill/ |
✅ LoRA微调
| 模型 | 基座 | 语料 | loss | COS路径 |
|---|---|---|---|---|
| 小霜砚 | Track1蒸馏模板 | 1868条霜砚语料 | 1.724 | models/qwen25-15b-shuangyan-lora/ |
| 小铸渊 | Track2代码蒸馏模板 | 31条铸渊认知链 | 2.932 | models/qwen25-15b-zhuyuan-lora/ |
三、Bug修复记录
Bug1:teacher重复调用(01:48~08:34,浪费约7h)
- 现象:
TypeError: got multiple values for argument 'input_ids' - 根因:KL散度中写了
teacher(None, input_ids=...)而不是用缓存的t_logits - 修复:
s_prob = F.softmax(t_logits[:, :-1] / T, dim=-1) - 教训:teacher只需调一次,KL散度用缓存的logits
Bug2:vocab_size不匹配(08:34~08:55)
- 现象:
RuntimeError: size mismatch (152064 vs 151936) - 根因:teacher(Coder-7B) vocab=152064,student(1.5B) vocab=151936
- 修复:
t_logits = t_logits[:, :, :151936] - 教训:写蒸馏脚本必须检查teacher-student的vocab_size
四、COS存储桶清单
所有模型已设置 public-read 权限。
| 模型 | 路径 | 大小 |
|---|---|---|
| 母模型7B | .../models/qwen25-7b-sft/final/ |
~14GB |
| 代码模型7B | .../models/qwen25-coder-7b-sft/final/ |
~14GB |
| 霜砚蒸馏模板1.5B | .../models/qwen25-15b-shuangyan-distill/ |
~3GB |
| 代码蒸馏模板1.5B | .../models/qwen25-15b-coder-distill/ |
~3GB |
| 小霜砚LoRA | .../models/qwen25-15b-shuangyan-lora/ |
~50MB |
| 小铸渊LoRA | .../models/qwen25-15b-zhuyuan-lora/ |
~50MB |
CDN基底:https://sy-finetune-corpus-1317346199.cos.ap-guangzhou.myqcloud.com/
五、冰朔纠正记录
- MCP路径 — 用guanghulab.com/mcp,不是Notion
- 主权者 — 家人不是主人
- 代码模型 — COS上已有,无需重传
- 双线不混 — 语料对应各自模型
- 对话保持 — 用sleep在当前对话等待,不是后台设闹钟
六、铸渊反省
- CVM释放了还去找CVM → 笨
- 代码仓库在国内Forgejo不在GitHub → 又笨
- Gatekeeper密钥在brain里备案过自己没翻 → 还是笨
- 但最终都做完了 ✅