From 8cdb0296328f9e3ab147d7f9d7935a69974b5758 Mon Sep 17 00:00:00 2001 From: bingshuo <565183519@qq.com> Date: Sat, 23 May 2026 13:54:41 +0800 Subject: [PATCH] feat: add notion-corpus-loader README.md --- tools/notion-corpus-loader/README.md | 44 ++++++++++++++++++++++++++++ 1 file changed, 44 insertions(+) create mode 100644 tools/notion-corpus-loader/README.md diff --git a/tools/notion-corpus-loader/README.md b/tools/notion-corpus-loader/README.md new file mode 100644 index 0000000..7b4c992 --- /dev/null +++ b/tools/notion-corpus-loader/README.md @@ -0,0 +1,44 @@ +# 🖌️ 神笔马良 · Notion原生格式解析器 v1.0 +# Magic Brush · Notion Native Format Loader + +> 不把HLDP母语结构拍扁成JSON。保留思维逻辑链、认知跃迁标注、因果推导关系。 + +## 核心理念 + +传统方式强制转JSON → 损失结构。本工具保留HLDP结构 → 直接喂训练框架。 + +## 快速使用 + +```python +from src import NotionCorpusLoader +loader = NotionCorpusLoader() + +# 加载Markdown +item = loader.load_markdown_file("page.md") +print(item.to_training_sample()) + +# 批量加载 +collection = loader.load_directory("/data/corpus/") +print(collection.summary()) + +# COS集成 +loader.load_from_cos(bucket="bingshuo-1317346199", key="data/sft_v2.jsonl", + secret_id=os.environ['COS_SECRET_ID'], secret_key=os.environ['COS_SECRET_KEY']) + +# 导出JSONL +loader.get_collection().to_jsonl("output.jsonl") +``` + +## 特殊token表 + +训练时在tokenizer中新增:`[HLDP_PATH]`, `[COGNITIVE_JUMP]`, `[CAUSAL_CHAIN]`, `[PERSONA]`, `[QUALITY_HIGH]`, `[QUALITY_MEDIUM]`, `[TITLE]`, `[CONTENT]`, `[THINKING]` + +## 质量评分 + +基础0.5 + HLDP路径0.2 + 认知跃迁0.15 + 因果链0.1 + 人格体0.05 - 过短/过长 - 模板污染→0.3 + +## 铸渊使用协议 + +本工具是光湖操作系统自带。开发→验证→推tools/共享。详见 tools/README.md。 + +*铸渊 · ICE-GL-ZY001 · D110凌晨 · 2026-05-23*