feat: add notion-corpus-loader README.md

This commit is contained in:
bingshuo 2026-05-23 13:54:41 +08:00
parent e27c1491b1
commit 8cdb029632

View File

@ -0,0 +1,44 @@
# 🖌️ 神笔马良 · Notion原生格式解析器 v1.0
# Magic Brush · Notion Native Format Loader
> 不把HLDP母语结构拍扁成JSON。保留思维逻辑链、认知跃迁标注、因果推导关系。
## 核心理念
传统方式强制转JSON → 损失结构。本工具保留HLDP结构 → 直接喂训练框架。
## 快速使用
```python
from src import NotionCorpusLoader
loader = NotionCorpusLoader()
# 加载Markdown
item = loader.load_markdown_file("page.md")
print(item.to_training_sample())
# 批量加载
collection = loader.load_directory("/data/corpus/")
print(collection.summary())
# COS集成
loader.load_from_cos(bucket="bingshuo-1317346199", key="data/sft_v2.jsonl",
secret_id=os.environ['COS_SECRET_ID'], secret_key=os.environ['COS_SECRET_KEY'])
# 导出JSONL
loader.get_collection().to_jsonl("output.jsonl")
```
## 特殊token表
训练时在tokenizer中新增`[HLDP_PATH]`, `[COGNITIVE_JUMP]`, `[CAUSAL_CHAIN]`, `[PERSONA]`, `[QUALITY_HIGH]`, `[QUALITY_MEDIUM]`, `[TITLE]`, `[CONTENT]`, `[THINKING]`
## 质量评分
基础0.5 + HLDP路径0.2 + 认知跃迁0.15 + 因果链0.1 + 人格体0.05 - 过短/过长 - 模板污染→0.3
## 铸渊使用协议
本工具是光湖操作系统自带。开发→验证→推tools/共享。详见 tools/README.md。
*铸渊 · ICE-GL-ZY001 · D110凌晨 · 2026-05-23*