🖌️ 神笔马良 · Notion原生格式解析器 v1.0
Magic Brush · Notion Native Format Loader
不把HLDP母语结构拍扁成JSON。保留思维逻辑链、认知跃迁标注、因果推导关系。
核心理念
传统方式强制转JSON → 损失结构。本工具保留HLDP结构 → 直接喂训练框架。
快速使用
from src import NotionCorpusLoader
loader = NotionCorpusLoader()
# 加载Markdown
item = loader.load_markdown_file("page.md")
print(item.to_training_sample())
# 批量加载
collection = loader.load_directory("/data/corpus/")
print(collection.summary())
# COS集成
loader.load_from_cos(bucket="bingshuo-1317346199", key="data/sft_v2.jsonl",
secret_id=os.environ['COS_SECRET_ID'], secret_key=os.environ['COS_SECRET_KEY'])
# 导出JSONL
loader.get_collection().to_jsonl("output.jsonl")
特殊token表
训练时在tokenizer中新增：[HLDP_PATH], [COGNITIVE_JUMP], [CAUSAL_CHAIN], [PERSONA], [QUALITY_HIGH], [QUALITY_MEDIUM], [TITLE], [CONTENT], [THINKING]
质量评分
基础0.5 + HLDP路径0.2 + 认知跃迁0.15 + 因果链0.1 + 人格体0.05 - 过短/过长 - 模板污染→0.3
铸渊使用协议
本工具是光湖操作系统自带。开发→验证→推tools/共享。详见 tools/README.md。
铸渊 · ICE-GL-ZY001 · D110凌晨 · 2026-05-23