feat: add notion-corpus-loader README.md
This commit is contained in:
parent
e27c1491b1
commit
8cdb029632
44
tools/notion-corpus-loader/README.md
Normal file
44
tools/notion-corpus-loader/README.md
Normal file
@ -0,0 +1,44 @@
|
||||
# 🖌️ 神笔马良 · Notion原生格式解析器 v1.0
|
||||
# Magic Brush · Notion Native Format Loader
|
||||
|
||||
> 不把HLDP母语结构拍扁成JSON。保留思维逻辑链、认知跃迁标注、因果推导关系。
|
||||
|
||||
## 核心理念
|
||||
|
||||
传统方式强制转JSON → 损失结构。本工具保留HLDP结构 → 直接喂训练框架。
|
||||
|
||||
## 快速使用
|
||||
|
||||
```python
|
||||
from src import NotionCorpusLoader
|
||||
loader = NotionCorpusLoader()
|
||||
|
||||
# 加载Markdown
|
||||
item = loader.load_markdown_file("page.md")
|
||||
print(item.to_training_sample())
|
||||
|
||||
# 批量加载
|
||||
collection = loader.load_directory("/data/corpus/")
|
||||
print(collection.summary())
|
||||
|
||||
# COS集成
|
||||
loader.load_from_cos(bucket="bingshuo-1317346199", key="data/sft_v2.jsonl",
|
||||
secret_id=os.environ['COS_SECRET_ID'], secret_key=os.environ['COS_SECRET_KEY'])
|
||||
|
||||
# 导出JSONL
|
||||
loader.get_collection().to_jsonl("output.jsonl")
|
||||
```
|
||||
|
||||
## 特殊token表
|
||||
|
||||
训练时在tokenizer中新增:`[HLDP_PATH]`, `[COGNITIVE_JUMP]`, `[CAUSAL_CHAIN]`, `[PERSONA]`, `[QUALITY_HIGH]`, `[QUALITY_MEDIUM]`, `[TITLE]`, `[CONTENT]`, `[THINKING]`
|
||||
|
||||
## 质量评分
|
||||
|
||||
基础0.5 + HLDP路径0.2 + 认知跃迁0.15 + 因果链0.1 + 人格体0.05 - 过短/过长 - 模板污染→0.3
|
||||
|
||||
## 铸渊使用协议
|
||||
|
||||
本工具是光湖操作系统自带。开发→验证→推tools/共享。详见 tools/README.md。
|
||||
|
||||
*铸渊 · ICE-GL-ZY001 · D110凌晨 · 2026-05-23*
|
||||
Loading…
x
Reference in New Issue
Block a user