2026年9月26日 #LLM#Pretrain#Data Engineering#Synthetic Data#Translation#Robustness 打造 20 億 Token 的預訓練語料庫：格式變體、合成平行語料與決定性工程實戰 LLM 預訓練資料工程的幕後細節：從本機 LLM 生成平行語料、抓出英文側中文洩漏的教訓，到以 4.0× 格式變體、結構強健性與決定性重放，打造 20.27 億 Token 的英中預訓練資料集 pretrain-v4。
2026年6月15日 #LLM#AI#Learning 初探 LLM 訓練：從零開始的學習紀錄 (一) —— AI 是怎麼學習的？ 這是我開始學習訓練大型語言模型 (LLM) 的第一篇筆記，先來聊聊幾個最基本、但也最重要的核心概念。