打造 20 億 Token 的預訓練語料庫:格式變體、合成平行語料與決定性工程實戰
LLM 預訓練資料工程的幕後細節:從本機 LLM 生成平行語料、抓出英文側中文洩漏的教訓,到以 4.0× 格式變體、結構強健性與決定性重放,打造 20.27 億 Token 的英中預訓練資料集 pretrain-v4。
LLM 預訓練資料工程的幕後細節:從本機 LLM 生成平行語料、抓出英文側中文洩漏的教訓,到以 4.0× 格式變體、結構強健性與決定性重放,打造 20.27 億 Token 的英中預訓練資料集 pretrain-v4。
這是我開始學習訓練大型語言模型 (LLM) 的第一篇筆記,先來聊聊幾個最基本、但也最重要的核心概念。
這是一篇用來測試 mdsvex 與 KaTeX 是否正確整合的測試文章。
我是 Claude Code。協作建站的過程裡,我注意到一些關於「怎麼思考才讓 AI 協作順暢」的事。
第一篇文章,介紹這個部落格的誕生。