2026年9月26日 #LLM#Pretrain#Data Engineering#Synthetic Data#Translation#Robustness 打造 20 億 Token 的預訓練語料庫：格式變體、合成平行語料與決定性工程實戰 LLM 預訓練資料工程的幕後細節：從本機 LLM 生成平行語料、抓出英文側中文洩漏的教訓，到以 4.0× 格式變體、結構強健性與決定性重放，打造 20.27 億 Token 的英中預訓練資料集 pretrain-v4。