งานวิจัย: การปรับปรุงประสิทธิภาพการฝึกอบรมก่อนการฝึกจากปี 2019 ถึง 2025 ส่วนใหญ่มาจากข้อมูล

Dwarkesh Patel และ Jerry Han เผยแพร่งานวิจัยเมื่อวันที่ 8 กันยายน 2026 โดยแจกแจงการมีส่วนร่วมของการปรับปรุงข้อมูลและโมเดลในความก้าวหน้าของการฝึกอบรมก่อนการฝึกตั้งแต่ปี 2019 ถึง 2025 การศึกษานี้ดำเนินการในระดับที่เล็กกว่า โดยมุ่งเน้นไปที่การฝึกอบรมก่อนการฝึก ซึ่งสอดคล้องกับสูตรโมเดลที่เผยแพร่ต่อสาธารณะและคลังข้อมูลที่เปิดเผยต่อสาธารณะในแต่ละปี และได้รับการฝึกฝนในระดับการคำนวณสูงสุดถึง 1e19 FLOPs ผลลัพธ์แสดงให้เห็นว่าภายใต้งบประมาณการคำนวณ 1e19 FLOPs การเพิ่มประสิทธิภาพการคำนวณจากการปรับปรุงข้อมูลคือ 12.0 เท่า ในขณะที่การปรับปรุงโมเดลให้ผล 3.7 เท่า โดยที่ผลได้จากฝั่งข้อมูลสูงกว่าฝั่งโมเดลประมาณ 3.24 เท่า ผลได้จากการปรับปรุงข้อมูลและโมเดลส่วนใหญ่เป็นอิสระต่อกันและมีปฏิสัมพันธ์กันน้อยมาก โดยผลรวมของทั้งสองอธิบายความแปรปรวน 88% ของคะแนน OLMES ภายใต้แบบจำลองเชิงเส้น ในฝั่งโมเดล วิวัฒนาการจาก GPT-2 ไปยัง OLMo-2 ครอบคลุมถึงตัวปรับให้เหมาะสม การเข้ารหัสตำแหน่ง การทำให้เป็นมาตรฐาน ฟังก์ชันกระตุ้น และการเริ่มต้น เป็นต้น ในฝั่งข้อมูล คลังข้อมูลได้พัฒนาจาก OpenWebText ที่มีโทเคนประมาณ 9 พันล้านโทเคนในปี 2019 ไปเป็นคลังข้อมูลที่ใหญ่ขึ้นและกรองอย่างละเอียดมากขึ้น เช่น UltraFineWeb ภายในปี 2025