บอทเก่งจริง หรือแค่จำข้อสอบ? รู้จัก Backtest Overfitting
ทำไมกลยุทธ์ที่สวยในอดีตอาจแย่ในอนาคต อธิบายการเลือกกฎหลายครั้งด้วยตัวอย่างง่าย พร้อมเชื่อมงานวิจัย PBO และแบบทดสอบ
QuantKG Editorial · 2026-09-17
น้องบอทกับสมุดที่จำได้ทุกหน้า
ลองนึกถึงบอทที่ได้ทำข้อสอบชุดเดิมทุกวัน เราปรับวิธีให้คะแนน เปลี่ยนลำดับคำตอบ และลองสูตรใหม่จนมันได้เต็ม การได้เต็มอาจแปลว่าเก่งขึ้น หรือแค่จำสมุดเล่มนี้ได้ ต้องมีโจทย์ที่มันยังไม่เคยเจอจึงเริ่มแยกสองอย่างนี้ออกจากกัน
ใน Quant เราเรียกการทดลองกลยุทธ์กับข้อมูลย้อนหลังว่า backtest แต่การปรับกลยุทธ์ให้เข้ากับรายละเอียดเฉพาะของข้อมูลฝึกมากเกินไป อาจทำให้ผลดีไม่ตามไปยังข้อมูลใหม่ นี่คือภาพง่าย ๆ ของ overfitting
ลอง 100 สูตร แล้วโชว์เฉพาะสูตรดีที่สุด
ตัวอย่างสมมติของ QuantKG: คุณลองหน้าต่างค่าเฉลี่ย 10 แบบ ขนาดสถานะ 5 แบบ และจุดหยุดขาดทุน 2 แบบ รวม 100 ชุด หากรายงานเฉพาะชุดที่ชนะที่สุด ผู้อ่านจะไม่เห็นว่าเรามีโอกาสเลือกผู้ชนะกี่ครั้ง
เพื่อเห็นปัญหาของการลองซ้ำ สมมติการทดลอง 100 ครั้งเป็นอิสระ และแต่ละครั้งมีโอกาสเกิดสัญญาณบวกลวง 5% โอกาสพบอย่างน้อยหนึ่งครั้งคือ 1 − 0.95^100 ≈ 99.4% ตัวเลขนี้เป็นตัวอย่างคณิตศาสตร์เรื่องการทดสอบหลายครั้ง ไม่ใช่ค่า PBO ของกลยุทธ์ใด และกลยุทธ์จริงมักไม่เป็นอิสระต่อกัน
งานวิจัยตั้งคำถามอะไร?
บทคัดย่อของ The probability of backtest overfitting โดย David H. Bailey, Jonathan M. Borwein, Marcos López de Prado และ Qiji Jim Zhu เสนอกรอบประเมินความน่าจะเป็นของ backtest overfitting และวิธี combinatorially symmetric cross-validation (CSCV) ผู้เขียนเตือนว่าการใช้ hold-out แบบทั่วไปอาจไม่น่าเชื่อถือในบริบท backtest การลงทุน
ส่วนนี้สรุปจากบทคัดย่อและข้อมูลที่ผู้จัดพิมพ์เปิดเผย ไม่ใช่การทำซ้ำงานวิจัยหรือการตรวจวิธีทั้งหมด Quant Arena ของเรายังไม่ได้คำนวณ PBO หรือใช้ CSCV การทดสอบกราฟใหม่ 100 เส้นในเกมจึงไม่ควรถูกเรียกว่าเป็นการนำวิธีในงานวิจัยนี้มาใช้
เริ่มฝึกนิสัยที่ตรวจสอบได้
ก่อนดูผลชุดใหม่ ให้จดกฎและสมมติฐานไว้ แยกข้อมูลที่ใช้ปรับกฎจากข้อมูลที่ใช้ประเมิน เก็บประวัติว่าลองกี่แบบ และคิดต้นทุนการซื้อขาย ถ้าเปิดดูชุดทดสอบแล้วกลับไปแก้กฎ ชุดนั้นไม่ใช่ข้อมูลที่ไม่เคยเห็นอีกต่อไป
ดูการกระจายของผลลัพธ์ ไม่ใช่ยอดกำไรสูงสุดเพียงค่าเดียว เปรียบเทียบกับวิธีง่าย ๆ ภายใต้กติกาเดียวกัน และบอกข้อจำกัดเสมอ แม้ผ่านการทดสอบก็ยังไม่รับประกันผลในอนาคต
แหล่งอ้างอิง
Bailey, Borwein, López de Prado & Zhu — The probability of backtest overfitting
เปิด JavaScript เพื่อทำแบบทดสอบและบันทึก XP ในเครื่อง