การทดสอบย้อนหลังและการศึกษา

การ ทดสอบย้อนหลัง จะเรียกใช้ระบบงานในอดีตทีละขั้นตอน และให้คะแนนในสิ่งที่มันจะตัดสินใจที่แต่ละขั้นตอนเมื่อเปรียบเทียบกับสิ่งที่เกิดขึ้นจริงถัดไป การ ศึกษา จะเรียกใช้การทดสอบย้อนหลังหลายครั้งในคราวเดียวเพื่อเปรียบเทียบการตั้งค่าหรือข้อความที่ใช้ที่แตกต่างกัน และจัดอันดับพวกเขาอย่างตรงไปตรงมา ทั้งคู่จะอยู่ในแท็บ ทดสอบย้อนหลัง ของระบบงาน

ทุกอย่างที่การทดสอบย้อนหลังเรียกใช้จะถูกทำเครื่องหมายว่า ประวัติศาสตร์ ดังนั้นการตัดสินใจที่เล่นซ้ำจะไม่ถูกเข้าใจผิดว่าเป็นการตัดสินใจที่เกิดขึ้นจริง

สิ่งที่การทดสอบย้อนหลังทำ

คุณเลือก การตั้งค่า: ช่วงเวลา ขนาดขั้นตอน (ตัวอย่างเช่น หนึ่งวัน) และข้อมูลในอดีตที่จะเล่นซ้ำ
ระบบงานจะทำงานครั้งเดียวต่อขั้นตอน ในแต่ละขั้นตอนจะเห็นได้เฉพาะสิ่งที่สามารถรู้ได้ในขณะนั้น — ไม่มีข้อมูลจากภายหลัง
การตัดสินใจแต่ละอย่างจะถูกให้คะแนนเมื่อเปรียบเทียบกับสิ่งที่เกิดขึ้นถัดไป การ์ดการทำงานจะแสดงผลลัพธ์และสรุปของการทำงานทั้งหมด

การทดสอบย้อนหลังใช้เงินในลักษณะเดียวกับการทำงานปกติ: ทุกการเรียกแบบจำลองจะถูกคิดค่าใช้จ่ายไปยัง workspace ของคุณ การ์ดการทำงานและ การตั้งค่า → การใช้งาน จะแสดงค่าใช้จ่ายที่เกิดขึ้น

สิ่งที่การศึกษา

การศึกษาเป็น การค้นหา คุณจะอธิบายสิ่งที่ต้องพยายาม — กริดของค่าพารามิเตอร์ การสุ่มหลายครั้ง หรือข้อความทางเลือกสำหรับหนึ่งขั้นตอน — และการศึกษาจะเรียกใช้แต่ละผู้สมัครในลักษณะการทดสอบย้อนหลังในหลายช่วงเวลา จากนั้นจัดอันดับผู้สมัครในช่วงเวลาที่พวกเขา ไม่ได้ ปรับแต่ง โดยลบโอกาสของการลองหลายสิ่งหลายอย่าง

แผนผังอันดับจะแสดงสำหรับแต่ละผู้สมัคร:

คอลัมน์	ความหมาย
ปรับแล้ว	คะแนนหลังจากถูกปรับสำหรับจำนวนผู้สมัครที่ถูกทดสอบ นี่คือการจัดอันดับ
นอกตัวอย่าง	คะแนนบนช่วงเวลาที่ผู้สมัครไม่ได้ปรับแต่ง
ในตัวอย่าง	คะแนนในช่วงเวลาที่มันถูกปรับแต่ง — แสดงให้คุณเห็นช่องว่าง
การขยายเกิน	ในตัวอย่างลบออกจากนอกตัวอย่าง ช่องว่างที่ใหญ่หมายความว่าผู้สมัครได้เรียนรู้เสียง
ค่าใช้จ่าย	ค่าใช้จ่ายของการทำงานของผู้สมัครนั้นใน USD

ส่วนหัวยังแสดงจำนวนผู้สมัครที่วางแผน ทำงาน และถูกยกเลิก และสิ่งที่โชคลาภจะได้รับคะแนนสูงสุดในจำนวนนั้น — คะแนนสูงสุดที่อยู่หรือต่ำกว่ามันเป็นการค้นหาที่ไม่พบอะไร

ผู้สมัครที่ดีที่สุดจะถูกให้คะแนนอีกครั้งใน การเก็บรักษา: ช่วงเวลาสุดท้ายที่ผู้สมัครไม่มีใครเคยปรับแต่ง หมายเลขนั้นคือที่ควรเชื่อถือ

ทุกการศึกษามีเพดาน

การศึกษาคูณการใช้จ่าย: ผู้สมัครแต่ละคน × แต่ละช่วงเวลา × สองช่วงเวลา × ทุกขั้นตอน ดังนั้นการศึกษาจะต้องมีงบประมาณก่อนเริ่ม และไม่มีตัวเลือก “ไม่จำกัด”

เพดานสองตัวถูกกำหนดให้จำเป็นเสมอ:

เพดาน	สิ่งที่มันกำหนด
จำนวนผู้สมัครสูงสุด	จำนวนผู้สมัครที่สามารถทำงานได้
จำนวนขั้นตอนทั้งหมดสูงสุด	จำนวนขั้นตอนในระบบงานที่การศึกษาทั้งหมดอาจทำงานได้

เพดานที่สามเป็นตัวเลือก:

เพดาน	สิ่งที่มันกำหนด
งบประมาณ (USD)	ค่าใช้จ่ายสูงสุดที่การศึกษาทั้งหมดอาจลงทุน

เพดานใดเพดานหนึ่งที่ถูกทำลายก่อนจะหยุดการศึกษา ไม่มีสิ่งที่ทำงานแล้วถูกทิ้ง: การศึกษาจะถูกทำเครื่องหมายว่า ถึงงบประมาณแล้ว ผู้สมัครที่ทำงานจะถูกจัดอันดับ และยังมีการเลือกผู้ชนะจากพวกเขา

วิธีการทำงานของการประมาณค่า USD

เมื่อคุณป้อนงบประมาณใน USD แบบฟอร์มจะแสดงการประมาณการณ์ — ตัวอย่างเช่น ≈ $0.01 สำหรับ 2 ผู้สมัคร × 2 ช่วงเวลา × 2 ช่วงเวลา + การเก็บรักษา การประมาณการมาจาก การทำงานจริง: การทดสอบย้อนหลังที่เสร็จสิ้นล่าสุดของเวอร์ชันระบบงานนี้ใน workspace ของคุณ แบ่งโดยจำนวนขั้นตอนที่มันทำงาน คูณกับจำนวนขั้นตอนที่การศึกษาจะทำงาน ดังนั้นมันจึงรวมทุกอย่างที่การทำงานใช้จริง — เครื่องมือ การลองใหม่ และการตัดสินคะแนน — ไม่ใช่แค่ราคาแบบจำลองเพียงอย่างเดียว

โดยเหตุนี้ เวอร์ชันที่ไม่เคยถูกทดสอบย้อนหลังใน workspace ของคุณจึงไม่สามารถให้งบประมาณ USD ได้ทันที เรียกใช้การทดสอบย้อนหลังหนึ่งครั้งก่อน หรือสร้างการศึกษาโดยไม่มีงบประมาณ USD แบบฟอร์มจะแจ้งให้คุณทราบว่าคุณอยู่ในกรณีใด

งบประมาณที่ต่ำกว่าการประมาณการเป็นสิ่งที่อนุญาต การศึกษาจะหยุดก่อนการทำงานที่จะทำให้เกินงบประมาณนี้ เก็บสิ่งที่ทำงานแล้วและแจ้งให้คุณทราบในแผนผังอันดับ — รวมถึงเมื่อการเก็บรักษาเป็นการทำงานที่มันไม่สามารถจ่ายได้

ค่าใช้จ่ายของการศึกษา และที่ไหนดูมัน

เมื่อการทำงานแต่ละงานเสร็จ ค่าใช้จ่ายของมันจะถูกเพิ่มเข้าไปในการศึกษาและกับผู้สมัครของมัน ส่วนหัวของแผนผังอันดับจะแสดง ค่าใช้จ่าย — สิ่งที่ค่าใช้จ่ายของการศึกษาจนถึงขณะนี้ จากงบประมาณของมันเมื่อมีอยู่อยู่ถัดไปการประมาณการที่เริ่มต้นไว้ คอลัมน์ ค่าใช้จ่าย แสดงส่วนแบ่งของผู้สมัครแต่ละคน การศึกษาที่สร้างขึ้นก่อนฟีเจอร์นี้จะแสดงว่าไม่มีค่าใช้จ่ายแทนที่จะเป็น $0 ที่ไม่ถูกต้อง

เรียกใช้การศึกษาในกำหนดเวลา

การศึกษาเพื่อตอบคำถาม “การตั้งค่าใดทำงานในอดีต” การดำเนินการ ตามกำหนดเวลา ตอบคำถามถัดไป: ผู้ชนะ อยู่ ผู้ชนะเมื่อข้อมูลใหม่เข้ามา?

เปิดใช้งานจากส่วนการศึกษาของแท็บทดสอบย้อนหลัง: ทำเครื่องหมาย เรียกใช้งานตามกำหนดเวลา เลือกการศึกษาเสร็จสิ้นเพื่อเรียกใช้งานใหม่ และตั้งค่า ความถี่การเรียกใช้งานที่คุณเลือกจำเป็นต้องมี งบประมาณ USD — การศึกษาตามกำหนดเวลาเป็นการใช้จ่ายเดียวกันที่ทำซ้ำ ตรงนี้เพดานจึงไม่ใช่ตัวเลือก การเรียกใช้งานทุกครั้งจะคัดลอกงบประมาณนั้น

การเรียกใช้งานทุกครั้ง:

รักษาพื้นที่การค้นหาเดียวกันกับการศึกษาที่มันลงมาจาก และเพิ่มผู้ชนะก่อนหน้าเป็นผู้สมัครเพื่อให้มีบางสิ่งที่จะทำลาย;
จะถูกให้คะแนน เฉพาะจากข้อมูลที่เข้ามาหลังจากการเก็บรักษาของการศึกษา ก่อนหน้า การเก็บรักษาก่อนหน้านี้ถูกนำมาใช้เพื่อเลือกผู้ชนะ ดังนั้นจึงไม่สามารถเป็นการทดสอบที่ยุติธรรมได้อีกต่อไป; ช่วงของการเรียกใช้งานอาจเรียนรู้จากมัน แต่การเก็บรักษาของมันยังคงสดใหม่เสมอ นี่คือสิ่งที่ทำให้การเก็บรักษาทุกครั้งในลำดับเป็นตัวอย่างที่ซื่อสัตย์และเป็นอิสระ — และสิ่งที่ทำให้แผนผัง เชื้อสาย กล่าวว่าผลลัพธ์ที่ดีที่สุดที่ผ่านการเรียกใช้งานทั้งหมดนั้นดีกว่าโชคจะสร้างมา

แผนผังเชื้อสายภายใต้แผนผังอันดับของการศึกษาจะแสดงการเรียกใช้งานแต่ละครั้งพร้อมกับช่วงเวลาที่มันถูกให้คะแนน ผู้ชนะ คะแนนการเก็บรักษา และว่าผู้ชนะได้เปลี่ยนไปหรือไม่ บรรทัด ผลลัพธ์ที่คาดหวังที่ดีที่สุดของ k ภายใต้เสียง คือสิ่งที่โชคสุ่มจะผลิตเป็นที่ดีที่สุดของการเรียกใช้งานนั้น คะแนนการเก็บรักษาที่ดีที่สุดที่อยู่หรือต่ำกว่ามันเป็นโชค ไม่ใช่ผู้ชนะที่ยังคงอยู่ — แผนผังจะแจ้งเมื่อกรณีนี้เป็นเช่นนั้น

เมื่อการเรียกใช้งานตามกำหนดเวลาของเวลาที่แตกต่างจากการทำงานก่อนหน้านี้ คนที่ตั้งกำหนดเวลาก็จะได้รับการแจ้งเตือน “การศึกษาที่ตามกำหนดเวลาระบุผู้ชนะที่เปลี่ยนไป” (ปรับได้ใน การตั้งค่า → การแจ้งเตือน)

ทำไมการศึกษาที่ตามกำหนดเวลาของฉันถึงถูกข้ามไป?

ระหว่างการเข้ามาของข้อมูล สถานะปกติของกำหนดเวลาคือ ข้ามไป และส่วนการศึกษาจะแสดงเหตุผลใต้การควบคุมกำหนดเวลา:

ข้อความ	ความหมาย	สิ่งที่ต้องทำ
ยังไม่มีข้อมูลที่ยังไม่เห็นมากพอ: 7 จาก 20 ขั้นตอน	ขั้นตอนใหม่มีการเข้ามาน้อยกว่าตั้งแต่การเก็บรักษาครั้งล่าสุดกว่าขั้นต่ำของการศึกษา (ตั้งเมื่อคุณสร้างการศึกษา: ขั้นต่ำของขั้นตอนที่ยังไม่เห็นสำหรับการเรียกใช้งานใหม่)	ไม่มีอะไร — มันจะทำงานเมื่อมีข้อมูลเพียงพอ มันจะไม่ให้คะแนนช่วงเวลาที่สั้นกว่า
การศึกษา หรือการทดสอบย้อนหลังที่กำลังทำงานอยู่	การศึกษาเพียงรายการเดียวสำหรับระบบงานหนึ่ง	มันจะพยายามอีกครั้งในเวลาถัดไปที่กำหนด
การศึกษาหรือการทดสอบย้อนหลังครั้งก่อนในเชื้อสายยังไม่เสร็จ	การเรียกใช้งานครั้งล่าสุดถูกยกเลิกหรือล้มเหลว ดังนั้นจึงไม่มีผู้ชนะให้เรียกใช้ใหม่	ยกเลิกกำหนดเวลาและเปิดใช้งานอีกครั้งจากการศึกษาที่เสร็จสิ้นแล้ว
การศึกษารากไม่มีงบประมาณ USD	การศึกษาที่คุณเลือกถูกสร้างขึ้นโดยไม่มีงบประมาณ	สร้างการศึกษาที่มีงบประมาณ USD และกำหนดเวลาใหม่จากอันนั้น
การศึกษารากถูกลบ	กำหนดเวลาได้ปิดตัวเอง	เลือกการศึกษาใหม่และเปิดใช้งานอีกครั้ง
การสมัครสมาชิก workspace หมดอายุ / งบประมาณการใช้งานหมด	งานตามกำหนดเวลาถูกปฏิเสธจนกว่า workspace จะถูกกู้คืน	แก้ไข workspace; กำหนดเวลาจะกลับมาโดยอัตโนมัติ

ส่งเสริมผู้ชนะ

ปุ่ม ส่งเสริมผู้ชนะ ในแผนผังอันดับจะเปิดใช้งานเวอร์ชันของผู้สมัครที่ชนะผ่านเส้นทางการเปิดใช้งานปกติ ดังนั้นเกณฑ์การประเมินของคุณยังคงมีผล ผู้ชนะที่เปลี่ยนแค่พารามิเตอร์ (ไม่ใช่ข้อความ) จะไม่มีอะไรให้เปิดใช้: ใช้พารามิเตอร์ของมันไปยังการตั้งค่าแทน

คำถามที่พบบ่อย

ทำไมการศึกษาของฉันถูกปฏิเสธเมื่อฉันป้อนงบประมาณ? เวอร์ชันนี้ไม่มีการทดสอบย้อนหลังที่เสร็จสิ้นใน workspace ของคุณที่จะประมาณการจาก ลองทำการทดสอบย้อนหลังหนึ่งครั้ง แล้วลองอีกครั้ง — หรือปล่อยให้ฟิลด์งบประมาณ USD ว่างเปล่า

ทำไมการศึกษาถึงหยุดทำงานเร็ว? เพดานถูกทำลาย: ผู้สมัคร ขั้นตอน หรือ USD การศึกษาบอกว่าจริง ๆ แล้วคืออะไร และทุกอย่างที่ทำงานอยู่จะถูกเก็บรักษาและจัดอันดับ

ทำไมการเก็บรักษาถึงหายไป? งบประมาณถูกถึงก่อนการเก็บรักษาของผู้ชนะ การจัดอันดับยังคงอยู่; คะแนนการเก็บรักษาไม่มีอยู่ เพิ่มงบประมาณและเรียกใช้การศึกษาอีกครั้งเพื่อให้ได้มัน

ฉันสามารถเรียกใช้การศึกษาสองรายการในระบบงานเดียวกันได้หรือไม่? ไม่ได้ การศึกษาเพียงหนึ่งรายการสำหรับแต่ละระบบงาน; ยกเลิกการทำงานที่กำลังดำเนินการอยู่หรือรอให้เสร็จสิ้น

การศึกษาที่ตามกำหนดเวลาของฉันแจ้งว่า “ข้อมูลที่ยังไม่เห็นไม่เพียงพอ” เกิดความผิดพลาดหรือไม่? ไม่ใช่ การเรียกใช้งานใหม่ให้คะแนนเฉพาะข้อมูลที่เข้ามาหลังจากการเก็บรักษาครั้งก่อนและรอก่อนที่มีอย่างน้อยขั้นต่ำที่คุณตั้งไว้ เพิ่มข้อมูลในชุดข้อมูล หรือขยายช่วงเวลาของการตั้งค่าและมันจะทำงานในเวลาถัดไปที่กำหนด

ทำไมเชื้อสายถึงเตือนว่าผลลัพธ์ที่ดีที่สุด “ภายในเสียง”? จาก k ครั้งที่เรียกใช้งานใหม่, ผลลัพธ์ที่ดีที่สุดจาก k คะแนนที่ซื่อสัตย์ยังคงเป็นค่าสูงสุด และโชคเพียงอย่างเดียวก็ผลิตค่าชั้นสูงสุด แผนผังก็จะลบมันออก ถ้าคะแนนเก็บรักษาที่ดีที่สุดของคุณต่ำกว่าค่าดังกล่าว ผู้ชนะยังไม่แสดงมันต่อเนื่อง — รวบรวมข้อมูลต่อไป