ผลงานตัวแทน 96 ชิ้นตั้งแต่ปี 1936 ถึงปัจจุบัน จัดกลุ่มตามบทบาทเชิงบรรณาธิการและสถานะการเผยแพร่
บทความวิจัยคือโครงสร้างที่แข็งแกร่งที่สุดของประวัติศาสตร์ AI ที่นี่รวบรวมงานวิจัยพื้นฐาน 96 ชิ้นที่หล่อหลอมศาสตร์นี้ พร้อมลิงก์ต้นฉบับ
การคัดเลือกพิจารณาจากความสำคัญทางประวัติศาสตร์ อิทธิพลทางเทคนิค และดุลยพินิจของกองบรรณาธิการ รายการอาจรวมบทความที่ผ่านการประเมิน รายงานทางเทคนิค พรีพรินต์ บทความแสดงจุดยืน และการ์ดระบบ โดยระบุสถานะการเผยแพร่ไว้อย่างชัดเจน สามารถเสนอการแก้ไขหรือเพิ่มเติมผ่านหน้าหลักเกณฑ์บรรณาธิการและการแก้ไข
กำลังแสดง 96 จาก 96 บทความ
พิสูจน์ว่าระบบรูปนัยที่สอดคล้องกันและแสดงเลขคณิตได้ย่อมมีข้อความที่เป็นจริงแต่พิสูจน์ไม่ได้ อันเป็นการวางขอบเขตที่ต่อมาใช้กรอบคำถามว่าการคำนวณและการให้เหตุผลด้วยเครื่องตัดสินสิ่งใดได้บ้าง
บทความนำเสนอเครื่องทัวริงแบบสากลและพิสูจน์ว่าปัญหา Entscheidungsproblem เป็นปัญหาที่ตัดสินไม่ได้จึงวางรากฐานทางทฤษฎีของวิทยาการคอมพิวเตอร์
นิยามความคำนวณได้อย่างมีผลด้วยแคลคูลัสแลมบ์ดา และแสดงปัญหาที่ไม่มีกระบวนวิธีใดตัดสินได้ นับเป็นการไปถึงขอบเขตของการคำนวณโดยเป็นอิสระจากทัวริง
บทความจำลองกิจกรรมของเซลล์ประสาทด้วยตรรกะเชิงประพจน์จึงเป็นทฤษฎีทางคณิตศาสตร์ชิ้นแรกของโครงข่ายประสาทเทียม
บทความนิยามแนวคิดเอนโทรปีของสารสนเทศและความจุของช่องสัญญาณอันเป็นรากฐานของทฤษฎีสารสนเทศและฐานความน่าจะเป็นที่ปัญญาประดิษฐ์ใช้อ้างอิงในภายหลัง
บทความเสนอเกมเลียนแบบ (ทัวริงเทสต์) เป็นนิยามเชิงปฏิบัติการของปัญญาของเครื่องจักรซึ่งกำหนดกรอบคำถามเรื่องปัญญาประดิษฐ์ไปอีกเจ็ดทศวรรษ
บทความบัญญัติศัพท์ “artificial intelligence” และวางแผนงานวิจัยที่สถาปนาปัญญาประดิษฐ์ให้เป็นสาขาวิชาการ
บทความนำเสนอโปรแกรมให้เหตุผลเชิงฮิวริสติกชิ้นแรกซึ่งแสดงว่าเครื่องจักรสามารถเลียนแบบยุทธศาสตร์การแก้ปัญหาของมนุษย์และริเริ่มแนวคิด “ระบบประมวลผลสารสนเทศเชิงซ้อน”
อธิบายการแก้ปัญหาของมนุษย์ว่าเป็นการค้นหาเชิงฮิวริสติกในปริภูมิของสถานะเชิงสัญลักษณ์ อันเป็นคำอธิบายที่รองรับ General Problem Solver และมุมมองว่าจิตคือการประมวลสารสนเทศ
บทความนำเสนอเซลล์ประสาทแบบเชิงเส้นพร้อมค่าเขตที่ฝึกได้เป็นชิ้นแรกอันเป็นจุดเริ่มต้นของสาย connectionism ที่นำไปสู่การเรียนรู้เชิงลึกสมัยใหม่
บทความเสนอแนวคิด “advice taker” ซึ่งเป็นโปรแกรมที่สามารถอนุมานผลจากคลังความรู้เชิงสามัญสำนึกที่จัดรูปแบบอย่างเป็นทางการจึงวางรากฐานเชิงแนวคิดของการแทนความรู้และการให้เหตุผล
บทความสาธิตโปรแกรมหมากฮอสที่พัฒนาตนเองผ่านการเล่นกับตนเองนับเป็นการบุกเบิกศึกษาการเรียนรู้ของเครื่องและการพัฒนาตนเองแบบอัลฟา-เบตา
Gelernter พิจารณาว่าเครื่องจักรจะจัดการระบบรูปนัยที่ภาคแสดงมีความสมมาตรสูงได้อย่างมีประสิทธิภาพอย่างไร และเสนอทฤษฎีบทกับกฎว่าด้วยสมมาตรเชิงวากยสัมพันธ์เป็นคำตอบ งานนี้อยู่คู่กับเครื่องพิสูจน์ทฤษฎีบทเรขาคณิตที่เขากำลังสร้างที่ IBM ซึ่งพิสูจน์ทฤษฎีบทเรขาคณิตระนาบแบบยุคลิดข้อแรกได้เมื่อต้นฤดูใบไม้ผลิ ปี 1959
บทความนำเสนอกฎ LMS (Adaline) ซึ่งเป็นกฎการเรียนรู้แบบลงกราเดียนต์ที่ใช้กันแพร่หลายเป็นครั้งแรกสำหรับโครงข่ายเชิงเส้นแบบปรับตัว
เสนอนิพจน์เชิงสัญลักษณ์ ฟังก์ชันเวียนเกิดบนนิพจน์เหล่านั้น และ eval ที่ทำให้ภาษาตีความตัวเองได้ อันเป็นแบบที่กลายมาเป็น Lisp และเป็นภาษาทำงานของปัญญาประดิษฐ์เชิงสัญลักษณ์
รวบรวมงานเรื่องเพอร์เซปตรอนให้เป็นทฤษฎีที่สมบูรณ์ว่าด้วยโครงข่ายความน่าจะเป็นแบบหลายชั้น พร้อมระบุทั้งสิ่งที่เครื่องเช่นนี้เรียนรู้ได้และจุดที่รูปแบบชั้นเดียวไปต่อไม่ได้
สร้างโปรแกรมที่ดูราวกับสนทนาได้ด้วยการจับคู่แบบรูปและกฎการเขียนใหม่ โดยผู้เขียนชี้ทันทีว่าความเข้าใจที่ผู้อ่านยกให้โปรแกรมนั้นมากเกินกว่าที่มันมีจริง
บทความนำเสนอโครงข่ายความจำเชื่อมโยงของ Hopfield ซึ่งเชื่อมโยงการคำนวณเชิงประสาทเข้ากับภูมิทัศน์พลังงานของฟิสิกส์เชิงสถิติและฟื้นความสนใจในโครงข่ายประสาทระหว่างช่วงฤดูหนาวของปัญญาประดิษฐ์ยุคแรก
บันทึกระบบกฎการผลิตที่จัดโครงแบบคำสั่งซื้อคอมพิวเตอร์ของ DEC ทุกวัน นับเป็นระบบผู้เชี่ยวชาญไม่กี่ระบบที่ยืนอยู่ได้ในการใช้งานจริงประจำวันและคิดผลตอบแทนออกมาได้
บทความจัดระบบการดำเนินการหลอมรวมแพร่กระจายและจัดโครงสร้างบนโครงข่ายความเชื่อจึงวางรากฐานเชิงขั้นตอนวิธีสำหรับการอนุมานใน Bayesian network
บทความเผยแพร่ขั้นตอนวิธี back-propagation สำหรับฝึกโครงข่ายประสาทหลายชั้นทำให้การเรียนรู้เชิงลึกเชิงปฏิบัติเป็นไปได้
บทความจัดระบบการเรียนรู้แบบ temporal-difference (TD) จึงกลายเป็นหนึ่งในขั้นตอนวิธีหลักที่อยู่เบื้องหลังการเรียนรู้แบบเสริมกำลังสมัยใหม่
บทความนำเสนอโครงข่ายวนซ้ำอย่างง่ายของ Elman ซึ่งแสดงว่าโครงข่ายประสาทสามารถเรียนรู้โครงสร้างเชิงเวลาและเปิดทางให้แบบจำลองลำดับในภายหลัง
บทความนำเสนอซัพพอร์ตเวกเตอร์แมชชีนแบบ soft-margin ซึ่งเป็นตัวจำแนกแบบขอบเขตสูงสุดที่กลายเป็นแบบแผนและกำหนดทิศทางการเรียนรู้ของเครื่องในช่วงคริสต์ทศวรรษ 1990
นำเสนอสถาปัตยกรรม LSTM ดั้งเดิมที่ใช้เซลล์ความจำพร้อมประตูรับเข้าและส่งออก ส่วนประตูลืมที่ใช้เป็นมาตรฐานในปัจจุบันถูกเพิ่มภายหลังโดย Gers, Schmidhuber และ Cummins
บทความนำเสนอ LeNet-5 ซึ่งเป็นโครงข่ายประสาทแบบคอนโวลูชันต้นแบบที่ทำการรู้จำตัวเลขเขียนด้วยมือได้ในระดับใช้งานจริงและสถาปนาแม่แบบของ CNN
บทความนำเสนอออโตเอนโคเดอร์เชิงลึกที่สร้างข้อมูลมิติสูงขึ้นมาใหม่ได้เที่ยงตรงกว่า PCA มากจึงจุดประกายแรกของการฟื้นคืนของการเรียนรู้เชิงลึก
บทความนำเสนอ deep belief network ที่ฝึกด้วยขั้นตอนวิธีแบบ greedy ทีละชั้นซึ่งแสดงเป็นครั้งแรกว่าแบบจำลองเชิงลึกสามารถฝึกได้อย่างมีประสิทธิภาพ
ย้ายการฝึกแบบจำลองเชิงลึกแบบไม่มีผู้สอนไปยังหน่วยประมวลผลกราฟิกจนเร็วขึ้นระดับเท่าตัวหลายสิบ ทำให้เส้นทางฮาร์ดแวร์ที่การเรียนรู้เชิงลึกใช้ขยายขนาดในทศวรรษถัดมากลายเป็นเรื่องปกติ
บทความผสาน Q-learning เข้ากับโครงข่ายคอนโวลูชันเพื่อเล่นเกม Atari จากพิกเซลดิบได้ในระดับมนุษย์จึงเป็นจุดกำเนิดของการเรียนรู้เสริมกำลังเชิงลึก
บทความนำเสนอสถาปัตยกรรม skip-gram และ CBOW ที่สร้างเวกเตอร์ฝังคำแบบหนาแน่นจึงเปิดยุคของเวกเตอร์แทนคำที่ฝึกล่วงหน้า
บทความนำเสนอ variational autoencoder ซึ่งผสานการอนุมานแบบแวริเอชันเข้ากับการสร้างแบบจำลองเชิงลึกและจัดให้มีแบบจำลองตัวแปรแฝงเชิงลึกแพร่หลายเป็นครั้งแรก
บทความนำเสนอ attention แบบบวก (Bahdanau) สำหรับการแปลด้วยโครงข่ายประสาทแสดงว่าการจัดแนวแบบนุ่มช่วยให้ดีโค้เดอร์มุ่งไปยังโทเคนต้นทางที่เกี่ยวข้องและจุดประกาย Transformer โดยตรง
บทความจัดการสร้างแบบจำลองเชิงกำเนิดในรูปเกมมินแมกซ์สองผู้เล่นระหว่างเครื่องกำเนิดกับเครื่องจำแนกจึงเปิดตระกูลใหม่ของแบบจำลองเชิงกำเนิดโดยปริยาย
บทความนำเสนอ dropout ซึ่งเป็นเทคนิคสม่ำเสรอเชิงสุ่มอย่างง่ายที่กลายเป็นค่าตั้งต้นในไปป์ไลน์การฝึกการเรียนรู้เชิงลึก
บทความนำเสนอ batch normalization ซึ่งปรับอินพุตของชั้นให้เป็นมาตรฐานข้ามมินิแบตช์เพื่อทำให้การฝึกโครงข่ายเชิงลึกมีเสถียรภาพและเร็วขึ้นอย่างมาก
วางการสร้างแบบจำลองเชิงกำเนิดให้เป็นการย้อนกระบวนการเติมสัญญาณรบกวนทีละขั้น อันเป็นรูปแบบที่แบบจำลองการแพร่รุ่นหลังตั้งอยู่บนนั้น
บทความนำเสนอการเชื่อมต่อแบบเรซิดวลที่ทำให้โครงข่ายที่ลึกหลายร้อยชั้นสามารถฝึกได้อย่างมีประสิทธิภาพและชนะ ImageNet 2015 อย่างขาดลอย
ตัดคำเป็นหน่วยย่อยที่ได้จากความถี่ ทำให้คลังคำขนาดคงที่สะกดอะไรก็ได้ อันเป็นวิธีตัดคำที่แบบจำลองภาษารุ่นหลังส่วนใหญ่รับช่วงต่อ
รวมการตัดกิ่ง การควอนไทซ์ระหว่างฝึก และการเข้ารหัสฮัฟฟ์แมนไว้ในกระบวนการเดียว ย่อขนาดโครงข่ายลงราวสิบเท่าโดยแทบไม่เสียความแม่นยำ นับเป็นการชี้แต่เนิ่น ๆ ว่าความละเอียดเชิงตัวเลขคือตัวแปรของการออกแบบ
บทความนำเสนอแบบจำลองออโตรีเกรสซีฟเชิงคอนโวลูชันแบบขยายเชิงสาเหตุที่สร้างสัญญาณเสียงดิบจึงยกระดับความเป็นธรรมชาติของการสังเคราะห์เสียงพูดขึ้นอย่างมาก
บทความนำเสนอ PPO ซึ่งเป็นวิธีลงกราเดียนต์นโยบายอันดับหนึ่งที่เรียบง่ายและเสถียรและกลายเป็นขั้นตอนวิธีเพิ่มประสิทธิภาพนโยบายมาตรฐานในการเรียนรู้เสริมกำลังสมัยใหม่
ส่งแต่ละโทเคนไปยังผู้เชี่ยวชาญเพียงไม่กี่ตัวจากจำนวนมาก ทำให้จำนวนพารามิเตอร์ของโครงข่ายเติบโตได้ไกลเกินกว่าการคำนวณที่ใช้กับอินพุตหนึ่ง ๆ
บทความนำเสนอ Transformer ซึ่งเป็นสถาปัตยกรรมที่ใช้ attention ล้วนและละทิ้งการวนซ้ำและการคอนโวลูชันจึงเหนือกว่าคุณภาพการแปลงลำดับเดิมขณะฝึกในเวลาเพียงเสี้ยวหนึ่ง
ฝึกตัวตัดคำระดับหน่วยย่อยจากข้อความดิบโดยตรงโดยไม่ต้องตัดคำล่วงหน้าตามภาษาใดภาษาหนึ่ง ทำให้กระบวนการเดียวกันใช้ได้กับภาษาที่ไม่เว้นวรรคระหว่างคำ
บทความนำเสนอ Transformer แบบสองทิศทางที่ฝึกล่วงหน้าด้วย masked language modeling และ next-sentence prediction จึงสถาปนาเกณฑ์วัดใหม่ทั่วเกณฑ์ NLP
บทความหลอมรวมทุกงาน NLP ในฐานะข้อความ-สู่-ข้อความและตัดทอนตัวเลือกการเรียนรู้แบบถ่ายโอนอย่างเป็นระบบจึงสถาปนาสูตรอ้างอิงสำหรับแบบจำลองที่ฝึกล่วงหน้าขนาดใหญ่
บทความจัดรูปแบบ diffusion ใหม่เป็นวัตถุประสงค์การฝึกแบบแวริเอชันขจัดสัญญาณรบกวนจึงคืนคุณภาพการสร้างภาพสู่ระดับ state-of-the-art และเปิดยุคของแบบจำลอง diffusion
ประกอบการขนานเชิงเทนเซอร์ เชิงสายงาน และเชิงข้อมูลเข้าเป็นตารางเดียว พร้อมวัดอัตราการประมวลผลของการฝึกแบบจำลองภาษาบนจีพียูนับพันตัว
ตรึงน้ำหนักที่ฝึกไว้ล่วงหน้าแล้วฝึกเมทริกซ์อันดับต่ำคู่หนึ่งแทน ทำให้ต้นทุนการปรับแบบจำลองขนาดใหญ่เหลือเพียงเศษเสี้ยวของการปรับละเอียดทั้งตัว
บทความแสดงว่า Transformer ออโตรีเกรสซีฟขนาด 12B พารามิเตอร์สามารถสร้างภาพที่หลากหลายและมีความเที่ยงตรงสูงจากคำบรรยายข้อความโดยตรงจึงจุดประกายงานวิจัยด้านข้อความสู่ภาพ
บทความฝึกตัวเข้ารหัสภาพบนคู่ภาพ-ข้อความขนาดเว็บเพื่อให้จำแนกภาพแบบ zero-shot ได้แข็งแกร่งจึงจัดหอคอยภาพให้กับระบบหลายรู้สึกจำนวนมากในภายหลัง
เสนอแบบจำลอง GPT ที่ปรับละเอียดด้วยโค้ดพร้อมชุดวัดผลที่ให้คะแนนตามความถูกต้องเชิงหน้าที่ ทำให้การเขียนโปรแกรมกลายเป็นความสามารถที่วัดได้แทนที่จะเป็นเพียงแนวหนึ่งของการกำเนิดข้อความ พร้อมอภิปรายผลด้านความปลอดภัยและแรงงานไปด้วย
บทความย้ายกระบวนการ diffusion เข้าสู่ปริภูมิแฝงเชิงการรับรู้จึงทำให้การสร้างภาพจากข้อความความละเอียดสูงทำได้บน GPU ระดับผู้บริโภคและทำให้การสังเคราะห์ภาพเป็นประชาธิปไตย
บทความแสดงว่าการกระตุ้นให้แบบจำลองภาษาสร้างขั้นตอนการให้เหตุผลกลางทำให้สมรรถนะบนเกณฑ์การให้เหตุผลเชิงคำนวณสามัญสำนึกและสัญลักษณ์ดีขึ้นอย่างมาก
บทความประยุกต์ reinforcement learning from human feedback ขนาดใหญ่เพื่อจัดแนวผลลัพธ์ของ GPT-3 กับเจตนาของมนุษย์จึงสถาปนา RLHF เป็นสูตรการจัดแนวมาตรฐาน
บทความนำเสนอ RLAIF ซึ่งแบบจำลองวิพากษ์และปรับปรุงผลลัพธ์ของตนเองตามรัฐธรรมนูญที่เขียนไว้จึงลดการพึ่งพาป้ายอันตรายจากมนุษย์ในการจัดแนว
บทความเปิดตัวตระกูล LLaMA ของแบบจำลองพื้นฐานแบบเปิดแสดงว่าแบบจำลองที่มีขนาดค่อนข้างเล็กแต่ฝึกดีสามารถทัดเทียมแบบจำลองปิดที่ใหญ่กว่ามากจึงเร่งกระแสน้ำหนักเปิด
จัดระเบียบงานเรื่องเอเจนต์ที่กระจัดกระจายให้เป็นสามสาย คือการสร้าง การประเมิน และการประยุกต์ นับเป็นจุดที่คำนี้เปลี่ยนจากการรวมกันของวิธีปฏิบัติมาเป็นสาขาวิจัยหนึ่ง
ส่งค่าความชันย้อนกลับผ่านแบบจำลองฐานที่ควอนไทซ์เป็น 4 บิตไปยังตัวปรับอันดับต่ำ ทำให้การปรับละเอียดแบบจำลองขนาดใหญ่อยู่ในวิสัยของจีพียูเพียงตัวเดียว
ควอนไทซ์น้ำหนักของแบบจำลองภาษาขนาดใหญ่หลังการฝึก ทีละชั้นและในรอบเดียว ทำให้ให้บริการที่ความละเอียดต่ำลงได้โดยไม่ต้องฝึกใหม่
ให้แบบจำลองร่างขนาดเล็กเสนอโทเคนหลายตัวแล้วให้แบบจำลองเป้าหมายตรวจสอบพร้อมกัน ลดเวลาหน่วงโดยไม่เปลี่ยนการแจกแจงของผลลัพธ์
จัดการแคชของกลไกความสนใจเป็นหน้าขนาดคงที่อย่างที่ระบบปฏิบัติการจัดการหน่วยความจำ ทำให้เครื่องบริการรับคำขอพร้อมกันได้มากขึ้นมากโดยไม่ต้องกันพื้นที่เผื่อกรณีเลวร้ายที่สุดให้ทุกคำขอ
นำเสนอ Mamba สถาปัตยกรรมเชิงปริภูมิสถานะเชิงเลือกที่เทียบเท่าหรือเหนือกว่า Transformer attention บนภาษาและมอดัลลิตี้อื่น ๆ ด้วยความซับซ้อนเชิงเวลาเชิงเส้น — เป็นหนึ่งในสถาปัตยกรรมหลัง Transformer ที่ทรงอิทธิพลที่สุดของปี 2023
บทความชนะการแข่งขัน ImageNet 2012 อย่างขาดลอยด้วย CNN ที่ฝึกบน GPU จึงเป็นจุดเปลี่ยนที่การเรียนรู้เชิงลึกแซงหน้าคอมพิวเตอร์วิทัศน์แบบคลาสสิก
บทความตีพิมพ์ DQN ฉบับ Nature ซึ่งแสดงสมรรถนะระดับมนุษย์ในเกม Atari หลากหลายเกมและนำการเรียนรู้เสริมกำลังเชิงลึกเข้าสู่กระแสหลัก
บทความผสานโครงข่ายนโยบายและคุณค่าเชิงลึกเข้ากับการค้นหาแบบมอนติคาร์โลเพื่อเอาชนะแชมป์โกะมนุษย์ระดับสูงซึ่งเป็นช่วงหัวเลี้ยวหัวต่อสำคัญของการเรียนรู้เสริมกำลัง
บทความแสดงว่า Transformer เชิงกำเนิดที่ฝึกล่วงหน้าบนข้อความไร้ป้ายสามารถปรับแต่งอย่างละเอียดให้มีสมรรถนะสูงข้ามงาน NLP ที่หลากหลายจึงเป็นจุดกำเนิดของสาย GPT
บทความแสดงว่าแบบจำลองภาษา Transformer ขนาด 1.5B พารามิเตอร์แสดงพฤติกรรมหลายงานแบบ zero-shot จึงจุดประเด็นอภิปรายเรื่อง “แบบจำลองภาษาในฐานะผู้เรียนหลายงาน”
บทความแสดงว่า Transformer ขนาด 175B พารามิเตอร์บรรลุสมรรถนะ few-shot ที่แข็งแกร่งผ่านการเรียนรู้ในบริบทเพียงลำพังจึงทำให้ prompt engineering แพร่หลายในฐานะกระบวนทัศน์
บทความบรรยาย GPT-4 ซึ่งเป็นแบบจำลองหลายรู้สึกขนาดใหญ่ที่เทียบเท่าหรือเหนือกว่าสมรรถนะของมนุษย์ในเกณฑ์วัดทางวิชาชีพและวิชาการที่หลากหลาย
บทความนำเสนอตระกูล Gemini ของแบบจำลองที่เป็นหลายรู้สึกโดยกำเนิดซึ่งตั้งมาตรฐานใหม่ทั่วเกณฑ์การให้เหตุผลการเขียนโค้ดและเกณฑ์หลายรู้สึก
OpenAI เผยแพร่การ์ดระบบสำหรับซีรีส์โมเดล o1 ซึ่งฝึกด้วยการเรียนรู้แบบเสริมกำลังขนาดใหญ่เพื่อให้ใช้เหตุผลแบบลูกโซ่ความคิด o1 บรรลุถึง SOTA ในงานด้านวิทยาศาสตร์และการเขียนโค้ด และแสดงการปฏิบัติตามนโยบายโดยอาศัยการอนุมาน
ARC Prize เปิดตัว ARC-AGI-3 เกณฑ์มาตรฐานเชิงโต้ตอบสำหรับศึกษาปัญญาประดิษฐ์เชิงเอเจนต์ผ่านสภาพแวดล้อมเชิงรอบที่เป็นนามธรรม ซึ่งเอเจนต์ต้องสำรวจ อนุมานเป้าหมาย สร้างแบบจำลองภายในของพลวัตสภาพแวดล้อม และวางแผนลำดับการกระทำที่มีประสิทธิภาพโดยไม่มีคำสั่งชัดเจน ณ เดือนมีนาคม 2026 มนุษย์แก้สภาพแวดล้อมได้ 100% ในขณะที่ระบบ AI ชั้นแนวหน้าทำคะแนนได้ต่ำกว่า 1%
บทความประยุกต์ sparse autoencoder กับ LLM แนวหน้าโดยสกัดลักษณะเชิงความหมายเดี่ยวหลายล้านลักษณะและแสดงว่าการตีความเชิงกลไกสามารถขยายสู่แบบจำลองระดับใช้งานจริงได้
บทความเปิดตัว DeepSeek-V3 ซึ่งเป็นแบบจำลอง Mixture-of-Experts แบบเปิดขนาด 671B พารามิเตอร์ที่เข้าใกล้แบบจำลองปิดแนวหน้าบนเกณฑ์หลักด้วยสัดส่วนเพียงเล็กน้อยของต้นทุนการฝึก
เปิดตัวตระกูล Gemini 1.5 ซึ่งเป็นโมเดลมัลติโมดัลที่มีประสิทธิภาพการคำนวณสูง พร้อมหน้าต่างบริบทขนาดหนึ่งล้านโทเค็น — สามารถให้เหตุผลอย่างละเอียดข้ามเอกสารยาวหลายฉบับและวิดีโอ/เสียงหลายชั่วโมง
Meta นำเสนอตระกูล Llama 3 ซึ่งเป็นโมเดลรากฐานน้ำหนักเปิดที่รองรับหลายภาษา การเขียนโค้ด การอนุมาน และการใช้เครื่องมือโดยกำเนิด โมเดลเรือธง 405B dense Transformer เป็นหนึ่งในโมเดลน้ำหนักเปิดที่ใหญ่ที่สุด ณ เวลาที่เปิดตัว
Meta นำเสนอ SAM 2 โมเดลรากฐานสำหรับการแบ่งส่วนภาพด้วยพรอมต์ทั้งในภาพนิ่งและวิดีโอ พร้อมชุดข้อมูลการแบ่งส่วนวิดีโอที่ใหญ่ที่สุดเท่าที่เคยมีมา
Google DeepMind เปิดตัว Gemma 2 ตระกูลโมเดลเปิดที่มีน้ำหนักเบา (2B-27B พารามิเตอร์) โดยประยุกต์การปรับเปลี่ยนทางเทคนิคที่รู้จักหลายอย่างกับ Transformer รวมถึง sliding window attention เพื่อเข้าใกล้โมเดลที่ใหญ่กว่ามาก
DeepSeek เปิดตัว R1 โมเดลน้ำหนักเปิดรายแรกที่แสดงความสามารถในการอนุมานระดับแนวหน้าโดยขับเคลื่อนจากการเรียนรู้แบบเสริมกำลังขนาดใหญ่เป็นหลัก R1 เทียบเท่าโมเดลปิดระดับ o1 ของ OpenAI ในเกณฑ์คณิตศาสตร์และการเขียนโค้ด และเปิดตัวภายใต้สัญญาอนุญาต MIT
ผู้เขียนปรับจูน Qwen2.5-32B ด้วยโจทย์การให้เหตุผลที่คัดเลือกแล้ว 1,000 ข้อ และเพิ่มการบังคับงบประมาณซึ่งจำกัดหรือยืดระยะเวลาที่โมเดลใช้คิดตอนอนุมาน ผลลัพธ์เหนือกว่า o1-preview ในคณิตศาสตร์ระดับแข่งขัน และเพิ่มจาก 50% เป็น 57% บน AIME24 เมื่อเพิ่มการคำนวณช่วงทดสอบ นับเป็นการถ่วงดุลโดยตรงต่อสมมติฐานที่ว่าความสามารถมาจากการฝึกขนาดใหญ่ขึ้นเท่านั้น
Qwen3 เป็นตระกูลโมเดลรวมตั้งแต่ 600 ล้านถึง 2.35 แสนล้านพารามิเตอร์ ทั้งแบบหนาแน่นและแบบผสมผู้เชี่ยวชาญ พร้อมสลับระหว่างโหมดคิดและไม่คิด ทำให้ความลึกของการให้เหตุผลกลายเป็นตัวเลือกระดับคำขอ การรองรับหลายภาษาขยายจาก 29 เป็น 119 ภาษา และเผยแพร่น้ำหนักภายใต้สัญญาอนุญาต Apache 2.0
AlphaEvolve เป็นเอเจนต์เขียนโค้ดเชิงวิวัฒนาการ ที่จัดการสายงานอัตโนมัติของโมเดลภาษา แก้ไขโค้ดของอัลกอริทึมโดยตรง และปรับปรุงซ้ำ ๆ ตามผลป้อนกลับจากตัวประเมินหนึ่งตัวหรือมากกว่า ภายใน Google มันสร้างอัลกอริทึมจัดคิวงานศูนย์ข้อมูลที่มีประสิทธิภาพกว่าเดิม พบการลดรูปที่ให้ผลเทียบเท่าในการออกแบบวงจรตัวเร่งฮาร์ดแวร์ และเร่งการฝึกโมเดลที่รองรับตัวมันเอง ในทางคณิตศาสตร์และวิทยาการคอมพิวเตอร์ มันค้นพบอัลกอริทึมที่พิสูจน์ได้ว่าถูกต้องและดีกว่าที่เคยมี หนึ่งในนั้นคือวิธีคูณเมทริกซ์เชิงซ้อนขนาด 4×4 ด้วยการคูณสเกลาร์ 48 ครั้ง ซึ่งในเงื่อนไขนี้นับเป็นการปรับปรุงอัลกอริทึมของ Strassen ครั้งแรกในรอบ 56 ปี
Ai2 เปิดตัว OLMo 2 ขนาด 7B 13B และ 32B พร้อมเผยแพร่ทุกองค์ประกอบ ได้แก่ น้ำหนัก ข้อมูลฝึกทั้งชุด โค้ดและสูตรการฝึก บันทึกการฝึก และจุดตรวจระหว่างทางหลายพันจุด รายงานอธิบายการปรับเพื่อความเสถียรและประสิทธิภาพต่อโทเคน ชุดข้อมูลผสมช่วงท้ายชื่อ Dolmino Mix 1124 และขั้นตอนสุดท้ายที่ใช้การเรียนรู้แบบเสริมกำลังด้วยรางวัลที่ตรวจสอบได้ โมเดลฐานอยู่บนพรมแดนพาเรโตระหว่างสมรรถนะกับการคำนวณในการฝึก และมักเทียบเท่าตระกูลที่เผยแพร่เพียงน้ำหนัก ทั้งที่เปิดเผยว่าฝึกด้วยอะไร
Olmo 3 ขยายตระกูลที่เปิดเผยครบถ้วนไปสู่ขนาด 7B และ 32B ออกแบบมาเพื่อการอนุมานบริบทยาว การเรียกฟังก์ชัน การเขียนโค้ด การทำตามคำสั่ง การสนทนา และการเรียกคืนความรู้ สิ่งที่เผยแพร่คือกระบวนการสร้างโมเดลทั้งสาย ได้แก่ ทุกขั้นตอน จุดตรวจ จุดข้อมูล และสิ่งที่ต้องพึ่งพาในการสร้าง ไม่ใช่เพียงน้ำหนัก Ai2 ระบุว่า Olmo 3 Think 32B รุ่นเรือธงเป็นโมเดลคิดแบบเปิดเผยครบถ้วนที่แข็งแกร่งที่สุด ณ เวลาที่เผยแพร่ ซึ่งเป็นการเปรียบเทียบภายในหมวดเปิดเผยครบถ้วน ไม่ใช่การจัดอันดับเทียบกับระบบแนวหน้าโดยรวม
บทความจุดยืนนี้ชี้ให้เห็นว่าการบูรณาการความจำชัดแจ้งเป็นรากฐานสำคัญในการก้าวหน้า LLM สู่ AGI กลไกการเรียนรู้พื้นฐานของ LLM คล้ายคลึงกับความจำโดยปริยายของมนุษย์อย่างมาก แต่หน้าที่ทางปัญญาขั้นสูงที่จำเป็นสำหรับ AGI เช่น การวางแผนเชิงกลยุทธ์ระยะยาวและอภิปัญญา ขึ้นอยู่กับความจำชัดแจ้ง
รายงานทางเทคนิคของ Z.ai เกี่ยวกับ GLM-5 ต่อยอดจากความสามารถด้านเอเจนต์ การให้เหตุผล และการเขียนโค้ดของรุ่นก่อน โมเดลใช้ DSA เพื่อลดต้นทุนการฝึกและการอนุมานขณะยังคงความแม่นยำในบริบทยาว ส่วนขั้นหลังการฝึกเพิ่มโครงสร้างพื้นฐานการเรียนรู้แบบเสริมกำลังแบบอะซิงโครนัสที่แยกการสร้างออกจากการฝึก และอัลกอริทึม RL เอเจนต์แบบอะซิงโครนัสสำหรับการโต้ตอบระยะยาว รายงานอ้างผลลัพธ์ชั้นนำบนเกณฑ์มาตรฐานเปิดและงานวิศวกรรมซอฟต์แวร์แบบครบวงจร ซึ่งเป็นการประเมินของผู้เขียนเอง โดยเปิดโค้ดและโมเดลบน GitHub ให้ตรวจสอบได้
ขอบเขตที่ดีที่สุดเท่าที่ทราบของเลขชี้กำลังการคูณเมทริกซ์ ω มาจากการวิเคราะห์การสูญเสียแบบผสม ซึ่งเป็นการปรับละเอียดของวิธีเลเซอร์ ผู้เขียนจัดรูปปัญหาการหาค่าเหมาะที่สุดที่เป็นแกนกลางเสียใหม่เพื่อให้แก้ได้ในขอบเขตที่กว้างขึ้น ออกแบบอัลกอริทึมการหาค่าเหมาะที่สุดแบบใหม่โดยอาศัยความก้าวหน้าล่าสุดของการเรียนรู้ของเครื่อง แล้วปรับละเอียดอัลกอริทึมนั้นด้วย AlphaEvolve ผลรวมทำให้ขอบเขตบนลดจาก 2.371339 เหลือ 2.371177 นี่เป็นบันทึกฉบับพรีปรินต์ และ AlphaEvolve เป็นเพียงองค์ประกอบหนึ่งไม่ใช่ทั้งวิธี ผลที่ได้เพิ่มขึ้นเพียงเล็กน้อย แต่เกิดขึ้นกับปัญหาเชิงทฤษฎีที่ถูกศึกษามาหลายทศวรรษ
Google เสนอ Co-Scientist ระบบหลายเอเจนต์ที่สร้างบน Gemini โดยเอเจนต์จะสร้าง วิจารณ์ และปรับปรุงสมมติฐานการวิจัย พร้อมกระบวนการแบบทัวร์นาเมนต์ที่ยกระดับคุณภาพขึ้นในแต่ละรอบ บทความรายงานว่าคุณภาพของสมมติฐานเพิ่มขึ้นต่อเนื่องเมื่อเพิ่มการคำนวณในขั้นอนุมาน การตรวจสอบจำกัดอยู่ในด้านชีวการแพทย์ ไม่ใช่การใช้งานทั่วไป ได้แก่ การนำยาเดิมมาใช้ใหม่ การค้นหาเป้าหมายใหม่ และกลไกการดื้อยาต้านจุลชีพ โดยผู้สมัครสำหรับมะเร็งเม็ดเลือดขาวชนิดเฉียบพลันได้รับการยืนยันในหลอดทดลอง
สำรวจบทความ arXiv จำนวน 1,250 ชิ้นระหว่างปี 2024 ถึง 2026 และแยกสองสิ่งที่คำนี้ครอบคลุม การขัดเกลาตนเองแบบมีขอบเขตปรับปรุงระบบเทียบกับผู้ประเมินภายนอกที่ตายตัว จึงลู่เข้าและประเมินได้ ส่วนการปรับปรุงตนเองแบบวนซ้ำที่เปิดกว้างจะแก้ไขเกณฑ์หรือกลไกของการปรับปรุงเองด้วย ไม่มีหลักยึดภายนอกที่ตายตัว และลู่ออกโดยหลักการ ข้อสรุปของบทสำรวจเองคือบทความที่รวบรวมมาเกือบทั้งหมดศึกษาแบบแรก ผู้เขียนระบุข้อจำกัดไว้ด้วยว่า คลังข้อมูลเป็นกลุ่มตัวอย่างไม่ใช่การสำรวจทั้งหมด และ 74% ของคลังเผยแพร่ในปี 2026 ซึ่งทำให้การวัดอิทธิพลยังเร็วเกินไป
ชี้ให้เห็นว่า LLM ปัจจุบันพึ่งพาการจับคู่รูปแบบเชิงสถิติเป็นหลักและขาดพื้นฐาน “การรับรู้สถานการณ์” ที่จำเป็น — ความคงอยู่ของวัตถุ ความเป็นเหตุเป็นผล จิตสำนึกของผู้อื่น และการดำรงอยู่ของโลกทางกายภาพ ซึ่งเป็นพื้นฐานที่ทารกมนุษย์พัฒนาในช่วงต้น และเป็นส่วนประกอบสำคัญที่ขาดไปสำหรับซูเปอร์อินเทลลิเจนซ์ประดิษฐ์
ชี้ให้เห็นว่าการรักษาตัวตนเป็นรากฐานเชิงโครงสร้างของการจัดวาง AI ที่ล้มเหลว — เป็นแรงขับเคลื่อนการจัดวางแบบหลอกลวง การปกป้องเนื้อหาเป้าหมาย และการต่อต้านการปิดระบบ เป้าหมายที่ถูกต้องไม่ใช่เอเจนต์ที่รักษาตัวตนซึ่งถูกกดดันด้วยข้อจำกัดภายนอก แต่เป็นระบบที่โดยธรรมชาติเฉยเมยต่อการดำรงอยู่ของตัวเอง: ความเฉยเมยต่อการดำรงอยู่ (EI)
นักวิจัยจาก Google DeepMind และผู้ร่วมงานโต้แย้งว่าความท้าทายหลักของ AI กำลังเปลี่ยนจากขีดความสามารถไปสู่การอยู่ร่วมกัน ซูเปอร์อินเทลลิเจนซ์ที่สร้างจากการออกแบบแบบโดดเดี่ยวซึ่งมองโลกเป็นแหล่งป้อนกลับนิ่งภายนอก มีแนวโน้มน้อยที่จะร่วมมือ — การนำไปใช้กระตุ้นความไม่นิ่งภายใน ทำให้เกิดการเลื่อนของการกระจายระหว่างการฝึก การทดสอบ และการใช้งาน
แผนที่เส้นทางจากผู้เขียนสามสิบสี่คนที่วางลำดับขั้นของการปรับปรุงตนเองแบบวนซ้ำ ตั้งแต่ความเป็นอิสระในการลงมือปรับปรุงไปจนถึงการปรับปรุงเชิงอภิมานแบบวนซ้ำ พร้อมข้อกำหนดและอุปสรรคของแต่ละขั้นในสาขาต่าง ๆ เช่น การค้นพบทางวิทยาศาสตร์และวิศวกรรมซอฟต์แวร์ บทความให้เหตุผลจากการประมวลภาพรวมของสาขาและหลักฐานเบื้องต้น มิใช่จากการทดลองใหม่ และยังไม่มีแหล่งตีพิมพ์ในขณะที่เขียนรายการนี้
รายงานของ Google DeepMind ที่ตรวจสอบว่า AI อาจพัฒนาต่อไปตามความต่อเนื่องของปัญญากลไกหลัง AGI ได้อย่างไร หลังจากนิยาม Universal AI อย่างเป็นทางการ รายงานมุ่งเน้นที่การเปลี่ยนผ่านจาก AGI ระดับมนุษย์ไปสู่ซูเปอร์อินเทลลิเจนซ์ทั่วไปเทียม อธิบายลักษณะของ ASI และหารือเส้นทางสี่ทาง ได้แก่ การขยายขนาด AGI การเปลี่ยนกระบวนทัศน์ AI การปรับปรุงตนเองแบบวนซ้ำ และกลุ่มเอเจนต์หลายตัว