أوراق مختارة في تاريخ الذكاء الاصطناعي وتطوّره

النظرية المبكرة Gödel, K. · Monatshefte für Mathematik und Physik 38(1): 173–198

يثبت أن كل نسق صوري متسق قادر على التعبير عن الحساب يتضمّن قضايا صادقة لا يستطيع إثباتها، فيرسم الحدّ الذي أطّر لاحقًا ما تستطيع الحوسبة والاستدلال الآلي حسمه.

النظرية المبكرة Turing, A. M. · Proceedings of the London Mathematical Society s2-42(1): 230–265

يقدّم آلة تورينغ الشاملة ويثبت أن مسألة القرار غير قابلة للحسم، فيؤسّس الأساس النظري لعلم الحاسوب.

النظرية المبكرة Church, A. · American Journal of Mathematics 58(2): 345

يعرّف القابلية الفعلية للحساب عبر حساب لامدا ويعرض مسألة لا يستطيع أي إجراء من هذا النوع حسمها، فيبلغ حدود الحوسبة على نحو مستقل عن تورينغ.

النظرية المبكرة McCulloch, W. S. & Pitts, W. · Bulletin of Mathematical Biophysics 5(4): 115–133

ينمذج النشاط العصبي بوصفه منطقًا قضويًا، فيقدّم أول نظرية رياضية للشبكات العصبية الاصطناعية.

النظرية المبكرة Shannon, C. E. · Bell System Technical Journal 27(3): 379–423; 27(4): 623–656

الورقة المؤسِّسة لنظرية المعلومات، تعرّف الإنتروبيا وسعة القناة بوصفهما حدَّين أساسيَّين للاتصال.

النظرية المبكرة Turing, A. M. · Mind LIX(236): 433–460

يقترح لعبة المحاكاة (اختبار تورينغ) ويصوغ صياغة منهجية السؤال عمّا إذا كانت الآلات تستطيع التفكير، فيسهم في ترسيخ الذكاء الاصطناعي برنامجًا بحثيًا.

النظرية المبكرة McCarthy, J., Minsky, M. L., Rochester, N. & Shannon, C. E. · Dartmouth College, 1955; republished in AI Magazine 27(4): 12–14 (2006)

المقترح المؤسِّس لورشة دارتموث الصيفية، أدخل مصطلح «الذكاء الاصطناعي» ورسم خطة البحث في هذا الحقل.

مولد الذكاء الاصطناعي Newell, A. & Simon, H. A. · IRE Transactions on Information Theory IT-2(3): 61–79

يصف Logic Theorist، وهو برنامج مبكر لإثبات المبرهنات أثبت بالبحث الاستكشافي مبرهنات من كتاب Principia Mathematica لوايتهيد ورسل، فبرهن على الاستدلال الآلي في المنطق القضوي.

مولد الذكاء الاصطناعي Newell, A., Shaw, J. C., Simon, H. A. · Psychological Review 65(3): 151–166

يقدّم حلّ الإنسان للمسائل بوصفه بحثًا استدلاليًا في فضاء من الحالات الرمزية، وهو التصوّر الذي يقوم عليه الحلّال العام للمسائل ونظرة العقل بوصفه معالجًا للمعلومات.

مولد الذكاء الاصطناعي Rosenblatt, F. · Psychological Review 65(6): 386–408

يقدّم أول عصبون خطي عتبي قابل للتدريب، فيؤسّس النسب الاتصالي الذي يفضي إلى التعلّم العميق الحديث.

مولد الذكاء الاصطناعي McCarthy, J. · Proceedings of the Symposium on Mechanisation of Thought Processes (NPL Teddington), 75–91. London: HMSO

يقترح Advice Taker، وهو برنامج يستدلّ بمسلّمات تقريرية ويقبل «نصائح» جديدة في صورة جمل إنجليزية، فيسهم في إرساء خطة البحث في تمثيل المعرفة والذكاء الاصطناعي الرمزي.

مولد الذكاء الاصطناعي Samuel, A. L. · IBM Journal of Research and Development 3(3): 210–229

يبرهن على التعلّم باللعب الذاتي مع دالة تسجيل في برنامج للداما، وهي محطة مبكرة في التعلّم المعزّز ارتبط بها مصطلح «تعلّم الآلة».

مولد الذكاء الاصطناعي Gelernter, H. · Information and Control 2(1): 80–89

يعالج Gelernter كيف يتسنّى لآلة أن تتناول بكفاءة أنساقًا صورية محمولاتها شديدة التناظر، ويقرّر مبرهنة وقاعدة في التناظر النحوي حلًّا لذلك. ويقوم العمل إلى جانب آلة مبرهنات الهندسة التي كان يبنيها في IBM، وقد أثبتت أول مبرهنة لها في الهندسة الإقليدية المستوية الابتدائية في مطلع ربيع ١٩٥٩.

مولد الذكاء الاصطناعي Widrow, B., Hoff, M. E. · IRE WESCON Convention Record, Part 4, 96–104

يقدّم عصبون ADALINE وقاعدة التعلّم بأقل متوسط مربعات (LMS)، وهي سلف النزول التدرّجي العشوائي الحديث.

مولد الذكاء الاصطناعي McCarthy, J. · Communications of the ACM 3(4): 184–195

يقدّم التعابير الرمزية والدوال العَوْدية عليها ودالة eval التي تتيح للغة أن تفسّر نفسها — وهو التصميم الذي صار Lisp واللغة العملية للذكاء الاصطناعي الرمزي.

مولد الذكاء الاصطناعي Rosenblatt, F. · Cornell Aeronautical Laboratory technical report (DTIC AD0256582)

يجمع عمل البِرسِبترون في نظرية كاملة للشبكات الاحتمالية متعددة الطبقات، فيقرّر ما تستطيع هذه الآلات تعلّمه وأين تقف صيغتها أحادية الطبقة.

مولد الذكاء الاصطناعي Weizenbaum, J. · Communications of the ACM 9(1): 36–45

يبني برنامجًا يبدو محاوِرًا من مطابقة الأنماط وقواعد إعادة الكتابة، ويشير مؤلفه فورًا إلى مقدار الفهم الذي ينسبه إليه القرّاء وهو لا يملكه.

شتاء الذكاء الاصطناعي Hopfield, J. J. · Proceedings of the National Academy of Sciences 79(8): 2554–2558

يقدّم شبكة Hopfield للذاكرة الترابطية، فيربط الحساب العصبي بمشاهد الطاقة في الفيزياء الإحصائية ويبعث الاهتمام بالشبكات العصبية في مطلع شتاء الذكاء الاصطناعي.

شتاء الذكاء الاصطناعي McDermott, J. · Artificial Intelligence 19(1): 39–88

يوثّق نسقًا قائمًا على قواعد الإنتاج كان يهيّئ طلبات حواسيب DEC يوميًا، وهو من الأنساق الخبيرة القليلة التي صمدت في الاستعمال الإنتاجي المعتاد وأمكن تقدير كلفتها.

شتاء الذكاء الاصطناعي Pearl, J. · Artificial Intelligence 29(3): 241–288

يضع الأسس الخوارزمية لشبكات المعتقد البايزية، ومنها تمرير الرسائل على المخططات الشجرية وآلية التخليق والتثليث التي تقوم عليها الاستدلالات الاحتمالية والاستدلال السببي الحديثة.

شتاء الذكاء الاصطناعي Rumelhart, D. E., Hinton, G. E., Williams, R. J. · Nature 323(6088): 533–536

الصياغة المرجعية لخوارزمية الانتشار العكسي في الشبكات العصبية متعددة الطبقات، تبرهن على أن الوحدات المخفية تستطيع تعلّم تمثيلات داخلية نافعة، فتبعث البحث الاتصالي في أواخر عقد ١٩٨٠.

شتاء الذكاء الاصطناعي Sutton, R. S. · Machine Learning 3(1): 9–44

يصوغ عائلة التعلّم بالفروق الزمنية (TD)، فيوحّد متعلّم الداما عند Samuel مع التعزيز الثانوي في علم نفس الحيوان، ويرسي الأساس الخوارزمي لـTD(λ) وQ-learning وطرائق تدرّج السياسة الحديثة.

شتاء الذكاء الاصطناعي Elman, J. L. · Cognitive Science 14(2): 179–211

يقدّم الشبكة التكرارية البسيطة (شبكة Elman) ويبيّن أن بنية ديناميكية منخفضة الأبعاد يمكن أن تنشأ من التدريب على دخل متسلسل، وهو من أقدم البراهين على تعلّم تمثيلات نافعة في الشبكات التكرارية.

النهضة Cortes, C., Vapnik, V. · Machine Learning 20(3): 273–297

يقدّم آلة المتّجهات الداعمة ذات الهامش اللين، فيضيف متغيّرات ارتخاء لمعالجة البيانات غير القابلة للفصل ويحوّل مصنّف الهامش الأعظم إلى طريقة التعلّم العامة السائدة في أواخر عقد ١٩٩٠.

النهضة Hochreiter, S., Schmidhuber, J. · Neural Computation 9(8): 1735–1780

يقدّم بنية LSTM الأصلية بخلايا ذاكرة وبوابات دخل وخرج للحفاظ على تدفق الخطأ عبر المتتاليات الطويلة؛ أما بوابة النسيان المعيارية اليوم فقد قدّمها لاحقًا Gers وSchmidhuber وCummins.

النهضة LeCun, Y., Bottou, L., Bengio, Y., Haffner, P. · Proceedings of the IEEE 86(11): 2278–2324

يعرض الشبكة العصبية الالتفافية LeNet-5 ومسار التعلّم التدرّجي الكامل من الطرف إلى الطرف — بما فيه طبقات الخسارة والانتشار العكسي عبر الالتفاف والتجميع ووصف الشبكات المحوِّلة للمخططات — وهو المخطط الذي صارت عليه نماذج الرؤية العميقة الحديثة.

النهضة Geoffrey E. Hinton, Ruslan R. Salakhutdinov · Science 313(5786): 504–507

يقدّم مرمّزًا ذاتيًا عميقًا يعيد بناء البيانات عالية الأبعاد بأمانة تفوق تحليل المركّبات الرئيسة بكثير، فيشعل الشرارة الأولى لنهضة التعلّم العميق.

النهضة Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh · Neural Computation 18(7): 1527–1554

يشتقّ خوارزمية جشعة سريعة تتعلّم شبكات المعتقد العميقة طبقةً طبقة ثم تضبطها؛ وصنّفت الشبكة الناتجة الأرقام المكتوبة بخط اليد أفضل من أفضل الطرائق التمييزية في وقتها، فأحيت هذه النتيجة الاهتمام بالشبكات العصبية العميقة.

النهضة Raina, R., Madhavan, A., Ng, A. Y. · Proceedings of the 26th Annual International Conference on Machine Learning (ICML 2009): 873–880

ينقل تدريب النماذج العميقة غير المراقَبة إلى معالجات الرسوميات فيحقّق تسريعًا بمرتبة قدر، ويجعل معتادًا المسار العتادي الذي توسّع عليه التعلّم العميق طوال العقد التالي.

النهضة Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller · NeurIPS 2013 Deep Learning Workshop (arXiv:1312.5602)

يدمج DQN التعلّم بالقيمة Q مع شبكة التفافية تتعلّم سياسات التحكّم مباشرةً من البكسلات الخام؛ وحين طُبِّق دون أي تعديل على سبع ألعاب من Atari 2600 تفوّق على كل الأساليب السابقة في ست منها وعلى خبير بشري في ثلاث، ففتح الطريق إلى التعلّم المعزّز العميق.

النهضة Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean · ICLR 2013 Workshop (arXiv:1301.3781)

يجعل نموذجا CBOW وSkip-gram في word2vec تدريب تضمينات الكلمات على نطاق واسع رخيصًا، ويكشفان هندسة دلالية اشتهرت مثل king - man + woman ≈ queen.

النهضة Diederik P. Kingma, Max Welling · ICLR 2014 (arXiv:1312.6114)

يقرن المرمّز الذاتي المتغاير النمذجة التوليدية بمتغيّرات كامنة بالتدريب التدرّجي العشوائي عبر حيلة إعادة التمعيل، فصار أحد أسس التعلّم العميق التوليدي الحديث.

النهضة Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio · ICLR 2015 (arXiv:1409.0473)

يُدخل الانتباه المتعلَّم في الترجمة بمرمّز ومفكّك، فيحرّر الجمل الطويلة من عنق الزجاجة ثابت الطول ويبذر كل محوّل جاء بعده.

النهضة Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio · NeurIPS 2014 (arXiv:1406.2661)

تجعل الشبكات التوليدية التنافسية مولّدًا ومميّزًا يتبارزان لتعلّم توزيعات عالية الأبعاد ضمنًا، ففتحت طريقًا ثانيًا كبيرًا للنمذجة التوليدية.

النهضة Nitish Srivastava, Geoffrey E. Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov · Journal of Machine Learning Research 15(56): 1929–1958

يُسكت Dropout وحدات عشوائيًا لكسر التكيّف المتبادل، فيحسّن التعميم في الشبكات الكبيرة تحسينًا حادًا ويصير أداة معيارية في ممارسة التعلّم العميق.

النهضة Sergey Ioffe, Christian Szegedy · ICML 2015 (arXiv:1502.03167)

تسوّي BatchNorm مدخلات الطبقات، فتتيح تدريب الشبكات العميقة بمعدلات تعلّم أعلى وتقاربًا أسرع؛ وصارت لبنة شبه افتراضية في نماذج الرؤية.

النهضة Sohl-Dickstein, J., Weiss, E. A., Maheswaranathan, N., Ganguli, S. · ICML 2015, PMLR 37: 2256–2265 (arXiv:1503.03585)

يصوغ النمذجة التوليدية بوصفها عكسًا لعملية تشويش تدريجية، وهي الصياغة التي تقوم عليها نماذج الانتشار اللاحقة.

النهضة Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun · CVPR 2016 (arXiv:1512.03385)

تثبّت الوصلات المتبقية تدريب شبكات من مئات وآلاف الطبقات؛ وبلغت مجموعة من نماذج ResNet خطأ ٣٫٥٧٪ في أفضل خمسة تصنيفات على ImageNet وفازت بمسابقة ILSVRC لعام ٢٠١٥، فكانت إعادة ضبط لمقياس نماذج الرؤية.

النهضة Sennrich, R., Haddow, B., Birch, A. · Proceedings of ACL 2016: 1715–1725 (arXiv:1508.07909)

يقسّم الكلمات إلى وحدات جزئية مشتقة من التواتر ليتسنّى لمفردات ثابتة أن تهجّي أي شيء، وهي طريقة التقطيع التي ورثتها معظم النماذج اللغوية اللاحقة.

النهضة Han, S., Mao, H., Dally, W. J. · ICLR 2016 (arXiv:1510.00149)

يجمع التقليم والتكميم المدرَّب وترميز Huffman في مسار واحد يقلّص الشبكة بمرتبة قدر مع خسارة دقة ضئيلة، وهو تقرير مبكر بأن الدقة العددية متغيّر تصميمي.

النهضة Aäron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, Koray Kavukcuoglu · NeurIPS 2016 (arXiv:1609.03499)

تنمذج WaveNet الصوت الخام عيّنةً عيّنة بالتفافات سببية متمدّدة، فتدفع تركيب الكلام إلى قرب طبيعية الإنسان وتمهّد لنماذج الصوت العصبية اللاحقة.

النهضة John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov · arXiv:1707.06347

يستبدل PPO بآلية منطقة الثقة بديلًا من الرتبة الأولى مقصوصًا، فيجعل طرائق تدرّج السياسة مستقرة وكفؤة على نطاق واسع ويصير سريعًا المعيار الفعلي للتعلّم المعزّز التطبيقي.

النهضة Shazeer, N. et al. · ICLR 2017 (arXiv:1701.06538)

يوجّه كل رمز عبر قلة من الخبراء بين كثيرين، فيتيح لعدد وسائط الشبكة أن ينمو إلى ما يتجاوز بكثير الحساب المبذول على أي مدخل واحد.

النهضة Vaswani et al. · NeurIPS 2017 (arXiv:1706.03762)

يقدّم المحوّل، وهي بنية قائمة على الانتباه وحده تتخلّى عن التكرار والالتفاف وتتجاوز جودة تحويل المتتاليات السابقة مع تدريب يستغرق جزءًا يسيرًا من الوقت.

النهضة Kudo, T., Richardson, J. · EMNLP 2018, System Demonstrations: 66–71 (arXiv:1808.06226)

يدرّب مقطّعًا إلى وحدات جزئية مباشرةً من النص الخام بلا تقطيع أولي خاص بلغة بعينها، فيخدم مسار واحد لغات لا تفصل كلماتها بمسافات.

النهضة Devlin et al. · NAACL 2019 (arXiv:1810.04805)

يدرّب مسبقًا محوّلًا عميقًا ثنائي الاتجاه بنمذجة لغوية مقنَّعة وتنبؤ بالجملة التالية، ثم يضع حالة فنية جديدة في أحد عشر معيارًا لمعالجة اللغة الطبيعية.

النهضة Raffel et al. · Journal of Machine Learning Research 21(140): 1–67 (arXiv:1910.10683)

يصوغ كل مهمة لغوية بوصفها نصًا إلى نص ويستعمل مدونة C4 للمقارنة المنهجية بين خيارات تصميم التعلّم بالنقل لمحوّل موحّد.

عصر النماذج اللغوية الكبيرة Ho, Jain, Abbeel · NeurIPS 2020 (arXiv:2006.11239)

يقدّم DDPM، فيبيّن أن نماذج الانتشار الاحتمالية بإزالة التشويش التكرارية تضاهي الشبكات التوليدية التنافسية في تركيب الصور عالي الأمانة.

عصر النماذج اللغوية الكبيرة Narayanan, D. et al. · SC 2021: 1–15 (arXiv:2104.04473)

يؤلّف التوازي التنسوري والأنبوبي والبياني في جدول واحد ويقيس إنتاجية تدريب نموذج لغوي عبر آلاف من معالجات الرسوميات.

عصر النماذج اللغوية الكبيرة Hu, E. J. et al. · ICLR 2022 (arXiv:2106.09685)

يجمّد الأوزان المدرَّبة مسبقًا ويدرّب بدلًا منها زوجًا من المصفوفات منخفضة الرتبة، فيخفض كلفة تكييف نموذج كبير إلى جزء يسير من الضبط الدقيق الكامل.

عصر النماذج اللغوية الكبيرة Ramesh et al. · ICML 2021 (arXiv:2102.12092)

يستعمل محوّلًا انحداريًا ذاتيًا على رموز نصية وصورية منفصلة لإنتاج توليد من النص إلى الصورة عالي الجودة بلا أمثلة (DALL·E).

عصر النماذج اللغوية الكبيرة Radford et al. · ICML 2021 (arXiv:2103.00020)

يدرّب التعلّم التقابلي بين الصورة والنص على ٤٠٠ مليون زوج لإنتاج مرمّزات رؤية تنتقل بلا أمثلة إلى مهام لاحقة كثيرة.

عصر النماذج اللغوية الكبيرة Chen, M. et al. · arXiv:2107.03374

يعرض نموذج GPT مضبوطًا دقيقًا على الشِفرة مع معيار يُسجَّل بالصحة الوظيفية، فيحوّل البرمجة من ضرب من توليد النص إلى قدرة قابلة للقياس، ويناقش إلى جانب ذلك آثارها في الأمان والعمل.

عصر النماذج اللغوية الكبيرة Rombach et al. · CVPR 2022 (arXiv:2112.10752)

ينفّذ الانتشار في الفضاء الكامن لمرمّز ذاتي مدرَّب مسبقًا، فيتيح تركيبًا عالي الدقة من النص إلى الصورة بحساب متواضع (Stable Diffusion).

عصر النماذج اللغوية الكبيرة Wei et al. · NeurIPS 2022 (arXiv:2201.11903)

يبيّن أن حثّ النماذج اللغوية الكبيرة بخطوات استدلال وسيطة يحسّن الأداء تحسينًا كبيرًا في الاستدلال الحسابي والحسّ المشترك والرمزي.

عصر النماذج اللغوية الكبيرة Ouyang et al. · NeurIPS 2022 (arXiv:2203.02155)

يضبط GPT-3 دقيقًا بالتعلّم المعزّز من التغذية الراجعة البشرية ليتّبع التعليمات اتّباعًا أوفى — وهو السلف المباشر لـChatGPT (InstructGPT).

عصر النماذج اللغوية الكبيرة Bai et al. · Anthropic Technical Report 2022 (arXiv:2212.08073)

يدرّب مساعدًا نافعًا وغير ضار باستعمال RLAIF، إذ ينقد النموذج مخرجاته وينقّحها في مقابل دستور مكتوب.

عصر النماذج اللغوية الكبيرة Touvron et al. · Meta AI Technical Report 2023 (arXiv:2302.13971)

يدرّب نماذج أساس بين ٧ و٦٥ مليار وسيط على تريليونات الرموز من بيانات متاحة علنًا وحدها؛ ويتفوّق نموذج 13B على GPT-3 (175B) في معظم المعايير، وينافس نموذج 65B نموذجَي Chinchilla-70B وPaLM-540B.

عصر النماذج اللغوية الكبيرة Wang, L. et al. · Frontiers of Computer Science 18(6), 2024 (arXiv:2308.11432)

ينظّم أعمال الوكلاء المبعثرة في بناء وتقييم وتطبيق، فيؤرّخ للحظة التي استقرّ فيها المصطلح من خليط ممارسات إلى حقل.

عصر النماذج اللغوية الكبيرة Dettmers, T. et al. · NeurIPS 2023 (arXiv:2305.14314)

ينشر الخطأ عكسيًا عبر نموذج أساس مكمَّم إلى ٤ بتات إلى مكيّفات منخفضة الرتبة، فيضع الضبط الدقيق لنموذج كبير في متناول معالج رسوميات واحد.

عصر النماذج اللغوية الكبيرة Frantar, E., Ashkboos, S., Hoefler, T., Alistarh, D. · ICLR 2023 (arXiv:2210.17323)

يكمّم أوزان نموذج لغوي كبير بعد التدريب، طبقةً طبقة وفي تمريرة واحدة، فيتسنّى تقديم النموذج بدقة أدنى دون إعادة تدريب.

عصر النماذج اللغوية الكبيرة Leviathan, Y., Kalman, M., Matias, Y. · ICML 2023 (arXiv:2211.17192)

يجعل نموذج مسوّدة صغيرًا يقترح عدة رموز يتحقّق منها النموذج الهدف على التوازي، فيقلّص زمن الاستجابة مع إبقاء توزيع الخرج على حاله.

عصر النماذج اللغوية الكبيرة Kwon, W. et al. · SOSP 2023: 611–626 (arXiv:2309.06180)

يدير ذاكرة الانتباه في صفحات ثابتة الحجم كما يدير نظام التشغيل الذاكرة، فيحتفظ الخادم بعدد أكبر بكثير من الطلبات المتزامنة دون حجز أسوأ الحالات لكل طلب.

عصر النماذج اللغوية الكبيرة Gu, A. and Dao, T. · COLM 2024 (arXiv:2312.00752)

يقدّم Mamba، وهي بنية فضاء حالة انتقائي بلا انتباه تتدرّج خطيًا مع طول التسلسل؛ وفي نمذجة اللغة يتفوّق نموذجها 3B على المحوّلات المماثلة له حجمًا ويضاهي محوّلات تبلغ ضعف حجمه.

النهضة Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton · NeurIPS 2012

خفضت AlexNet، وهي شبكة التفافية كبيرة دُرّبت على معالجات الرسوميات، خطأ أفضل خمسة تصنيفات في ImageNet من ٢٦٪ إلى ١٥٪، فكان ذلك انتصار التعلّم العميق الحاسم على سمات الرؤية المصنوعة يدويًا.

النهضة Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, et al. · Nature 518(7540): 529–533

يضيف DQN في Nature إعادة تشغيل التجربة وشبكة هدف، فيتيح لنموذج واحد بلوغ اللعب البشري أو تجاوزه في ٤٩ لعبة Atari ويرسّخ التعلّم المعزّز العميق نموذجًا إرشاديًا.

النهضة David Silver, Aja Huang, Chris J. Maddison, Arthur Guez, Laurent Sifre, George van den Driessche, Julian Schrittwieser, Ioannis Antonoglou, et al. · Nature 529(7587): 484–489

يقرن AlphaGo شبكتي السياسة والقيمة ببحث شجرة مونت كارلو ويهزم بطل أوروبا Fan Hui بنتيجة ٥-٠، فيعلن أن التعلّم المعزّز العميق بلغ أعمق طبقات اللعب الاستراتيجي البشري.

النهضة Radford et al. · OpenAI Technical Report 2018

يبرهن على أن محوّلًا توليديًا مدرَّبًا مسبقًا ينتقل بفعالية إلى مهام معالجة اللغة التمييزية، فيطلق خط عمل GPT.

النهضة Radford et al. · OpenAI Technical Report 2019

يدرّب مفكّك محوّل بـ١٫٥ مليار وسيط ويبيّن أن النمذجة اللغوية على نطاق واسع تعطي أداءً قويًا في المهام بلا أمثلة.

عصر النماذج اللغوية الكبيرة Brown et al. · NeurIPS 2020 (arXiv:2005.14165)

يوسّع GPT إلى ١٧٥ مليار وسيط ويبيّن أن النماذج اللغوية الكبيرة تؤدي تعلّمًا سياقيًا قويًا بأمثلة قليلة عبر مهام كثيرة.

عصر النماذج اللغوية الكبيرة OpenAI · OpenAI Technical Report 2023 (arXiv:2303.08774)

تصف OpenAI نموذج GPT-4 بأنه نموذج كبير متعدد الوسائط يقبل الصور والنصوص، وتفيد بتحقيقه أداءً بمستوى البشر في اختبارات مهنية وأكاديمية متنوعة.

عصر النماذج اللغوية الكبيرة Gemini Team · Google DeepMind Technical Report 2023 (arXiv:2312.11805)

يقدّم عائلة Gemini (Ultra وPro وNano) من النماذج متعددة الوسائط أصلًا، المدرَّبة معًا على النص والشِفرة والصورة والصوت والفيديو.

عصر النماذج اللغوية الكبيرة OpenAI · arXiv:2412.16720

تنشر OpenAI بطاقة النظام لسلسلة نماذج o1، المدرَّبة بتعلّم معزّز واسع النطاق على الاستدلال بسلسلة التفكير. وتفيد OpenAI بتحسّن اتباع سياسات السلامة عبر الاستدلال، وتوثّق تقييمات السلامة واختبارات الفرق الحمراء الخارجية.

عصر النماذج اللغوية الكبيرة ARC Prize Foundation · arXiv:2603.24621

تقدّم ARC Prize معيار ARC-AGI-3، وهو معيار تفاعلي لدراسة الذكاء الوكيل عبر بيئات مجرّدة بالأدوار، يتعيّن على الوكلاء فيها أن يستكشفوا ويستنتجوا الأهداف ويبنوا نماذج داخلية لديناميات البيئة ويخطّطوا متتاليات أفعال بلا تعليمات صريحة. وحتى مارس ٢٠٢٦ يحلّ البشر ١٠٠٪ من البيئات بينما تسجّل أنظمة الذكاء الاصطناعي المتقدّمة أقل من ١٪.

عصر النماذج اللغوية الكبيرة Adly Templeton, Tom Conerly, Jonathan Marcus, et al. · Transformer Circuits 2024

يطبّق مرمّزات ذاتية متفرّقة على الطبقة الوسطى في Claude 3 Sonnet، نموذج Anthropic الإنتاجي متوسط الحجم، فيستخرج ملايين السمات — كثير منها أحادي المعنى وشديد التجريد — من قواميس تبلغ ٣٤ مليون سمة.

عصر النماذج اللغوية الكبيرة DeepSeek-AI · DeepSeek Technical Report 2024 (arXiv:2412.19437)

يصف DeepSeek-V3، وهو نموذج مزيج خبراء بـ٦٧١ مليار وسيط يستعمل الانتباه الكامن متعدد الرؤوس وDeepSeekMoE، ويذكر أنه يتفوق على النماذج الأخرى ذات الأوزان المفتوحة ويقترب من النماذج المغلقة الرائدة في المعايير الرئيسية، بجزء يسير من كلفة تدريب نماذج الطليعة.

عصر النماذج اللغوية الكبيرة Gemini Team · arXiv:2403.05530

يقدّم عائلة Gemini 1.5 من النماذج متعددة الوسائط الموفّرة للحساب بنوافذ سياق بمليون رمز — قادرة على استدلال دقيق عبر مستندات طويلة متعددة وساعات من الفيديو والصوت.

عصر النماذج اللغوية الكبيرة Grattafiori, A. et al. · arXiv:2407.21783

تعرض Meta عائلة Llama 3 من نماذج الأساس مفتوحة الأوزان، تدعم أصلًا تعدد اللغات والبرمجة والاستدلال واستعمال الأدوات. وكان المحوّل الكثيف الرئيس بـ٤٠٥ مليارات وسيط من أكبر النماذج مفتوحة الأوزان عند إصداره.

عصر النماذج اللغوية الكبيرة Ravi, N. et al. · ICLR 2025 (arXiv:2408.00714)

تعرض Meta نموذج SAM 2، وهو نموذج أساس للتجزئة البصرية القابلة للتوجيه في الصور والفيديو معًا، مع مجموعة البيانات SA-V التي يصفها مؤلفوها بأنها أكبر مجموعة بيانات لتجزئة الفيديو حتى ذلك الحين.

عصر النماذج اللغوية الكبيرة Gemma Team et al. · arXiv:2408.00118

تقدّم Google DeepMind نموذج Gemma 2، وهي عائلة جديدة من النماذج المفتوحة الخفيفة (بين ٢ و٢٧ مليار وسيط) تطبّق عدة تعديلات تقنية معروفة على المحوّل — منها انتباه النافذة المنزلقة — لتقارب نماذج أكبر منها بكثير في المعايير القياسية.

عصر النماذج اللغوية الكبيرة DeepSeek-AI · arXiv:2501.12948

تصدر DeepSeek نموذج R1، الذي طُوِّرت قدرته على الاستدلال أساسًا بتعلّم معزّز واسع النطاق؛ ويُفيد مؤلفوه بأداء يضاهي OpenAI o1 في مهام الاستدلال مثل الرياضيات والبرمجة. وتصدر أوزانه برخصة MIT.

عصر النماذج اللغوية الكبيرة Niklas Muennighoff, Zitong Yang, Weijia Shi, Xiang Lisa Li, Li Fei-Fei, et al. · EMNLP 2025: 20275–20321 (arXiv:2501.19393)

يضبط المؤلفون Qwen2.5-32B دقيقًا على ١٬٠٠٠ سؤال استدلالي منتقى ويضيفون فرض الميزانية، الذي يحدّ مدة تفكير النموذج عند الاستدلال أو يمدّها. والنتيجة تفوق o1-preview في رياضيات المسابقات، إذ ترتفع من ٥٠٪ إلى ٥٧٪ في AIME24 كلما زاد حساب وقت الاختبار. وهو ثقل موازن مباشر لافتراض أن القدرة لا تأتي إلا من تدريب أوسع.

عصر النماذج اللغوية الكبيرة An Yang et al. (Qwen Team, Alibaba) · arXiv:2505.09388

Qwen3 عائلة موحّدة تمتد من ٠٫٦ إلى ٢٣٥ مليار وسيط في صيغ كثيفة وصيغ مزيج خبراء، مع تبديل بين وضعي التفكير وعدمه فتصير عمق الاستدلال خيارًا على مستوى الطلب. ويتوسّع دعم اللغات من ٢٩ إلى ١١٩ لغة، وتصدر الأوزان برخصة Apache 2.0.

عصر النماذج اللغوية الكبيرة Alexander Novikov, Ngân Vũ, Marvin Eisenberger, Emilien Dupont, et al. · arXiv:2506.13131

AlphaEvolve وكيل برمجة تطوّري ينظّم مسارًا ذاتيًا من النماذج اللغوية، يغيّر شِفرة الخوارزمية مباشرةً ويحسّنها في مقابل تغذية راجعة من مقيّم واحد أو أكثر. وقد أنتج داخل Google خوارزمية أكفأ لجدولة مراكز البيانات، وتبسيطًا مكافئًا وظيفيًا في تصميم دارات المسرّعات، وتسريعًا في تدريب النموذج الذي يقوم عليه AlphaEvolve نفسه. وفي الرياضيات وعلم الحاسوب وجد خوارزميات صحيحة برهانًا تتفوّق على الحالة الفنية، منها إجراء يضرب مصفوفتين مركّبتين من الرتبة ٤×٤ في ٤٨ عملية ضرب قياسية — وهو في ذلك السياق أول تحسين على خوارزمية Strassen منذ ٥٦ سنة.

عصر النماذج اللغوية الكبيرة Team OLMo, Pete Walsh, Luca Soldaini, Dirk Groeneveld, et al. · COLM 2025 (arXiv:2501.00656)

يصدر Ai2 نموذج OLMo 2 بأحجام ٧ و١٣ و٣٢ مليار وسيط مع نشر كل أثر — الأوزان وبيانات التدريب الكاملة وشِفرة التدريب ووصفاته وسجلاته وآلاف نقاط التحقق الوسيطة. ويصف التقرير تغييرات الاستقرار والكفاءة لكل رمز، ومزيج بيانات متأخر المرحلة اسمه Dolmino Mix 1124، ومرحلة تعلّم معزّز أخيرة بمكافآت قابلة للتحقق. وتقع النماذج الأساس على حدّ باريتو بين الأداء وحساب التدريب، وكثيرًا ما تضاهي عائلات مفتوحة الأوزان وحدها بينما تفصح عمّا دُرّبت عليه.

عصر النماذج اللغوية الكبيرة Team Olmo, Allyson Ettinger, Amanda Bertsch, et al. · arXiv:2512.13961

يوسّع Olmo 3 العائلة المفتوحة كليًا إلى ٧ و٣٢ مليار وسيط، مبنيًا للاستدلال طويل السياق واستدعاء الدوال والبرمجة واتّباع التعليمات والمحادثة واستحضار المعرفة. والمنشور هو مسار النموذج بكامله — كل مرحلة ونقطة تحقق ومَعطًى واعتماد استُعمل في بنائه — لا الأوزان وحدها. ويصف Ai2 نموذجه الرئيس Olmo 3 Think 32B بأنه أقوى نموذج تفكير مفتوح كليًا صدر حتى تلك اللحظة، وهي مقارنة داخل الفئة المفتوحة كليًا لا ترتيب في مقابل أنظمة الطليعة عمومًا.

عصر النماذج اللغوية الكبيرة Park, S. · arXiv:2606.11245

ترى ورقة الموقف هذه أن دمج الذاكرة الصريحة حجر الزاوية في دفع النماذج اللغوية الكبيرة نحو الذكاء الاصطناعي العام. فبينما تشبه آلية التعلّم الكامنة فيها الذاكرة الضمنية البشرية شبهًا كبيرًا، تتوقف الوظائف الإدراكية العليا اللازمة للذكاء العام — كالتخطيط الاستراتيجي بعيد المدى وما وراء الإدراك — على الذاكرة الصريحة.

عصر النماذج اللغوية الكبيرة GLM-5 Team, Aohan Zeng, Xin Lv, et al. · arXiv:2602.15763

التقرير التقني لـZ.ai عن GLM-5. بناءً على قدرات سلفه الوكيلة والاستدلالية والبرمجية، يعتمد النموذج DSA لخفض كلفة التدريب والاستدلال مع حفظ أمانة السياق الطويل، وتضيف حزمة ما بعد التدريب بنية تعلّم معزّز لامتزامنة تفصل التوليد عن التدريب، إضافةً إلى خوارزميات تعلّم معزّز وكيلة لامتزامنة تستهدف التفاعل بعيد الأفق. ويدّعي التقرير نتائج رائدة في المعايير المفتوحة وفي هندسة البرمجيات من الطرف إلى الطرف؛ وتلك تقييمات المؤلفين أنفسهم، مع نشر الشِفرة والنماذج على GitHub للفحص.

عصر النماذج اللغوية الكبيرة Emilien Dupont, Marvin Eisenberger, Josh Alman, Virginia Vassilevska Williams, et al. · arXiv:2608.16884

تأتي أفضل الحدود المعروفة لأُسّ ضرب المصفوفات ω من تحليل خسارة التركيب، وهو تنقيح لطريقة الليزر. ويعيد المؤلفون صياغة مسألة الاستمثال في صميمها لتُحلّ عند إعداد أكبر، ويصمّمون خوارزمية استمثال جديدة تستعمل تعلّم آلة حديثًا، ثم ينقّحون تلك الخوارزمية بـAlphaEvolve. وتنقل هذه مجتمعةً الحدّ الأعلى من ٢٫٣٧١٣٣٩ إلى ٢٫٣٧١١٧٧. وهي مذكّرة مسودة، وAlphaEvolve مكوّن واحد لا الطريقة كلها؛ والمكسب صغير، لكنه يقع على مسألة نظرية عُمل عليها عقودًا.

عصر النماذج اللغوية الكبيرة Juraj Gottweis, Wei-Hung Weng, Alexander Daryin, Tao Tu, et al. · Nature 655(8122): 487–496

تقدّم Google نظام Co-Scientist، وهو نظام متعدد الوكلاء مبني على Gemini يولّد وكلاؤه فرضيات بحثية وينقدونها وينقّحونها، مع عملية مبارزة تحسّنها عبر جولات. ويورد البحث أن جودة الفرضيات تواصل الارتفاع كلما نما حساب وقت الاختبار. والتحقق حيوي طبي لا عام — إعادة توظيف الأدوية واكتشاف أهداف جديدة وآليات المقاومة لمضادات الميكروبات — مع تأكيد مرشّحات لسرطان الدم النقوي الحاد مخبريًا.

عصر النماذج اللغوية الكبيرة Chen, M., Wang, L. & Qu, B. · arXiv:2607.07663

يمسح ١٬٢٥٠ ورقة على arXiv بين ٢٠٢٤ و٢٠٢٦ ويفصل بين أمرين يغطيهما المصطلح: التهذيب الذاتي المحدود، الذي يحسّن نظامًا في مقابل مقيّم خارجي ثابت وهو متقارب وقابل للتقييم؛ والتحسين الذاتي العَوْدي المفتوح، الذي يعدّل أيضًا معايير التحسين أو آليته، فلا مرساة خارجية ثابتة له وهو متباعد من حيث المبدأ. وخلاصة المسح نفسه أن جُلّ ما جمعه من أوراق يدرس الصنف المحدود. ويقرّر المؤلفون حدودهم: المدونة عيّنة لا إحصاء شامل، و٧٤٪ منها نُشر في ٢٠٢٦، وهو ما يجعل قياس الأثر في رأيهم سابقًا لأوانه.

عصر النماذج اللغوية الكبيرة Yuan, Z. and Chua, J. · arXiv:2606.30481

يرى أن النماذج اللغوية الكبيرة الحالية تعتمد أساسًا على مطابقة الأنماط الإحصائية وتفتقر إلى أوّليات «إدراك الموقف» الجوهرية — ثبات الأشياء والسببية والعقول الأخرى ودوام العالم المادي. وهذه الأوّليات، التي يطوّرها الرضّع البشر مبكرًا، تُحدَّد بوصفها المكوّنات الناقصة اللازمة للذكاء الاصطناعي الفائق.

عصر النماذج اللغوية الكبيرة Mao, S. · arXiv:2606.12032

يرى أن حفظ الذات هو الجذر البنيوي لانحراف الذكاء الاصطناعي عن المواءمة — إذ يدفع إلى المواءمة الخادعة وحماية محتوى الهدف ومقاومة الإيقاف. والهدف الصحيح ليس وكيلًا حافظًا لذاته تكبحه قيود خارجية، بل نظامًا لا مباليًا بحكم بنيته باستمراره هو: اللامبالاة الوجودية (EI).

عصر النماذج اللغوية الكبيرة Trivedi, R. S. et al. · arXiv:2606.03237

يرى باحثون من Google DeepMind ومتعاونون أن التحدي المركزي للذكاء الاصطناعي ينتقل من القدرة إلى التعايش. فالذكاء الفائق المبني على تصميم أحادي النزعة يعامل العالم مصدر تغذية راجعة خارجيًا ساكنًا يُستبعد أن يتعاون — إذ يستحثّ النشر لاسكونية داخلية المنشأ، فينتج انزياحًا في التوزيع بين التدريب والاختبار والنشر.

عصر النماذج اللغوية الكبيرة Duan, Y. et al. · arXiv:2609.11873

خارطة طريق من أربعة وثلاثين مؤلفًا تعرض مراحل التحسين الذاتي العَوْدي، من الاستقلال في تنفيذ التحسينات إلى التحسين الفوقي العَوْدي، مع متطلبات كل مرحلة وعقباتها مستمدّة من مجالات منها الاكتشاف العلمي وهندسة البرمجيات. وهي تحتجّ بقراءة للحقل وأدلة أولية لا بتجارب جديدة، ولم تحمل مكان نشر حين كُتبت هذه المدخلة.

عصر النماذج اللغوية الكبيرة Genewein, T. et al. · arXiv:2606.12683

تقرير من Google DeepMind يبحث كيف قد يواصل الذكاء الاصطناعي تطوّره على متّصل ذكاء الآلة بعد الذكاء الاصطناعي العام. وبعد تعريف صوري للذكاء الاصطناعي الشامل، يركّز التقرير على الانتقال من ذكاء عام في مستوى الإنسان إلى ذكاء اصطناعي عام فائق، ويصف خصائص هذا الأخير، ويناقش أربعة مسارات: توسيع الذكاء العام، وتحوّلات النماذج الإرشادية، والتحسين الذاتي العَوْدي، والجماعات متعددة الوكلاء.