1931 bài báo tạp chí Lý thuyết Sơ khai
Gödel, K. · Monatshefte für Mathematik und Physik 38(1): 173–198
Chứng minh rằng mọi hệ hình thức nhất quán đủ sức biểu đạt số học đều chứa những mệnh đề đúng mà nó không chứng minh được, đặt ra giới hạn về sau dùng để khuôn định điều mà tính toán và suy luận máy có thể phân định.
1936 bài báo tạp chí Lý thuyết Sơ khai
Alan M. Turing · Proceedings of the London Mathematical Society s2-42(1): 230–265
Giới thiệu máy Turing phổ dụng và chứng minh Entscheidungsproblem là không quyết định được, đặt nền tảng lý thuyết cho khoa học máy tính.
1936 bài báo tạp chí Lý thuyết Sơ khai
Church, A. · American Journal of Mathematics 58(2): 345
Định nghĩa tính khả tính hữu hiệu bằng phép tính lambda và đưa ra một bài toán mà không thủ tục nào loại đó phân định được, đạt tới giới hạn của tính toán một cách độc lập với Turing.
1943 bài báo tạp chí Lý thuyết Sơ khai
Warren S. McCulloch, Walter Pitts · Bulletin of Mathematical Biophysics 5(4): 115–133
Mô hình hóa hoạt động thần kinh dưới dạng logic mệnh đề, cung cấp lý thuyết toán học đầu tiên cho mạng nơ-ron nhân tạo.
1948 bài báo tạp chí Lý thuyết Sơ khai
Claude E. Shannon · Bell System Technical Journal 27(3): 379–423; 27(4): 623–656
Định nghĩa entropy thông tin và dung lượng kênh, đặt nền móng cho lý thuyết thông tin và cung cấp cơ sở xác suất được sử dụng rộng rãi trong AI.
1950 bài báo tạp chí Lý thuyết Sơ khai
Alan M. Turing · Mind LIX(236): 433–460
Đề xuất trò chơi bắt chước (phép thử Turing) như một định nghĩa vận hành được của trí tuệ máy, định hình câu hỏi về AI trong bảy thập kỷ tiếp theo.
1955 bài báo tạp chí Lý thuyết Sơ khai
John McCarthy, Marvin L. Minsky, Nathaniel Rochester, Claude E. Shannon · Dartmouth College, 1955; republished in AI Magazine 27(4): 12–14 (2006)
Đặt ra thuật ngữ “trí tuệ nhân tạo” và đề xuất chương trình nghiên cứu khai sinh AI như một ngành học thuật.
1956 bài báo tạp chí Sự Ra đời của AI
Allen Newell, Herbert A. Simon · IRE Transactions on Information Theory IT-2(3): 61–79
Triển khai chương trình suy luận heuristic đầu tiên, chứng minh máy có thể mô phỏng chiến lược giải quyết vấn đề của con người và giới thiệu khái niệm “hệ thống xử lý thông tin phức tạp”.
1958 bài báo tạp chí Sự Ra đời của AI
Newell, A., Shaw, J. C., Simon, H. A. · Psychological Review 65(3): 151–166
Mô tả việc giải quyết vấn đề của con người như một cuộc tìm kiếm heuristic trong không gian các trạng thái ký hiệu, cách phân tích làm nền cho General Problem Solver và quan niệm xem trí óc là xử lý thông tin.
1958 bài báo tạp chí Sự Ra đời của AI
Frank Rosenblatt · Psychological Review 65(6): 386–408
Giới thiệu nơ-ron ngưỡng tuyến tính có khả năng huấn luyện đầu tiên, đặt nền tảng cho dòng kết nối luận dẫn đến học sâu hiện đại.
1958 bài báo hội nghị Sự Ra đời của AI
John McCarthy · Proceedings of the Symposium on Mechanisation of Thought Processes (NPL Teddington), 75–91. London: HMSO
Đề xuất “advice taker”, một chương trình có thể rút ra kết luận từ kho kiến thức tri thức thường thức được hình thức hóa, đặt nền tảng khái niệm cho biểu diễn và suy luận tri thức.
1959 bài báo tạp chí Sự Ra đời của AI
Arthur L. Samuel · IBM Journal of Research and Development 3(3): 210–229
Trình diễn một chương trình đánh cờ đam có thể tự cải thiện qua tự đấu, tiên phong trong nghiên cứu học máy và cải thiện tự thân theo kiểu alpha-beta.
1959 bài báo tạp chí Sự Ra đời của AI
Gelernter, H. · Information and Control 2(1): 80–89
Gelernter bàn về cách máy có thể thao tác hiệu quả trên các hệ hình thức mà vị từ có tính đối xứng cao, và đưa ra một định lý cùng một quy tắc về đối xứng cú pháp làm lời giải. Công trình này song hành với cỗ máy chứng minh định lý hình học ông đang dựng tại IBM, cỗ máy đã chứng minh định lý hình học phẳng Euclid đầu tiên vào đầu mùa xuân năm 1959.
1960 bài báo hội nghị Sự Ra đời của AI
Bernard Widrow, Marcian E. Hoff · IRE WESCON Convention Record, Part 4, 96–104
Giới thiệu quy tắc LMS (Adaline), quy tắc học gradient descent đầu tiên được sử dụng rộng rãi cho các mạng tuyến tính thích nghi.
1960 bài báo tạp chí Sự Ra đời của AI
McCarthy, J. · Communications of the ACM 3(4): 184–195
Giới thiệu biểu thức ký hiệu, các hàm đệ quy trên chúng và eval cho phép một ngôn ngữ tự diễn giải chính nó, thiết kế về sau trở thành Lisp và là ngôn ngữ làm việc của trí tuệ nhân tạo ký hiệu.
1961 báo cáo kỹ thuật Sự Ra đời của AI
Rosenblatt, F. · Cornell Aeronautical Laboratory technical report (DTIC AD0256582)
Tập hợp các công trình về perceptron thành một lý thuyết đầy đủ về mạng xác suất nhiều lớp, nêu rõ cả điều mà những cỗ máy như vậy học được lẫn chỗ mà dạng một lớp dừng lại.
1966 bài báo tạp chí Sự Ra đời của AI
Weizenbaum, J. · Communications of the ACM 9(1): 36–45
Dựng nên một chương trình trông như biết trò chuyện chỉ từ đối sánh mẫu và luật viết lại, và chính tác giả lập tức chỉ ra rằng người đọc gán cho nó nhiều sự thấu hiểu hơn thực có.
1982 bài báo tạp chí Mùa đông AI
John J. Hopfield · Proceedings of the National Academy of Sciences 79(8): 2554–2558
Giới thiệu mạng bộ nhớ liên kết Hopfield, liên kết tính toán thần kinh với cảnh quan năng lượng của vật lý thống kê và hồi sinh mối quan tâm đối với mạng nơ-ron trong giai đoạn đầu của mùa đông AI.
1982 bài báo tạp chí Mùa đông AI
McDermott, J. · Artificial Intelligence 19(1): 39–88
Ghi lại một hệ luật sản xuất cấu hình các đơn hàng máy tính của DEC mỗi ngày, một trong số ít hệ chuyên gia trụ được trong vận hành thường nhật và tính ra được hiệu quả kinh tế.
1986 bài báo tạp chí Mùa đông AI
Judea Pearl · Artificial Intelligence 29(3): 241–288
Hệ thống hóa các phép toán hợp nhất, lan truyền và cấu trúc hóa trên mạng niềm tin, cung cấp nền tảng thuật toán cho suy luận mạng Bayes.
1986 bài báo tạp chí Mùa đông AI
David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams · Nature 323(6088): 533–536
Phổ biến rộng rãi thuật toán lan truyền ngược để huấn luyện mạng nơ-ron nhiều tầng, làm cho học sâu thực tế trở nên khả thi.
1988 bài báo tạp chí Mùa đông AI
Richard S. Sutton · Machine Learning 3(1): 9–44
Hệ thống hóa phương pháp học sai phân thời gian (TD), trở thành một trong những thuật toán cốt lõi của học tăng cường hiện đại.
1990 bài báo tạp chí Mùa đông AI
Jeffrey L. Elman · Cognitive Science 14(2): 179–211
Giới thiệu mạng hồi tiếp đơn giản của Elman, chỉ ra rằng mạng nơ-ron có thể học cấu trúc thời gian và mở đường cho các mô hình chuỗi về sau.
1995 bài báo tạp chí Thời kỳ Phục hưng
Corinna Cortes, Vladimir Vapnik · Machine Learning 20(3): 273–297
Giới thiệu máy vector hỗ trợ có biên mềm, bộ phân loại biên cực đại kinh điển đã định hình phần lớn học máy trong thập niên 1990.
1997 bài báo tạp chí Thời kỳ Phục hưng
Sepp Hochreiter, Jürgen Schmidhuber · Neural Computation 9(8): 1735–1780
Giới thiệu LSTM nguyên bản với ô nhớ cùng cổng vào và cổng ra; cổng quên phổ biến ngày nay được Gers, Schmidhuber và Cummins bổ sung trong công trình sau đó.
1998 bài báo tạp chí Thời kỳ Phục hưng
Yann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner · Proceedings of the IEEE 86(11): 2278–2324
Giới thiệu LeNet-5, mạng nơ-ron tích chập chuẩn mực đạt chất lượng nhận dạng chữ số viết tay cấp sản xuất và thiết lập khuôn mẫu cho CNN.
2006 bài báo tạp chí Thời kỳ Phục hưng
Geoffrey E. Hinton, Ruslan R. Salakhutdinov · Science 313(5786): 504–507
Giới thiệu một bộ tự mã hóa sâu tái tạo dữ liệu nhiều chiều trung thực hơn nhiều so với PCA, thắp lên ngọn lửa đầu tiên cho sự hồi sinh của học sâu.
2006 bài báo tạp chí Thời kỳ Phục hưng
Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh · Neural Computation 18(7): 1527–1554
Giới thiệu các mạng niềm tin sâu được huấn luyện bằng thuật toán tham lam theo tầng, chứng minh lần đầu tiên rằng các mô hình sâu có thể được huấn luyện hiệu quả.
2009 bài báo hội nghị Thời kỳ Phục hưng
Raina, R., Madhavan, A., Ng, A. Y. · Proceedings of the 26th Annual International Conference on Machine Learning (ICML 2009): 873–880
Đưa việc huấn luyện các mô hình sâu không giám sát lên bộ xử lý đồ họa với mức tăng tốc cỡ một bậc độ lớn, biến con đường phần cứng mà học sâu dựa vào để mở rộng quy mô suốt thập kỷ sau thành thông lệ.
2013 bài báo hội nghị Thời kỳ Phục hưng
Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller · NeurIPS 2013 Deep Learning Workshop (arXiv:1312.5602)
Kết hợp Q-learning với mạng tích chập để chơi các trò Atari từ pixel thô ở mức hiệu năng con người, khai sinh học tăng cường sâu.
2013 bài báo hội nghị Thời kỳ Phục hưng
Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean · ICLR 2013 Workshop (arXiv:1301.3781)
Giới thiệu các kiến trúc skip-gram và CBOW tạo ra các embedding từ dày đặc, mở ra kỷ nguyên của các vector từ tiền huấn luyện.
2013 bài báo hội nghị Thời kỳ Phục hưng
Diederik P. Kingma, Max Welling · ICLR 2014 (arXiv:1312.6114)
Giới thiệu bộ tự mã hóa biến phân, kết hợp suy luận biến phân với mô hình sinh sâu và cung cấp mô hình biến tiềm ẩn sâu đầu tiên được áp dụng rộng rãi.
2014 bài báo hội nghị Thời kỳ Phục hưng
Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio · ICLR 2015 (arXiv:1409.0473)
Giới thiệu cơ chế chú ý cộng tính (Bahdanau) cho dịch máy nơ-ron, chứng minh rằng căn chỉnh mềm cho phép bộ giải mã tập trung vào các token nguồn liên quan và truyền cảm hứng trực tiếp cho Transformer.
2014 bài báo hội nghị Thời kỳ Phục hưng
Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio · NeurIPS 2014 (arXiv:1406.2661)
Khung hóa mô hình sinh dưới dạng trò chơi min-max hai người chơi giữa bộ sinh và bộ phân biệt, mở ra một họ mới các mô hình sinh ẩn.
2014 bài báo tạp chí Thời kỳ Phục hưng
Nitish Srivastava, Geoffrey E. Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov · Journal of Machine Learning Research 15(56): 1929–1958
Giới thiệu dropout, một kỹ thuật điều chuẩn ngẫu nhiên đơn giản trở thành mặc định trong các pipeline huấn luyện học sâu.
2015 bài báo hội nghị Thời kỳ Phục hưng
Sergey Ioffe, Christian Szegedy · ICML 2015 (arXiv:1502.03167)
Giới thiệu chuẩn hóa theo lô, chuẩn hóa đầu vào của tầng trên một mini-batch để ổn định và tăng tốc đáng kể quá trình huấn luyện mạng sâu.
2015 bản thảo công bố trước Thời kỳ Phục hưng
Sohl-Dickstein, J., Weiss, E. A., Maheswaranathan, N., Ganguli, S. · arXiv:1503.03585
Diễn đạt việc mô hình hóa sinh như phép đảo ngược một quá trình thêm nhiễu dần, cách diễn đạt mà các mô hình khuếch tán về sau dựa vào.
2015 bài báo hội nghị Thời kỳ Phục hưng
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun · CVPR 2016 (arXiv:1512.03385)
Giới thiệu kết nối phần dư, cho phép huấn luyện hiệu quả các mạng có hàng trăm lớp và giành chiến thắng ImageNet 2015 với cách biệt lớn.
2016 bài báo tạp chí Thời kỳ Phục hưng
Sennrich, R., Haddow, B., Birch, A. · Proceedings of ACL 2016: 1715–1725 (arXiv:1508.07909)
Tách từ thành các đơn vị tiểu từ suy ra từ tần suất, nhờ đó một bộ từ vựng cố định có thể ghi được mọi thứ, cách phân tách mà phần lớn mô hình ngôn ngữ về sau kế thừa.
2016 bài báo hội nghị Thời kỳ Phục hưng
Han, S., Mao, H., Dally, W. J. · ICLR 2016 (arXiv:1510.00149)
Gộp tỉa nhánh, lượng tử hóa trong lúc huấn luyện và mã Huffman vào một quy trình, thu nhỏ mạng đi cỡ một bậc độ lớn mà gần như không mất độ chính xác, sớm khẳng định rằng độ chính xác số là một biến thiết kế.
2016 bài báo hội nghị Thời kỳ Phục hưng
Aäron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, Koray Kavukcuoglu · NeurIPS 2016 (arXiv:1609.03499)
Giới thiệu mô hình tự hồi quy tích chập nhân quả giãn nở sinh ra dạng sóng âm thanh thô, cải thiện đáng kể tính tự nhiên của tổng hợp giọng nói.
2017 bản thảo công bố trước Thời kỳ Phục hưng
John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov · arXiv:1707.06347
Giới thiệu PPO, một phương pháp gradient chính sách bậc nhất đơn giản và ổn định, trở thành thuật toán tối ưu chính sách mặc định trong học tăng cường hiện đại.
2017 bản thảo công bố trước Thời kỳ Phục hưng
Shazeer, N. et al. · arXiv:1701.06538
Định tuyến mỗi token chỉ qua một vài chuyên gia trong số rất nhiều, nhờ đó số tham số của mạng có thể lớn vượt xa lượng tính toán bỏ ra cho bất kỳ đầu vào đơn lẻ nào.
2017 bài báo hội nghị Thời kỳ Phục hưng
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin · NeurIPS 2017 (arXiv:1706.03762)
Giới thiệu Transformer, một kiến trúc chỉ dựa trên cơ chế chú ý từ bỏ tính hồi quy và tích chập, đạt chất lượng dịch chuỗi vượt trội trong khi huấn luyện chỉ bằng một phần nhỏ thời gian.
2018 bài báo tạp chí Thời kỳ Phục hưng
Kudo, T., Richardson, J. · EMNLP 2018, System Demonstrations: 66–71 (arXiv:1808.06226)
Huấn luyện bộ tách tiểu từ trực tiếp từ văn bản thô, không cần bước tiền tách riêng cho từng ngôn ngữ, nhờ đó cùng một quy trình dùng được cho những ngôn ngữ không tách từ bằng khoảng trắng.
2018 bài báo hội nghị Thời kỳ Phục hưng
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova · NAACL 2019 (arXiv:1810.04805)
Giới thiệu một Transformer hai chiều được tiền huấn luyện bằng mô hình hóa ngôn ngữ có che và dự đoán câu tiếp theo, thiết lập trạng thái nghệ thuật mới trên các benchmark NLP.
2019 bài báo tạp chí Thời kỳ Phục hưng
Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu · Journal of Machine Learning Research 21(140): 1–67 (arXiv:1910.10683)
Diễn đạt mọi tác vụ NLP dưới dạng text-to-text, loại bỏ có hệ thống các lựa chọn học chuyển tiếp và thiết lập một công thức tham chiếu cho các mô hình tiền huấn luyện quy mô lớn.
2020 bài báo hội nghị Kỷ nguyên LLM
Jonathan Ho, Ajay Jain, Pieter Abbeel · NeurIPS 2020 (arXiv:2006.11239)
Tái công thức hóa diffusion như một hàm mục tiêu biến phân khử nhiễu, đưa chất lượng sinh ảnh trở lại trạng thái nghệ thuật và mở ra kỷ nguyên các mô hình khuếch tán.
2021 bài báo tạp chí Kỷ nguyên LLM
Narayanan, D. et al. · SC 2021: 1–15 (arXiv:2104.04473)
Kết hợp song song theo tensor, theo đường ống và theo dữ liệu vào một lịch trình duy nhất, đồng thời đo thông lượng huấn luyện mô hình ngôn ngữ trên hàng nghìn GPU.
2021 bản thảo công bố trước Kỷ nguyên LLM
Hu, E. J. et al. · arXiv:2106.09685
Đóng băng trọng số đã tiền huấn luyện và thay vào đó huấn luyện một cặp ma trận hạng thấp, hạ chi phí thích ứng một mô hình lớn xuống chỉ còn một phần nhỏ so với tinh chỉnh toàn phần.
2021 bài báo hội nghị Kỷ nguyên LLM
Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, Ilya Sutskever · ICML 2021 (arXiv:2102.12092)
Chứng minh rằng một Transformer tự hồi quy 12B tham số có thể sinh ra các hình ảnh đa dạng và trung thực cao trực tiếp từ chú thích văn bản, khơi dậy nghiên cứu text-to-image.
2021 bài báo hội nghị Kỷ nguyên LLM
Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever · ICML 2021 (arXiv:2103.00020)
Huấn luyện bộ mã hóa ảnh trên các cặp ảnh-văn bản quy mô web để đạt phân loại ảnh zero-shot mạnh, cung cấp tháp thị giác cho nhiều hệ đa phương thức sau này.
2021 bản thảo công bố trước Kỷ nguyên LLM
Chen, M. et al. · arXiv:2107.03374
Trình bày một mô hình GPT tinh chỉnh trên mã nguồn cùng bộ đánh giá chấm theo tính đúng đắn chức năng, biến lập trình từ một thể loại sinh văn bản thành năng lực đo được, đồng thời bàn về tác động tới an toàn và lao động.
2021 bài báo hội nghị Kỷ nguyên LLM
Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer · CVPR 2022 (arXiv:2112.10752)
Chuyển diffusion vào không gian tiềm ẩn tri giác, cho phép sinh ảnh text-to-image độ phân giải cao trên GPU tiêu dùng và dân chủ hóa tổng hợp hình ảnh.
2022 bài báo hội nghị Kỷ nguyên LLM
Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed H. Chi, Quoc V. Le, Denny Zhou · NeurIPS 2022 (arXiv:2201.11903)
Chỉ ra rằng việc gợi ý mô hình ngôn ngữ sinh ra các bước suy luận trung gian cải thiện đáng kể hiệu năng trên các benchmark suy luận số học, tri thức thường thức và ký hiệu.
2022 bài báo hội nghị Kỷ nguyên LLM
Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, Paul Christiano, Jan Leike, Ryan Lowe · NeurIPS 2022 (arXiv:2203.02155)
Áp dụng học tăng cường từ phản hồi con người ở quy mô lớn để căn chỉnh đầu ra của GPT-3 với ý định con người, thiết lập RLHF như công thức căn chỉnh kinh điển.
2022 báo cáo kỹ thuật Kỷ nguyên LLM
Yuntao Bai et al. · Anthropic Technical Report 2022 (arXiv:2212.08073)
Giới thiệu RLAIF, trong đó mô hình tự phê bình và chỉnh sửa đầu ra của chính nó theo một hiến pháp viết sẵn, giảm sự phụ thuộc vào nhãn hại của con người cho việc căn chỉnh.
2023 báo cáo kỹ thuật Kỷ nguyên LLM
Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample · Meta AI Technical Report 2023 (arXiv:2302.13971)
Phát hành họ mô hình nền tảng mở LLaMA, cho thấy các mô hình tương đối nhỏ nhưng được huấn luyện tốt có thể cạnh tranh với các mô hình đóng lớn hơn nhiều, thúc đẩy phong trào trọng lượng mở.
2023 bài báo tạp chí Kỷ nguyên LLM
Wang, L. et al. · Frontiers of Computer Science 18(6), 2024 (arXiv:2308.11432)
Sắp xếp các công trình tản mát về tác tử theo ba hướng xây dựng, đánh giá và ứng dụng, đánh dấu thời điểm thuật ngữ này chuyển từ một tập hợp cách làm thành một lĩnh vực nghiên cứu.
2023 bản thảo công bố trước Kỷ nguyên LLM
Dettmers, T. et al. · arXiv:2305.14314
Lan truyền ngược qua một mô hình nền lượng tử hóa 4 bit vào các bộ thích ứng hạng thấp, đưa việc tinh chỉnh mô hình lớn vào tầm với của một GPU đơn lẻ.
2023 bài báo hội nghị Kỷ nguyên LLM
Frantar, E., Ashkboos, S., Hoefler, T., Alistarh, D. · ICLR 2023 (arXiv:2210.17323)
Lượng tử hóa trọng số của mô hình ngôn ngữ lớn sau khi huấn luyện, theo từng lớp và chỉ một lượt, nhờ đó có thể phục vụ ở độ chính xác thấp hơn mà không phải huấn luyện lại.
2023 bài báo hội nghị Kỷ nguyên LLM
Leviathan, Y., Kalman, M., Matias, Y. · ICML 2023 (arXiv:2211.17192)
Để một mô hình nháp nhỏ đề xuất nhiều token rồi mô hình đích kiểm chứng song song, giảm độ trễ mà không làm thay đổi phân phối đầu ra.
2023 bài báo tạp chí Kỷ nguyên LLM
Kwon, W. et al. · SOSP 2023: 611–626 (arXiv:2309.06180)
Quản lý bộ nhớ đệm chú ý theo các trang kích thước cố định giống cách hệ điều hành quản lý bộ nhớ, nhờ đó máy chủ giữ được nhiều yêu cầu đồng thời hơn hẳn mà không phải dành sẵn trường hợp xấu nhất cho từng yêu cầu.
2023 bản thảo công bố trước Kỷ nguyên LLM
Gu, A. và Dao, T. · arXiv:2312.00752
Giới thiệu Mamba, kiến trúc không gian trạng thái chọn lọc đạt hiệu năng tương đương hoặc vượt cơ chế attention của Transformer trên ngôn ngữ và các phương thức khác với độ phức tạp thời gian tuyến tính — một trong những kiến trúc hậu-Transformer có ảnh hưởng nhất năm 2023.