1931 articolo di rivista Teoria degli Inizi
Gödel, K. · Monatshefte für Mathematik und Physik 38(1): 173–198
Dimostra che ogni sistema formale coerente in grado di esprimere l’aritmetica contiene enunciati veri che non può dimostrare, fissando il limite entro cui si discuterà poi ciò che il calcolo e il ragionamento meccanico possono decidere.
1936 articolo di rivista Teoria degli Inizi
Alan M. Turing · Proceedings of the London Mathematical Society s2-42(1): 230–265
Introduce la macchina di Turing universale e dimostra l’indecidibilità dell’Entscheidungsproblem, fondando le basi teoriche dell’informatica.
1936 articolo di rivista Teoria degli Inizi
Church, A. · American Journal of Mathematics 58(2): 345
Definisce la calcolabilità effettiva mediante il λ-calcolo ed esibisce un problema che nessuna procedura del genere può decidere, raggiungendo i limiti del calcolo indipendentemente da Turing.
1943 articolo di rivista Teoria degli Inizi
Warren S. McCulloch, Walter Pitts · Bulletin of Mathematical Biophysics 5(4): 115–133
Modella l’attività neurale come logica proposizionale, fornendo la prima teoria matematica delle reti neurali artificiali.
1948 articolo di rivista Teoria degli Inizi
Claude E. Shannon · Bell System Technical Journal 27(3): 379–423; 27(4): 623–656
Definisce l’entropia informativa e la capacità di canale, fondando la teoria dell’informazione e offrendo i fondamenti probabilistici poi impiegati in tutta l’IA.
1950 articolo di rivista Teoria degli Inizi
Alan M. Turing · Mind LIX(236): 433–460
Propone il gioco dell’imitazione (test di Turing) come definizione operativa dell’intelligenza delle macchine, inquadrando la questione dell’IA per i successivi settant’anni.
1955 articolo di rivista Teoria degli Inizi
John McCarthy, Marvin L. Minsky, Nathaniel Rochester, Claude E. Shannon · Dartmouth College, 1955; republished in AI Magazine 27(4): 12–14 (2006)
Conia il termine «artificial intelligence» e delinea l’agenda di ricerca che fonda l’IA come disciplina accademica.
1956 articolo di rivista Nascita dell'IA
Allen Newell, Herbert A. Simon · IRE Transactions on Information Theory IT-2(3): 61–79
Realizza il primo programma di ragionamento euristico, dimostrando che le macchine possono emulare le strategie umane di problem solving e introducendo il concetto di «sistema complesso di elaborazione dell’informazione».
1958 articolo di rivista Nascita dell'IA
Newell, A., Shaw, J. C., Simon, H. A. · Psychological Review 65(3): 151–166
Descrive la risoluzione umana dei problemi come ricerca euristica in uno spazio di stati simbolici, l’analisi alla base del General Problem Solver e della concezione della mente come elaborazione di informazione.
1958 articolo di rivista Nascita dell'IA
Frank Rosenblatt · Psychological Review 65(6): 386–408
Introduce il primo neurone a soglia lineare addestrabile, dando origine alla tradizione connessionista che conduce al moderno deep learning.
1958 articolo di conferenza Nascita dell'IA
John McCarthy · Proceedings of the Symposium on Mechanisation of Thought Processes (NPL Teddington), 75–91. London: HMSO
Propone l’«advice taker», un programma capace di trarre conclusioni da un deposito formale di conoscenza di senso comune, gettando le basi concettuali per la rappresentazione della conoscenza e il ragionamento.
1959 articolo di rivista Nascita dell'IA
Arthur L. Samuel · IBM Journal of Research and Development 3(3): 210–229
Realizza un programma di dama che migliora tramite auto-gioco, avviando lo studio del machine learning e dell’auto-miglioramento in stile alpha-beta.
1959 articolo di rivista Nascita dell'IA
Gelernter, H. · Information and Control 2(1): 80–89
Gelernter affronta il modo in cui una macchina può manipolare in modo efficiente sistemi formali i cui predicati presentano un’elevata simmetria, e formula come soluzione un teorema e una regola di simmetria sintattica. Il lavoro accompagna la macchina per la dimostrazione di teoremi geometrici che stava costruendo all’IBM, la quale all’inizio della primavera del 1959 dimostrò il suo primo teorema di geometria piana euclidea.
1960 articolo di conferenza Nascita dell'IA
Bernard Widrow, Marcian E. Hoff · IRE WESCON Convention Record, Part 4, 96–104
Introduce la regola LMS (Adaline), la prima regola di apprendimento basata sulla discesa del gradiente ampiamente diffusa per reti lineari adattive.
1960 articolo di rivista Nascita dell'IA
McCarthy, J. · Communications of the ACM 3(4): 184–195
Introduce le espressioni simboliche, le funzioni ricorsive su di esse e l’eval che consente a un linguaggio di interpretare sé stesso, un progetto divenuto Lisp e linguaggio di lavoro dell’IA simbolica.
1961 rapporto tecnico Nascita dell'IA
Rosenblatt, F. · Cornell Aeronautical Laboratory technical report (DTIC AD0256582)
Raccoglie il lavoro sul perceptron in una teoria completa delle reti probabilistiche a strati, enunciando sia ciò che tali macchine possono apprendere sia dove si ferma la forma a strato singolo.
1966 articolo di rivista Nascita dell'IA
Weizenbaum, J. · Communications of the ACM 9(1): 36–45
Costruisce un programma apparentemente conversazionale con confronto di schemi e regole di riscrittura, e l’autore osserva subito quanta comprensione i lettori gli attribuiscano senza che la possieda.
1982 articolo di rivista L'Inverno dell'IA
John J. Hopfield · Proceedings of the National Academy of Sciences 79(8): 2554–2558
Introduce la rete di memoria associativa di Hopfield, collegando la computazione neurale ai paesaggi energetici della fisica statistica e riaccendendo l’interesse per le reti neurali agli albori dell’inverno dell’IA.
1982 articolo di rivista L'Inverno dell'IA
McDermott, J. · Artificial Intelligence 19(1): 39–88
Documenta un sistema a regole di produzione che configurava ogni giorno gli ordini di calcolatori DEC, uno dei pochi sistemi esperti sopravvissuti all’uso corrente e quantificabile economicamente.
1986 articolo di rivista L'Inverno dell'IA
Judea Pearl · Artificial Intelligence 29(3): 241–288
Sistematizza le operazioni di fusione, propagazione e strutturazione nelle reti di credenza, fornendo le fondamenta algoritmiche per l’inferenza nelle reti bayesiane.
1986 articolo di rivista L'Inverno dell'IA
David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams · Nature 323(6088): 533–536
Diffonde l’algoritmo di back-propagation per l’addestramento di reti neurali multistrato, rendendo possibile il deep learning applicato.
1988 articolo di rivista L'Inverno dell'IA
Richard S. Sutton · Machine Learning 3(1): 9–44
Sistematizza l’apprendimento per differenze temporali (TD), che diventa uno degli algoritmi fondamentali alla base del moderno reinforcement learning.
1990 articolo di rivista L'Inverno dell'IA
Jeffrey L. Elman · Cognitive Science 14(2): 179–211
Introduce la rete ricorrente semplice di Elman, mostrando che le reti neurali possono apprendere la struttura temporale e preparando il terreno ai successivi modelli sequenziali.
1995 articolo di rivista La Rinascita
Corinna Cortes, Vladimir Vapnik · Machine Learning 20(3): 273–297
Introduce la support vector machine a margine morbido, il classico classificatore a massimo margine che ha definito larga parte del machine learning degli anni novanta.
1997 articolo di rivista La Rinascita
Sepp Hochreiter, Jürgen Schmidhuber · Neural Computation 9(8): 1735–1780
Introduce il LSTM originale con celle di memoria e gate di ingresso e uscita; il gate di dimenticanza oggi standard fu aggiunto in seguito da Gers, Schmidhuber e Cummins.
1998 articolo di rivista La Rinascita
Yann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner · Proceedings of the IEEE 86(11): 2278–2324
Introduce LeNet-5, la rete neurale convoluzionale canonica che raggiunge una qualità di riconoscimento delle cifre manoscritte di livello produttivo, stabilendo il modello di riferimento per le CNN.
2006 articolo di rivista La Rinascita
Geoffrey E. Hinton, Ruslan R. Salakhutdinov · Science 313(5786): 504–507
Introduce un deep autoencoder che ricostruisce dati ad alta dimensionalità in modo molto più fedele della PCA, accendendo la prima scintilla della rinascita del deep learning.
2006 articolo di rivista La Rinascita
Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh · Neural Computation 18(7): 1527–1554
Introduce le deep belief network addestrate con un algoritmo greedy strato per strato, dimostrando per la prima volta che modelli profondi possono essere addestrati in modo efficace.
2009 articolo di conferenza La Rinascita
Raina, R., Madhavan, A., Ng, A. Y. · Proceedings of the 26th Annual International Conference on Machine Learning (ICML 2009): 873–880
Sposta l’addestramento di modelli profondi non supervisionati sui processori grafici con guadagni di un ordine di grandezza, rendendo consueta la via hardware lungo la quale il deep learning crescerà nel decennio successivo.
2013 articolo di conferenza La Rinascita
Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller · NeurIPS 2013 Deep Learning Workshop (arXiv:1312.5602)
Combina il Q-learning con una rete convoluzionale per giocare ai videogiochi Atari direttamente dai pixel raggiungendo prestazioni di livello umano, fondando il deep reinforcement learning.
2013 articolo di conferenza La Rinascita
Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean · ICLR 2013 Workshop (arXiv:1301.3781)
Introduce le architetture skip-gram e CBOW che producono word embedding densi, dando avvio all’era delle rappresentazioni vettoriali pre-addestrate delle parole.
2013 articolo di conferenza La Rinascita
Diederik P. Kingma, Max Welling · ICLR 2014 (arXiv:1312.6114)
Introduce il variational autoencoder, coniugando l’inferenza variazionale con la modellazione generativa profonda e fornendo il primo modello profondo a variabili latenti ampiamente adottato.
2014 articolo di conferenza La Rinascita
Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio · ICLR 2015 (arXiv:1409.0473)
Introduce l’attenzione additiva (Bahdanau) nella traduzione automatica neurale, dimostrando che un soft alignment permette al decoder di concentrarsi sui token sorgente rilevanti e ispirando direttamente il Transformer.
2014 articolo di conferenza La Rinascita
Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio · NeurIPS 2014 (arXiv:1406.2661)
Inquadra la modellazione generativa come gioco minimax a due giocatori tra un generatore e un discriminatore, dando vita a una nuova famiglia di modelli generativi impliciti.
2014 articolo di rivista La Rinascita
Nitish Srivastava, Geoffrey E. Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov · Journal of Machine Learning Research 15(56): 1929–1958
Introduce il dropout, una semplice tecnica stocastica di regolarizzazione che diventa uno standard nelle pipeline di addestramento del deep learning.
2015 articolo di conferenza La Rinascita
Sergey Ioffe, Christian Szegedy · ICML 2015 (arXiv:1502.03167)
Introduce la batch normalization, normalizzando gli ingressi di ciascun layer su un mini-batch per stabilizzare e accelerare drasticamente l’addestramento delle reti profonde.
2015 preprint La Rinascita
Sohl-Dickstein, J., Weiss, E. A., Maheswaranathan, N., Ganguli, S. · arXiv:1503.03585
Formula la modellazione generativa come inversione di un processo di rumore graduale, la formulazione su cui poggiano i successivi modelli di diffusione.
2015 articolo di conferenza La Rinascita
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun · CVPR 2016 (arXiv:1512.03385)
Introduce le connessioni residue, consentendo l’addestramento efficace di reti con centinaia di layer e vincendo ImageNet 2015 con un ampio margine.
2016 articolo di rivista La Rinascita
Sennrich, R., Haddow, B., Birch, A. · Proceedings of ACL 2016: 1715–1725 (arXiv:1508.07909)
Divide le parole in unità di sottoparola derivate dalle frequenze, così che un vocabolario fisso possa comporre qualunque forma, schema di segmentazione ereditato dalla maggior parte dei modelli linguistici successivi.
2016 articolo di conferenza La Rinascita
Han, S., Mao, H., Dally, W. J. · ICLR 2016 (arXiv:1510.00149)
Riunisce potatura, quantizzazione appresa e codifica di Huffman in un’unica catena che riduce una rete di un ordine di grandezza quasi senza perdita di accuratezza, affermando presto che la precisione numerica è una variabile progettuale.
2016 articolo di conferenza La Rinascita
Aäron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, Koray Kavukcuoglu · NeurIPS 2016 (arXiv:1609.03499)
Introduce un modello autoregressivo basato su convoluzioni causali dilatate che genera forme d’onda audio grezze, migliorando drasticamente la naturalezza della sintesi vocale da testo.
2017 preprint La Rinascita
John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov · arXiv:1707.06347
Introduce PPO, un metodo di policy gradient al primo ordine semplice e stabile che diventa l’algoritmo di ottimizzazione della politica di riferimento nel moderno reinforcement learning.
2017 preprint La Rinascita
Shazeer, N. et al. · arXiv:1701.06538
Instrada ogni token verso pochi esperti fra molti, lasciando che il numero di parametri di una rete cresca ben oltre il calcolo speso per un singolo ingresso.
2017 articolo di conferenza La Rinascita
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin · NeurIPS 2017 (arXiv:1706.03762)
Introduce il Transformer, un’architettura basata unicamente sui meccanismi di attenzione che abbandona ricorrenze e convoluzioni e supera la qualità dei precedenti modelli di transduction sequenziale addestrandosi in una frazione del tempo.
2018 articolo di rivista La Rinascita
Kudo, T., Richardson, J. · EMNLP 2018, System Demonstrations: 66–71 (arXiv:1808.06226)
Addestra un segmentatore in sottoparole direttamente dal testo grezzo, senza pre-segmentazione specifica di una lingua, così che la stessa catena serva anche le lingue che non separano le parole con spazi.
2018 articolo di conferenza La Rinascita
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova · NAACL 2019 (arXiv:1810.04805)
Introduce un Transformer bidirezionale pre-addestrato con masked language modeling e previsione della frase successiva, stabilendo un nuovo stato dell’arte nei benchmark di NLP.
2019 articolo di rivista La Rinascita
Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu · Journal of Machine Learning Research 21(140): 1–67 (arXiv:1910.10683)
Riformula ogni compito di NLP come text-to-text, effettuando un’ablazione sistematica delle scelte di transfer learning e definendo una ricetta di riferimento per i modelli pre-addestrati su larga scala.
2020 articolo di conferenza L'Era degli LLM
Jonathan Ho, Ajay Jain, Pieter Abbeel · NeurIPS 2020 (arXiv:2006.11239)
Riformula la diffusione come obiettivo variazionale di denoising, riportando la qualità della generazione di immagini allo stato dell’arte e dando il via all’era dei modelli di diffusione.
2021 articolo di rivista L'Era degli LLM
Narayanan, D. et al. · SC 2021: 1–15 (arXiv:2104.04473)
Compone parallelismo di tensori, di pipeline e di dati in un unico schedule e misura la produttività dell’addestramento di un modello linguistico su migliaia di GPU.
2021 preprint L'Era degli LLM
Hu, E. J. et al. · arXiv:2106.09685
Congela i pesi preaddestrati e addestra invece una coppia di matrici a rango ridotto, riducendo il costo di adattare un grande modello a una frazione del fine-tuning completo.
2021 articolo di conferenza L'Era degli LLM
Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, Ilya Sutskever · ICML 2021 (arXiv:2102.12092)
Dimostra che un Transformer autoregressivo da 12 miliardi di parametri può generare immagini diversificate e ad alta fedeltà direttamente da didascalie testuali, accendendo la ricerca sul text-to-image.
2021 articolo di conferenza L'Era degli LLM
Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever · ICML 2021 (arXiv:2103.00020)
Addestra encoder di immagini su coppie immagine-testo raccolte dal web per ottenere una forte classificazione zero-shot delle immagini, fornendo la torre visiva per molti sistemi multimodali successivi.
2021 preprint L'Era degli LLM
Chen, M. et al. · arXiv:2107.03374
Presenta un modello GPT affinato sul codice insieme a un banco di prova valutato sulla correttezza funzionale, trasformando la programmazione da genere di generazione testuale in capacità misurabile, e ne discute gli effetti su sicurezza e lavoro.
2021 articolo di conferenza L'Era degli LLM
Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer · CVPR 2022 (arXiv:2112.10752)
Sposta la diffusione in uno spazio latente percettivo, consentendo la generazione di immagini ad alta risoluzione da testo su GPU consumer e democratizzando la sintesi di immagini.
2022 articolo di conferenza L'Era degli LLM
Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed H. Chi, Quoc V. Le, Denny Zhou · NeurIPS 2022 (arXiv:2201.11903)
Mostra che spingere un modello linguistico a generare passi di ragionamento intermedi migliora nettamente le prestazioni su benchmark di ragionamento aritmetico, di buon senso e simbolico.
2022 articolo di conferenza L'Era degli LLM
Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, Paul Christiano, Jan Leike, Ryan Lowe · NeurIPS 2022 (arXiv:2203.02155)
Applica su larga scala il reinforcement learning from human feedback per allineare gli output di GPT-3 alle intenzioni umane, affermando l’RLHF come ricetta canonica di allineamento.
2022 rapporto tecnico L'Era degli LLM
Yuntao Bai et al. · Anthropic Technical Report 2022 (arXiv:2212.08073)
Introduce il RLAIF, in cui un modello critica e rivede i propri output alla luce di una costituzione scritta, riducendo la dipendenza da etichette umane di danno per l’allineamento.
2023 rapporto tecnico L'Era degli LLM
Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample · Meta AI Technical Report 2023 (arXiv:2302.13971)
Rilascia la famiglia LLaMA di modelli fondativi open, mostrando che modelli relativamente piccoli e ben addestrati possono rivaleggiare con modelli closed molto più grandi, accelerando il movimento degli open weights.
2023 articolo di rivista L'Era degli LLM
Wang, L. et al. · Frontiers of Computer Science 18(6), 2024 (arXiv:2308.11432)
Ordina lavori sparsi sugli agenti secondo costruzione, valutazione e applicazione, segnando il momento in cui il termine passa da un insieme di pratiche a un campo di ricerca.
2023 preprint L'Era degli LLM
Dettmers, T. et al. · arXiv:2305.14314
Retropropaga attraverso un modello di base quantizzato a 4 bit verso adattatori a rango ridotto, portando il fine-tuning di un grande modello alla portata di una sola GPU.
2023 articolo di conferenza L'Era degli LLM
Frantar, E., Ashkboos, S., Hoefler, T., Alistarh, D. · ICLR 2023 (arXiv:2210.17323)
Quantizza i pesi di un grande modello linguistico dopo l’addestramento, strato per strato e in un solo passaggio, così da poterlo servire a precisione minore senza riaddestrarlo.
2023 articolo di conferenza L'Era degli LLM
Leviathan, Y., Kalman, M., Matias, Y. · ICML 2023 (arXiv:2211.17192)
Fa proporre più token da un piccolo modello di bozza che il modello obiettivo verifica in parallelo, riducendo la latenza senza alterare la distribuzione di uscita.
2023 articolo di rivista L'Era degli LLM
Kwon, W. et al. · SOSP 2023: 611–626 (arXiv:2309.06180)
Gestisce la cache di attenzione in pagine di dimensione fissa come un sistema operativo gestisce la memoria, così che un server regga molte più richieste concorrenti senza riservare il caso peggiore per ciascuna.
2023 preprint L'Era degli LLM
Gu, A. e Dao, T. · arXiv:2312.00752
Propone Mamba, un’architettura a spazio di stato selettivo che eguaglia o supera l’attenzione Transformer su linguaggio e altre modalità con complessità lineare — una delle architetture post-Transformer più influenti del 2023.