AI a ML: czym się różnią i gdzie przebiega granica?

Ta sama decyzja, trzy różne mechanizmy

Kamera obserwuje element na linii produkcyjnej. Na ekranie pojawia się komunikat „odrzuć”. Dostawca pierwszego rozwiązania mówi o automatycznej kontroli, drugi o ML (machine learning, czyli uczeniu maszynowym), trzeci o sztucznej inteligencji. Czy to trzy nazwy tego samego urządzenia? Z samej odpowiedzi na ekranie nie da się tego ustalić. Trzeba zajrzeć do mechanizmu, który tę odpowiedź wytworzył, oraz do sposobu, w jaki mechanizm powstał.

W pierwszym wariancie programista ustalił dopuszczalną powierzchnię ciemnej plamy. W drugim algorytm dobrał granicę decyzji na podstawie oznaczonych zdjęć dobrych i wadliwych elementów. W trzecim wyuczony model ocenia obraz, a osobny zestaw reguł uwzględnia typ produktu, jakość zdjęcia i możliwość skierowania sztuki do ręcznej kontroli. Interfejs może wyglądać identycznie, choć wymagania dotyczące danych i sposobu sprawdzania tych rozwiązań będą różne.

Pytanie „potrzebujemy AI czy wystarczy ML?” miesza poziomy opisu. AI (artificial intelligence), czyli sztuczna inteligencja, jest szerszym obszarem problemów i metod. ML (machine learning), czyli uczenie maszynowe, opisuje sposoby budowania zachowania na podstawie doświadczenia. W typowej mapie informatyki ML jest częścią AI. Produkt natomiast nie jest samą mapą pojęć: zawiera dane, oprogramowanie, interfejs, reguły i mechanizmy obsługi błędów.

Prześledźmy te różnice na konkretnych przypadkach. Kontrola jakości i wszystkie jej liczby w tym artykule są przykładem hipotetycznym, nie opisem realizacji ani pomiarów BBest24. Historyczne systemy posłużą jako udokumentowane punkty odniesienia, a nie argument, że każdy problem przemysłowy potrzebuje architektury zwycięzcy turnieju szachowego.

AI opisuje więcej niż uczenie

Do tradycji AI należą między innymi reprezentowanie wiedzy, wnioskowanie, planowanie działań, przeszukiwanie możliwych rozwiązań i percepcja. Można zbudować system rozwiązujący wybrany problem za pomocą zapisanej przez człowieka wiedzy i algorytmu przeszukiwania, bez trenowania modelu na przykładach. Program planujący serię działań może korzystać z opisu stanów, dozwolonych przejść i celu. Jego kompetencja wynika wtedy z reprezentacji problemu i sposobu wyszukiwania planu.

John McCarthy wyjaśniał AI jako naukę i inżynierię tworzenia inteligentnych maszyn, zaznaczając, że nie muszą one kopiować biologicznych mechanizmów człowieka. To ważne ograniczenie popularnej metafory: system nie potrzebuje ludzkiego sposobu myślenia, by skutecznie rozwiązać określone zadanie. Sam sukces w zadaniu nie potwierdza natomiast ludzkiego rozumienia świata.

Granica między AI a zwykłą automatyzacją nie jest uniwersalnym testem rodzaju „więcej niż dziesięć reguł”. Prosty próg temperatury zwykle opisujemy jako automatykę. System ekspercki łączący reprezentację wiedzy z wnioskowaniem należy do historycznych zastosowań AI. W obu może występować instrukcja warunkowa. Różnicy nie wyznacza sam zapis if, liczba linii kodu ani to, czy program działa bez człowieka.

AGI, czyli artificial general intelligence, odnosi się do ambicji znacznie szerszych kompetencji i przenoszenia ich między zadaniami. Nie jest warunkiem użycia określenia AI wobec wyspecjalizowanego systemu. Świadomość jest jeszcze innym zagadnieniem. Rozpoznawanie wad, prowadzenie rozmowy i osiąganie dobrego wyniku w grze nie stanowią same w sobie testów świadomego doświadczenia.

Praktyczna definicja powinna więc zawierać zadanie i zakres działania. „System identyfikuje określone defekty powierzchni w ustalonym oświetleniu” mówi więcej niż „kamera rozumie produkt”. Pierwsze zdanie można zamienić w procedurę odbioru. Drugie pozostawia otwarte niemal wszystkie istotne pytania.

ML, czyli machine learning: co właściwie się uczy

W klasycznym ujęciu Toma Mitchella uczenie wiąże doświadczenie, zadanie i mierzalną poprawę wykonania. W naszym przykładzie zadaniem jest klasyfikacja elementów, doświadczeniem są zdjęcia wraz z ocenami, a miarą może być udział wykrytych wad przy ograniczonej liczbie fałszywych alarmów. Dopóki nie ustalimy wszystkich trzech części, stwierdzenie „model się poprawił” jest niepełne.

Model to reprezentacja zależności używana do wytwarzania wyniku. Może mieć postać funkcji liniowej, drzewa decyzyjnego, zespołu drzew albo sieci neuronowej. Algorytm uczenia jest procedurą, która tę reprezentację dobiera lub modyfikuje. Dane treningowe dostarczają przykładów, a projektant wybiera między innymi ich znaczenie, rodzinę modeli i kryterium dopasowania. Uczenie nie usuwa z procesu decyzji człowieka; przenosi część pracy z ręcznego opisywania odpowiedzi na projektowanie eksperymentu.

Typowy model parametryczny uczony pod nadzorem można opisać schematem:

θ = arg min θ [ (1/N) Σᵢ L(fθ(xᵢ), yᵢ) + λR(θ) ]*

Tutaj xᵢ oznacza wejście, na przykład opis obrazu, yᵢ jego etykietę, a N liczbę przykładów. Funkcja fθ daje przewidywanie przy parametrach θ. Strata L określa, jak kosztowne jest rozminięcie się z etykietą. Składnik R i jego waga λ ograniczają niepożądane dopasowanie, na przykład nadmierną złożoność. Symbol arg min oznacza poszukiwanie parametrów minimalizujących wyrażenie; rzeczywisty algorytm może znaleźć tylko rozwiązanie przybliżone.

Ten zapis ilustruje częsty sposób formułowania uczenia, nie definicję całego ML. Nie każda metoda optymalizuje taki cel ani przechowuje wiedzę w jednym wektorze wag. Metoda najbliższych sąsiadów może porównywać nowe wejście z zachowanymi przykładami. W drzewie istotne są wybrane podziały i wartości w liściach. Wspólnym pytaniem pozostaje to, jak doświadczenie wpływa na późniejsze odpowiedzi.

Najważniejszy rezultat to generalizacja: działanie na przypadkach, których nie użyto do dopasowania. Model zapamiętujący rysy na stu konkretnych obudowach może świetnie odtworzyć ich etykiety i zawieść przy kolejnej partii. Mały błąd treningowy nie rozstrzyga, czy nauczył się cech defektu, tła fotografii czy numerów naniesionych przez kontrolera.

Mapa pojęć bez fałszywej drabiny

ML i machine learning to dwie nazwy tego samego: uczenia maszynowego. AI oznacza szerszy obszar. Poniższa mapa pokazuje relację rodzin metod; nie jest chronologią ani kompletnym podziałem dziedziny.

Relacja AI, ML i deep learning pomaga uporządkować rodziny metod. Generowanie opisuje jednak inny wymiar: rodzaj zadania lub modelowania. Nie każda głęboka sieć generuje treść. Klasyfikator zdjęć może zwracać jedną etykietę. Z kolei modele generatywne w statystyce istniały przed współczesnymi dużymi sieciami. Doklejanie kolejnych zagnieżdżonych okręgów do diagramu bywa wygodne, ale łatwo sugeruje nieistniejącą kolejność rozwoju.

Podobnie granica między ML a statystyką nie przebiega między dwoma rozłącznymi zestawami algorytmów. Regresja logistyczna może służyć analizie zależności albo przewidywaniu nowych przypadków. Zmieniają się pytania, założenia i sposób oceny, niekoniecznie równania. Podręcznik An Introduction to Statistical Learning zestawia regresję, drzewa i głębokie uczenie w jednym warsztacie pracy z danymi.

Ciekawy przypadek graniczny stanowi małe drzewo decyzyjne. Po treningu można zapisać jego działanie jako kilka instrukcji warunkowych. Jest nadal wyuczonym modelem, mimo że podczas przewidywania zachowuje się deterministycznie. O zaliczeniu do ML mówi tu pochodzenie struktury i progów. Ręczne zapisanie podobnych warunków nie staje się uczeniem maszynowym tylko dlatego, że wynikowy kod wygląda tak samo.

Ani losowość odpowiedzi, ani rozmiar programu nie są więc dobrymi testami ML. Również działanie w chmurze niczego nie rozstrzyga: mały wyuczony model może wykonywać predykcję na mikrokontrolerze, a skomplikowany system regułowy może wymagać serwera. Wymagania obliczeniowe trzeba przypisać do konkretnego modelu i obciążenia.

Skąd bierze się mieszanie nazw

Jednym powodem jest historia. Propozycja projektu Dartmouth z 1955 roku, przygotowanego na lato 1956, ujmowała uczenie obok innych aspektów inteligencji. W publikacji Arthura Samuela z 1959 roku uczenie pojawia się już w programie grającym w warcaby. Machine learning (ML) nie jest zatem nową nazwą wymyśloną dopiero wraz z chatbotami ani następcą AI, który zastąpił wcześniejszą dziedzinę.

Drugi powód to poziom rozmowy. Badacz mówi o algorytmie uczenia, inżynier o modelu, a użytkownik o funkcji aplikacji. Wszystkie opisy mogą być poprawne, lecz odnoszą się do różnych obiektów. Asystent korzystający z modelu językowego zawiera również wyszukiwarkę, uprawnienia, bazę dokumentów i kod wywołujący narzędzia. Nazwanie całości AI nie wyjaśnia, które z tych części faktycznie się uczą.

Trzeci powód ma charakter komunikacyjny. Nazwa AI jest krótka i kojarzy się z widoczną kompetencją produktu. Szczegóły dotyczące klasyfikatora, zbioru uczącego i progu decyzji trudniej zmieścić w prezentacji. To interpretacja sposobu używania języka, nie ścisłe prawo rozwoju technologii. Problem zaczyna się wtedy, gdy skrót zastępuje odpowiedź na pytanie o mechanizm albo zakres odpowiedzialności.

Warto więc dopytać: czy słowo „uczy się” oznacza zmianę modelu, dopisanie dokumentu do bazy, zapamiętanie preferencji czy ręczną korektę reguły? Każda z tych operacji może poprawić produkt. Każda wymaga jednak innej kontroli i pozostawia inny ślad, gdy trzeba odtworzyć przyczynę błędu.

Deep Blue i AlphaGo: historia jest ciekawsza od etykiety

Deep Blue pokonało Garry’ego Kasparowa w meczu w 1997 roku. Mechanizm jego gry opierał się w dużej mierze na przeszukiwaniu możliwych kontynuacji i ocenie pozycji. Nie było współczesną głęboką siecią uczącą się całej strategii od początku. Jednak popularna etykieta „czyste AI bez żadnego ML” również upraszcza historię.

Twórcy opisują w sekcji 7.3 publikacji o Deep Blue wykorzystanie narzędzi automatycznej analizy. Metoda comparison training pomogła ocenić wagi dotyczące osłony pionowej króla; wyniki wskazywały, że ręcznie dobrane wartości były zbyt małe, więc zwiększono je przed meczem. Większość cech i wag nadal powstawała ręcznie. To przykład ograniczonego udziału uczenia w rozwoju większego systemu, a nie dowód, że Deep Blue i dzisiejszy model neuronowy miały tę samą architekturę.

AlphaGo opisane w 2016 roku łączyło sieci oceniające pozycje i proponujące ruchy z przeszukiwaniem drzewa. Trening wykorzystywał partie ekspertów oraz samodzielną grę programu. Wyuczone przewidywania pomagały ukierunkować poszukiwanie, ale nie zastępowały całej procedury wyboru ruchu. Publikacja styczniowa opisuje zwycięstwo nad Fan Hui; nie należy mylić tego wyniku z późniejszym meczem z Lee Sedolem.

AlphaGo Zero z 2017 roku pominęło uczenie na partiach ludzi i korzystało z gry przeciwko sobie. Nadal otrzymało reguły gry i zaprojektowaną procedurę uczenia oraz przeszukiwania. Określenie „bez ludzkiej wiedzy” nie oznaczało systemu bez założeń, celu i pracy inżynierskiej.

Te przypadki pokazują, dlaczego klasyfikowanie całego produktu jednym słowem bywa mało użyteczne. Warto pytać o rolę poszczególnych części: co jest zapisane przez projektanta, co zostało wyuczone i co jest obliczane na bieżąco. Sukces w grze o określonych regułach nie przenosi się automatycznie na kontrolę jakości, gdzie etykiety mogą być sporne, a warunki pracy zmienne.

Cztery sposoby uczenia w ML, różne źródła informacji

W uczeniu nadzorowanym przykłady mają docelowe odpowiedzi: zdjęcie i etykietę wady albo historię pomiarów i późniejszy wynik. Uczenie nienadzorowane szuka struktury bez takich odpowiedzi, na przykład grup podobnych przebiegów. Grupa odstająca od pozostałych nie musi jednak oznaczać awarii. Może reprezentować nową, całkowicie poprawną odmianę produktu.

W uczeniu samonadzorowanym zadanie treningowe powstaje z samych danych. Model może przewidywać brakujący fragment albo następny token na podstawie wcześniejszego kontekstu. Nie oznacza to braku sygnału uczącego: odpowiedź potrzebna do obliczenia błędu jest wyprowadzana z dostępnego materiału. Nie oznacza też automatycznej kontroli prawdziwości tekstu, którego model używa jako przykładu.

Uczenie przez wzmacnianie wykorzystuje interakcję i nagrodę. System dobiera zachowanie tak, aby poprawiać określony wynik, często zależny od sekwencji działań. Nagroda nie musi wskazywać prawidłowej odpowiedzi w każdym kroku. Trzeba ponadto sprawdzić, czy optymalizowany wynik rzeczywiście odpowiada celowi. Maksymalizacja liczby przepuszczonych elementów może być fatalnym kryterium, jeśli nie uwzględnia kosztu niewykrytych wad.

Te podejścia mogą współistnieć. Model może najpierw uczyć się reprezentacji bez ręcznych etykiet, później zostać dostrojony na oznaczonych przykładach, a następnie podlegać dodatkowej optymalizacji. Nazwa jednego etapu nie wyjaśnia całej historii modelu. Dla inżyniera ważniejsza jest informacja, jaki sygnał rzeczywiście zmieniał jego zachowanie.

Trening nie trwa przy każdej odpowiedzi

Trening buduje lub zmienia model. Inferencja wykorzystuje wybraną wersję modelu do obliczenia wyniku. W typowym wdrożeniu klasyfikatora parametry pozostają podczas inferencji stałe. Uruchomienie modelu tysiąc razy nie oznacza tysiąca kroków uczenia. Istnieją systemy uczące się online, ale aktualizacja musi być elementem ich projektu; nie wynika z samej etykiety ML.

Reguły produktu mogą zamienić wynik modelu w działanie: przepuszczenie, odrzucenie albo przekazanie do człowieka. Mogą też zablokować decyzję przy nieprawidłowym wejściu. Schemat pomija trening i ocenę, aby pokazać jeden przebieg użycia. Nie twierdzi, że każdy system musi mieć dokładnie cztery moduły ani że taki podział sam zapewnia bezpieczeństwo.

W modelach językowych rozróżnienie komplikuje kontekst rozmowy. Podanie kilku przykładów może zmienić odpowiedź bez zmiany wag. Badanie few-shot learning z 2020 roku dokumentuje wykonywanie zadań w takim ustawieniu. Zależność odpowiedzi od instrukcji nie jest tym samym procesem co trwałe dostrojenie modelu. Aplikacja może dodatkowo przechować preferencję i dołączyć ją do kolejnego zapytania.

RAG dodaje pobieranie materiałów, z których model korzysta podczas generowania. Oryginalna praca o retrieval-augmented generation łączyła model z zewnętrzną pamięcią i obejmowała również uczenie. Samo późniejsze dodanie dokumentu do indeksu nie oznacza jednak aktualizacji wag generatora. Można zmienić dostępne informacje bez ponownego treningu tego modelu.

To rozróżnienie ma konsekwencje przy diagnozie błędów. Nieprawidłowa odpowiedź może wynikać z błędnego dokumentu, nietrafnego wyszukania fragmentu, pominięcia ważnego kontekstu albo generowania niepopartej treści. Obecność RAG nie gwarantuje poprawności. Ocena powinna sprawdzać zarówno dobór źródeł, jak i zgodność odpowiedzi z ich zawartością.

Dlaczego 99% poprawności może oznaczać porażkę

Załóżmy zbiór testowy 10 000 elementów, którego nie użyto do treningu ani wyboru progu. Wiarygodna kontrola referencyjna wykazała 100 wadliwych sztuk i 9900 dobrych. Dla ustalonego progu model wykrywa 90 wad, przeocza 10 i dodatkowo oznacza 198 dobrych elementów jako wadliwe. Pozostałe 9702 dobre sztuki przepuszcza poprawnie.

Recall, czyli czułość wykrywania wad, wynosi 90/100 = 90%. Dziewięć na dziesięć wadliwych sztuk uruchamia alarm. Precision, czyli udział rzeczywistych wad w alarmach, wynosi 90/288 = 31,25%. Większość alarmów jest fałszywa, mimo wysokiej czułości. Odsetek fałszywych alarmów wśród dobrych sztuk to natomiast 198/9900 = 2%. Te dwa ostatnie wskaźniki mają różne mianowniki.

Accuracy, udział wszystkich poprawnych klasyfikacji, wynosi (90 + 9702)/10 000 = 97,92%. Program przepuszczający każdy element osiągnąłby 99%, bo poprawnie obsłużyłby wszystkie dobre sztuki. Nie wykryłby żadnej wady. Sam ranking według accuracy wybrałby więc rozwiązanie sprzeczne z celem detekcji. Przy zerowej liczbie alarmów precision nie wynosi 100%: ma zerowy mianownik i wymaga jawnej konwencji raportowania.

Wynik zależy też od częstości wad. Przy hipotetycznym wzroście ich udziału do 10%, zachowaniu czułości 90% i odsetka fałszywych alarmów 2%, mielibyśmy 900 trafnych alarmów i 180 fałszywych. Precision wzrosłoby do 83,33%. To obliczenie warunkowe: rzeczywista zmiana produkcji może zmienić także czułość i liczbę fałszywych alarmów. Nie wolno obiecywać takiego wyniku tylko na podstawie zmiany proporcji.

Wniosek nie brzmi „model jest dobry” albo „model jest zły”. Jeśli wszystkie 288 alarmów sprawdza człowiek, trzeba ocenić obciążenie stanowiska i koszt dziesięciu przeoczonych wad. Jeśli alarm automatycznie usuwa element, 198 dobrych sztuk staje się stratą. Ten sam model może mieć różną wartość w zależności od reguły działania całego systemu.

Gdzie kończy się demonstracja, a zaczyna dowód

Próg decyzji należy ustalać na danych walidacyjnych, biorąc pod uwagę koszty obu typów błędu. Zbiór testowy służy późniejszej ocenie zamkniętego rozwiązania. Wielokrotne poprawianie modelu po obejrzeniu wyników testowych stopniowo zamienia test w kolejną część procesu doboru. Potrzebny jest wtedy nowy, niezależny materiał do końcowej oceny.

Podział losowy nie zawsze zapewnia niezależność. Jeżeli wykonano dziesięć zdjęć jednej obudowy i rozdzielono je między trening a test, model może rozpoznawać tę samą sztukę w obu zbiorach. Rozdzielać trzeba jednostki odpowiadające przyszłemu użyciu: konkretne elementy, partie, urządzenia lub okresy. Dobór jednostki zależy od tego, jakiego rodzaju nowość system ma obsłużyć po wdrożeniu.

Sprawdzić trzeba również samą definicję wady. Czy dwóch kontrolerów oznaczyłoby przypadek identycznie? Czy etykieta wynika ze zdjęcia, czy z późniejszego badania niedostępnego kamerze? Jeśli dwóch różnych stanów fizycznych nie da się odróżnić na wejściu, lepszy algorytm nie wytworzy brakującej informacji. Czasem skuteczniejsza zmiana dotyczy oświetlenia, optyki lub procedury pomiarowej.

Przed wdrożeniem należy ustalić, co system zrobi przy nieostrym obrazie, zasłoniętej kamerze i nowym wariancie produktu. Wysoki wynik punktowy modelu nie musi być dobrze skalibrowanym prawdopodobieństwem. Nie można bez sprawdzenia interpretować wartości 0,9 jako gwarancji, że dziewięć na dziesięć takich decyzji będzie poprawnych. Warto mierzyć wyniki osobno dla istotnych warunków pracy i obserwować zmianę danych po uruchomieniu.

Sto wadliwych przypadków to również ograniczona podstawa oceny. Dziesięć przeoczeń nie ustala dokładnie odsetka błędów przyszłej produkcji. Próba może pomijać rzadkie rodzaje defektów, a kolejne zdjęcia z jednej partii mogą być silnie zależne. Raport powinien pokazywać liczebności oraz sposób zebrania danych, nie tylko procent z dwoma miejscami po przecinku.

Warto także oddzielić cel uczenia od reguły użycia modelu. Algorytm może minimalizować średnią stratę na przykładach, podczas gdy właściciel procesu interesuje się maksymalną liczbą przeoczeń na zmianę. To nie są automatycznie zgodne kryteria. Dobór reprezentatywnych danych, sposobu ważenia błędów i progu powinien połączyć oba poziomy. Sama informacja, że funkcja straty malała podczas treningu, nie dowodzi spełnienia wymagań stanowiska kontroli.

Praktyczny eksperyment może rozpocząć się od zamrożenia zestawu zdjęć i definicji etykiet. Następnie porównujemy ręczny próg, niewielki model i bardziej złożony wariant na tych samych przypadkach. Zapisujemy wyniki dla każdej sztuki, aby zobaczyć, czy kandydaci mylą się w tych samych miejscach. Jeśli wszystkie zawodzą przy refleksach, warto najpierw zbadać tor obrazowania. Jeśli trudność dotyczy tylko jednego typu powierzchni, średni wynik dla całej produkcji może ją ukryć.

W raporcie warto zachować wersję zbioru, modelu, przygotowania obrazu i reguł decyzji. Zmiana rozdzielczości wejścia albo normalizacji może zmienić odpowiedzi mimo identycznego pliku wag. Odtwarzalność wymaga więc zapisania całego toru obliczeń, a nie tylko nazwy sieci. Właśnie tutaj różnica między modelem a produktem staje się codziennym problemem utrzymania, a nie jedynie sporem o słowa.

Dobry wynik demonstracji powinien prowadzić do następnego, precyzyjnego pytania. Czy efekt utrzymuje się na nowej partii? Czy skrócenie czasu ekspozycji pogarsza wykrywanie drobnych rys? Czy operator ma wystarczająco dużo czasu na ocenę alarmów? Odpowiedzi mogą uzasadnić dalszy rozwój, ograniczenie zakresu albo zmianę metody. Żadna z tych decyzji nie wymaga rozstrzygnięcia, czy produkt wygląda wystarczająco „inteligentnie”.

Nie należy również zakładać, że dodanie kolejnych zdjęć zawsze poprawi model. Powtórzenia niemal identycznych ujęć mogą zwiększyć rozmiar zbioru bez rozszerzenia zakresu doświadczeń. Błędne etykiety mogą utrwalać niewłaściwą zależność, a przewaga jednej partii może przesunąć wynik w jej stronę. Nowe dane mają wartość wtedy, gdy pomagają sprawdzić lub poprawić zachowanie w istotnych warunkach, a ich wpływ zostaje oceniony na niezależnym materiale.

Pytania bardziej użyteczne niż etykieta

Przed wyborem rozwiązania warto uzgodnić: co dokładnie ma być przewidywane, z jakiego doświadczenia powstał model, które dane pozostały niezależne i jaka decyzja następuje po wyniku. Następnie zapytać o przeoczenia, fałszywe alarmy, zakres warunków pracy i sposób wycofania błędnej wersji. Porównanie z prostą regułą bazową pozwoli sprawdzić, czy dodatkowa złożoność przynosi mierzalną korzyść.

AI i ML mają wspólny obszar zastosowań, lecz nie są zamiennymi nazwami całego rozwiązania. Model może nauczyć się użytecznej zależności, podczas gdy produkt nadal podejmuje niewłaściwe decyzje. Może też działać bardzo dobrze w wąskim zakresie bez ogólnego rozumienia świata. Kompetentna ocena zaczyna się od odtworzenia mechanizmu i dowodów, które pozwalają mu zaufać w konkretnych warunkach.

Źródła

• John McCarthy, What is artificial intelligence?, 2007.
• McCarthy, Minsky, Rochester, Shannon, propozycja Dartmouth, 1955.
• Arthur L. Samuel, Some Studies in Machine Learning Using the Game of Checkers, 1959.
• Tom M. Mitchell, Machine Learning, 1997.
• James, Witten, Hastie, Tibshirani, Taylor, An Introduction to Statistical Learning, wydanie Python 2023; rozdziały o uczeniu, klasyfikacji i ocenie modeli.
• Campbell, Hoane, Hsu, Deep Blue, 2002; wersja autorska, sekcja 7.3.
• Silver i współautorzy, Mastering the game of Go with deep neural networks and tree search, 2016, oraz Mastering the game of Go without human knowledge, 2017.
• Brown i współautorzy, Language Models are Few-Shot Learners, 2020.
• Lewis i współautorzy, Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, 2020.