Глубокое обучение Введение Яцек Табор, Лукаш Струски, Мацей Волчик

Głębokie uczenie. Wprowadzenie

Jacek Tabor, Marek Śmieja, Łukasz Struski, Przemysław Spurek, Maciej Wołczyk

Opanuj podstawy uczenia maszynowego

Od mniej więcej piętnastu lat jesteśmy świadkami rewolucji w nauczaniu maszynowym na niesamowitą skalę. Rewolucji tej sprzyja intensywny rozwój głębokich sieci neuronowych oraz niezbędnego do tego sprzętu obliczeniowego, takiego jak karty graficzne. "Deep learning", "machine learning" - te słowa klucze rozpalają wyobraźnię programistów, innowatorów i przedstawicieli przemysłu na całym świecie. Także studentów kierunków politechnicznych. Na świecie wydaje się sporo literatury poświęconej tym zagadnieniom, w Polsce niestety mamy pod tym względem deficyt.

Niniejszy podręcznik, pomyślany jako wprowadzenie do tematu uczenia głębokiego, ma z założenia uzupełnić tę lukę. W związku z tym opracowany został w sposób umożliwiający zrozumienie zawartych w nim treści także osobom, które nie zetknęły się dotąd nawet z klasycznymi metodami nauczania maszynowego. Stąd sporo miejsca autorzy poświęcają podstawowym konceptom klastrowania, klasyfikacji oraz regresji. Druga połowa książki przybliża głębokie odpowiedniki modeli klasycznych - z naciskiem na objaśnienie podstawowych pojęć i ich intuicji. Ponieważ dla pełnego zrozumienia modeli niezbędne jest ich zaimplementowanie, integralną część książki stanowi kod, dostępny dla czytelnika na platformie GITHUB.

Spis treści:

Rozdział 1. Wstęp

Rozdział 2. Wprowadzenie do uczenia maszynowego

• 2.1. Analiza modelu i funkcja kosztu
• 2.2. Minimalizacja funkcji kosztu

Rozdział 3. Uczenie nienadzorowane

• 3.1. Klastrowanie: k­means
• 3.2. Redukcja wymiarowości: PCA
• 3.3. Estymacja gęstości

Rozdział 4. Uczenie nadzorowane: regresja

• 4.1. Regresja liniowa
• 4.2. Zanurzenie
• 4.3. Ewaluacja modelu nadzorowanego

Rozdział 5. Uczenie nadzorowane: klasyfikacja

• 5.1. Wprowadzenie do klasyfikacji
• 5.2. Klasyfiacja binarna: SVM
• 5.3. Klasyfikacja wieloklasowa: regresja logistyczna
• 5.4. Ocena modelu klasyfikacji
• 5.5. Klasyfikacja niezbalansowania
• 5.6. Konstrukcja funkcji kosztu w problemach regresyjnych

Rozdział 6. Metody kernelowe

• 6.1. Wprowadzenie do metod kernelowych
• 6.2. Praktyczne użycie skernelizowanych metod
• 6.3. Porównywanie próbek i rozkładów: MMD

Rozdział 7. Wprowadzenie do sieci neuronowych

• 7.1. Budowa sieci neuronowych
• 7.2. Klasyfiacja nieliniowa: spojrzenie geometryczne
• 7.3. Uczenie sieci neuronowej na przykładzie regresji
• 7.4. Teoria a praktyka w sieciach neuronowych

Rozdział 8. Trenowanie sieci neuronowych

• 8.1. Problem klasyfikacyjny
• 8.2. Optymalizacja za pomocą metody spadku gradientu
• 8.3. Optymalizator Adam
• 8.4. Regularyzacja i augmentacje
• 8.5. Moja sieć neuronowa nie działa: poradnik

Rozdział 9. Wprowadzenie do sieci konwolucyjnych

• 9.1. Przetwarzanie obrazów za pomocą sieci fully­connected
• 9.2. Filtry konwolucyjne
• 9.3. Sieci konwolucyjne

Rozdział 10. Sieci konwolucyjne w praktyce

• 10.1. Początki sieci konwolucyjnych
• 10.2. Techniki regularyzacyjne
• 10.3. Połączenia rezydualne: ResNet
• 10.4. Wybrane architektury CNN
• 10.5. Finetuning: dostrajanie modelu do nowych zadań
• 10.6. Segmentacja obrazów: U­Net

Rozdział 11. Głębokie modele nienadzorowane

• 11.1. Nienadzorowana reprezentacja danych
• 11.2. Modele generatywne: GANy
• 11.3. Estymacja gęstości: invertible normalizing flows

Rozdział 12. Rekurencyjne sieci neuronowe

• 12.1. Wprowadzenie do danych sekwencyjnych
• 12.2. Rekurencja jako model autoregresywny
• 12.3. Sieci rekurencyjne (RNN)
• 12.4. Model Seq2Seq
• 12.5. Zaawansowane modele sieci rekurencyjnych

Rozdział 13. Atencja

• 13.1. Wstęp
• 13.2. Mechanizm atencji
• 13.3. Atencja w modelu Seq2Seq
• 13.4. Self­attention
• 13.5. Self­attention GAN
• 13.6. Transformer jako rozwinięcie self­atencji

Bibliografia