Topic outline

  • Announcements

    Dosen Pengampu : Dr. Fajar Astuti Hermawati, S.Kom., M.Kom.


    • Rencana Pembelajaran Semester (RPS) File

      Mata kuliah ini menyajikan materi tentang metode pembelajaran mendalam (deep learning) dengan aplikasi untuk visi komputer, pemrosesan bahasa alami, biologi, dan banyak lagi. Mahasiswa akan memperoleh pengetahuan dasar tentang algoritma pembelajaran mendalam (deep learning) yang meliputi deep feedforward neural networks, deep sequence modelling, deep convolution network serta deep generative modelling dan mendapatkan pengalaman praktis dalam membangun jaringan saraf di TensorFlow. Pada minggu-minggu pertama, mahasiswa diajak mengingat kembali dengan konsep matematika aljabar linier serta jaringan syaraf tiruan yang merupakan dasar dari algoritma-algoritma deep learning.

    • Materi Pembelajaran :

      1. Konsep Dasar Deep Leaning
      2. Dasar Matematika untuk Pembelajaran Mesin 
      3. Deep feedforward network
      4. Deep Convolutional Networks
      5. Deep Sequence Modeling
      6. Deep Generative Modeling
      7. Practical Methodology & Aplikasi Deep Learning dengan TensorFlow

  • Minggu 1: Konsep Dasar Deep Learning

    Assalamu'alaikum wr wb
    Selamat pagi adik-adik mahasiswa. Selamat datang di kelas mata kuliah Deep Learning. Selama satu semester ini kita akan belajar semua yang berhubungan dengan algoritma deep learning. Harapannya, materi pada mata kuliah ini akan membantu adik-adik dalam menyusun topik tugas akhir. Penjelasan mengenai Rencana Pembelajaran dan bagaimana evaluasinya, dapat dibaca pada dokumen RPS terlampir. Pada pertemuan pertama ini, kita akan belajar mengenai konsep dari deep learning, sejarah serta aplikasi-aplikasi terkini yang menerapkan algoritma deep learning. Selamat belajar...
    Sub Capaian Pembelajaran:

    Sub-CPMK-1: Mampu mengidentifikasi konsep dasar deep learning dan menentukan karakteristik permasalahan yang dapat diselesaikan dengan algoritma deep learning dengan memperhatikan etika akademik. [C2, A3]
    Indikator:
    1.1	Ketepatan mengidentifikasi konsep dasar deep learning dan hubungannya dengan teknologi AI lainnya dan aplikasi-aplikasinya
1.2	Ketepatan menentukan karakteristik permasalahan yang dapat diselesaikan dengan algoritma deep learning dengan memperhatikan etika akademik (anti plagiasi)

    Bahan Kajian (Materi):

    Konsep Dasar Deep Learning
    • Why Deep Learning
    • Aplikasi Deep Learning.

    Bentuk Evaluasi: 
    • Kuis 1 melalui media interaktif Quizizz
    • Penugasan Terstruktur – 1: Mencari dan meringkas literatur dlm bentuk makalah tentang tugas-tugas tertentu yang dapat diselesaikan dengan algoritma deep learning.

  • Minggu 2: Linear Algebra & Probability for Machine Learning

    Assalamu'alaikum wr wb
    Selamat pagi adik-adik mahasiswa. Pada minggu kedua ini kita akan mereview kembali beberapa materi mengenai aljabar linier dan matriks serta probabilistik yang akan banyak kita temui pada algoritma-algoritma machine learning dan deep learning. Selamat belajar...
    Sub Capaian Pembelajaran:

    Sub CPMK2 : Mampu mengidentifikasi konsep matematika dan mesin pembelajaran dasar untuk algoritma deep learning. [C2, A3]
    Indikator:
    2.1   Ketepatan dalam mengidentifikasi permasalahan komputasi matematika untuk pembelajaran mesin 
    2.2   Ketepatan mengidentifikasi konsep pembelajaran mesin dasar

    Bahan Kajian (Materi):

    Matematika untuk Pembelajaran Mesin 
    • Aljabar Linier
    • Probabilitas & Statistika

    Bentuk Evaluasi: 
    Kuis-2 melalui media interaktif Quizizz
    ________________________________________________________________________________________________________________

  • Minggu 3: Numerical Computation & Machine Learning Basic

    Assalamu'alaikum wr wb
    Adik-adik mahasiswa... masih melanjutkan materi review matematika untuk machine learning, pada pertemuan kali ini, kita akan mengingat kembali komputasi numerik yang membahas mengenai turunan dan kegunaannya. Pada pertemuan ini kita juga akan mengingat kembali apa itu pembelajaran mesin. Sebagai pengalaman belajar, adik-adik mahasiswa akan mengidentifikasi permasalahan matematika dan pembelajaran mesin pada artikel jurnal yang digunakan sebagai referensi pada penugasan pertama. Selamat belajar...
    Sub Capaian Pembelajaran:
    Sub-CPMK-2: Mampu mengidentifikasi konsep matematika dan mesin pembelajaran dasar untuk algoritma deep learning [C2, A3]
    Indikator:
    2.1	Ketepatan dalam mengidentifikasi permasalahan komputasi matematika untuk pembelajaran mesin 
    2.2	Ketepatan mengidentifikasi konsep pembelajaran mesin dasar
    Materi pembelajaran:
    1.  Numerical Computation
    2.  Machine Learning Basic
    Bentuk Evaluasi:
    Penugasan Terstruktur – 2: Mengidentifikasi  permasalahan komputasi matematika dan pembelajaran mesin dari sumber rujukan jurnal


  • Minggu 4 : Deep Feedforward Networks

    Assalamu'alaikum wr wb
    Adik-adik mahasiswa... Hari ini kita kembali mengingat materi mengenai jaringan syaraf tiruan yang pernah kita pelajari pada matakuliah KK. Pada materi hari ini, kita menggunakan rangkaian neuron yang lebih dalam pada pembelajaran deep. Selamat belajar...
    Sub Capaian Pembelajaran:
    Sub-CPMK-3: Mampu mengidentifikasi konsep dasar jaringan syaraf tiruan dalam (deep feedforward network) serta regularisasi dan optimisasi pembelajaran dalam deep learning dan mampu mengaplikasikan pemodelan serta evaluasinya untuk menyelesaikan contoh permasalahan yang diberikan [C3, A3]
    Indikator:
    3.1.	Ketepatan dalam  menerapkan algoritma perceptron untuk permasalahan klasifikasi
3.2.	Ketepatan menerapkan algoritma pembelajaran pada multilayer perceptron untuk permasalahan klasifikasi

    Materi pembelajaran:

    • Example: Learning XOR
    • Multilayer Perceptron

    • Interpretability
    • Deep Neural Network
    • Minibatches


  • Minggu 5 - Regularization For Deep Learning

    Assalamu'alaikum wr wb
    Adik-adik mahasiswa... Hari ini kita akan mempelajari teknik-teknik regularisasi untuk pembelajaran dalam yang bertujuan menghindari terjadinya overfitting pada model NN yang kita bangun. Selamat belajar...
    Sub Capaian Pembelajaran:
    Sub-CPMK-3: Mampu mengidentifikasi konsep dasar jaringan syaraf tiruan dalam (deep feedforward network) serta regularisasi dan optimisasi pembelajaran dalam deep learning dan mampu mengaplikasikan pemodelan serta evaluasinya untuk menyelesaikan contoh permasalahan yang diberikan [C3, A3]
    Indikator:
    3.3.	Ketepatan dalam mengidentifikasi teknik-teknik regularisasi pada pembelajaran dengan deep learning

    Materi pembelajaran:

    • Neural Network Parameters
Parameters vs Hyperparameters
Train / Dev / Test sets
Performa dari Model
Classification Model Error
Problem of fitting

    • Parameter Norm Penalties
L2 Parameter Regularization
L1 Parameter Regularization
Dataset Augmentation
Multitask Learning
Early Stopping
Sparse Representations
Bagging
Dropout

  • Minggu 6 : Optimization for Deep Learning

    Assalamu'alaikum wr wb
    Adik-adik mahasiswa... Hari ini kita akan mempelajari algoritma dasar optimisasi proses pembelajaran dalam deep NN. Namun sebelumnya kita perlu lebih memahami proses pembelajaran dengan algoritma backpropagation yang menggunakan prinsip gradient. Selamat belajar...
    Sub Capaian Pembelajaran:
    Sub-CPMK-3: Mampu mengidentifikasi konsep dasar jaringan syaraf tiruan dalam (deep feedforward network) serta regularisasi dan optimisasi pembelajaran dalam deep learning dan mampu mengaplikasikan pemodelan serta evaluasinya untuk menyelesaikan contoh permasalahan yang diberikan [C3, A3]
    Indikator:
    3.4.	Ketepatan dalam mengidentifikasi algoritma optimization pada pembelajaran dengan deep learning

    Materi pembelajaran:

    • Pentingnya Gradient
    • Remember Backpropagation Algorithm
    • Gradient Descent
    • Basic Algorithm
      • Stochastic gradient descent (SGD) 
      • Gradient Descent with Momentum
      • Root Mean Squared Prop (RMSProp)
      • Adaptive Moment Estimation (Adam)

    • Video & Penugasan

      Simak  video yang diberikan dibawah ini sampai selesai dan kerjakan semua pertanyaan pada video tersebut. Batas waktu pengerjaan soal pada video adalah tanggal 10 April 2023 pukul 24.00.

      Untuk bisa menjalankan video, ikuti langkah berikut :

      1. Klik get started

      2. Masukkan NBI Nama seperti tampilan dibawah ini:


      3. Klik Join Open Class


      Video Pembelajaran 1:


      Video Pembelajaran 2:


      Video Pembelajaran 3:


  • Pertemuan 7 : Convolutional Networks

    Assalamu'alaikum wr wb
    Adik-adik mahasiswa... Hari ini kita akan mempelajari jaringan konvolusi (Convolutional Networks) atau lebih dikenal sebagai Convolutional Neural Networks (CNN). Materi ini sebenarnya sudah pernah dipelajari pada mata kuliah pengolahan citra digital. sehingga video yang saya berikan adalah video pada materi yang lalu. Selamat belajar...
    Sub Capaian Pembelajaran:
    Sub-CPMK-4: Mampu mengidentifikasi konsep dasar Convolutional Networks dalam deep learning, dan mampu menerapkan pemodelan serta evaluasinya untuk menyelesaikan contoh permasalahan yang diberikan [C3, A3]

    Indikator:

    • Ketepatan menjabarkan konsep convolutional network
    • Ketepatan dalam menjelaskan langkah-langkah penerapan metode convolutional neural network dalam permasalahan klasifikasi

    Materi pembelajaran:

    1. The Convolution Operation
    2. Motivation
    3. Pooling
    4. Convolution and Pooling as an Infinitely Strong Prior
    5. Variants of the Basic Convolution Function
    6. Structured Outputs
    7. Data Types
    8. Efficient Convolution Algorithms
    9. Random or Unsupervised Features
    10. The Neuroscientific Basis for Convolutional Networks
    11. Convolutional Networks and the History of Deep Learning

  • Evaluasi Tengah Semester

    Assalamu'alaikum wr wb
    Adik-adik mahasiswa... Selamat mengerjakan soal-soal evaluasi yang diberikan. Sukses semuanya....
    Sub Capaian Pembelajaran:
    Sub-CPMK-3: Mampu mengidentifikasi konsep dasar jaringan syaraf tiruan dalam (deep feedforward network) serta regularisasi dan optimisasi pembelajaran dalam deep learning dan mampu mengaplikasikan pemodelan serta evaluasinya untuk menyelesaikan contoh permasalahan yang diberikan [C3, A3]
Sub-CPMK-4: Mampu mengidentifikasi konsep dasar Convolutional Networks dalam deep learning, dan mampu menerapkan pemodelan serta evaluasinya untuk menyelesaikan contoh permasalahan yang diberikan [C3, A3]

    Indikator:

    • Ketepatan menerapkan algoritma pembelajaran pada multilayer perceptron untuk permasalahan klasifikasi 
    • Ketepatan mengidentifikasi konsep regularisasi pada pembelajaran dengan deep multilayer perceptron
    • Ketepatan mengidentifikasi konsep menerapkan optimisasi pada pembelajaran dengan deep multilayer perceptron
    • Ketepatan menjabarkan konsep convolutional network
    • Ketepatan dalam menjelaskan langkah-langkah penerapan metode convolutional neural network dalam permasalahan klasifikasi

  • Pertemuan 9 : Deep Sequence Networks

    Assalamu'alaikum wr wb
    Adik-adik mahasiswa... Hari ini kita akan mempelajari jaringan deep sequence yang biasa disebut dengan Recurrent Neural Network (RNN). Model RNN biasanya digunakan untuk pembelajaran yang berbasis urutan, seperti urutan kata atau kalimat. Selamat belajar...
    Sub Capaian Pembelajaran:
    Sub-CPMK-5: Mampu mengidentifikasi konsep dasar Sequence Modeling dalam deep learning dan mampu menerapkan pemodelan serta evaluasinya untuk menyelesaikan contoh permasalahan yang diberikan [C3, A3]

    Indikator:

    5.1.	Ketepatan mengidentifikasi konsep dasar deep sequence modelling
5.2.	Ketepatan dalam membangun model deep sequence untuk menyelesaikan permasalahan

    Materi pembelajaran:

    1. Recurrent Neural Network Model 
    2. Why sequence models? 
    3. Backpropagation through time (BPTT)
    4. Different types of RNNs 
    5. Vanishing gradients with RNNs 
    6. LSTM (long short term memory) unit