Course: DEEP LEARNING

Topic outline

MK Deep Learning - 14624533 - 3 SKS

Hai semuanya!

Selamat datang di modul pembelajaran “Deep Learning”. Modul ini dirancang untuk mendukung Anda dalam memahami materi secara mendalam. Ayo kita mulai menjelajahi konten modul ini bersama-sama.

Di sini, kita akan mempelajari “Deep Learning” atau yang biasa disebut sebagai "Pembelajaran Mendalam". Deep Learning merupakan bagian dari kecerdasan buatan yang menitikberatkan pada model pembelajaran berlapis yang mampu menangani data kompleks.

Dalam perkuliahan ini, kita akan mengeksplorasi dasar-dasar serta pengenalan berbagai teknik Deep Learning, arsitektur jaringan saraf buatan, dan model-model terkini dalam pembelajaran mendalam. Kita juga akan mempraktikkan penggunaan TensorFlow, Keras, PyTorch, dan alat-alat lainnya untuk mengimplementasikan Deep Learning.

Mari belajar dengan semangat! 😄

Capaian Pembelajaran Mata Kuliah (CPMK)

Mampu menganalisis dan menyelesaikan masalah komputasi kompleks dengan menerapkan prinsip-prinsip algoritma cerdas dengan pendekatan pemelajaran mendalam untuk menghasilkan solusi berbasis perangkat lunak yang inovatif.
Mampu merancang, menganalisis, dan menerapkan algoritma serta solusi perangkat lunak berbasis kecerdasan artifisial dalam pemelajaran mendalam untuk menyelesaikan permasalahan organisasi secara optimal.

Sub Capaian Pembelajaran Mata Kuliah (Sub-CPMK)

Kode sub CPMK	Rumusan Sub CPMK
Sub-CPMK 1	Mampu mengidentifikasi konsep dasar pemelajaran mendalam, konsep matematika dan mesin pemelajar yang mendasari prinsip-prinsip algoritma cerdas serta menentukan karakteristik permasalahan yang dapat diselesaikan dengan algoritma deep learning [C2, A3]
Sub-CPMK 2	Mampu menyelesaikan masalah komputasi kompleks dengan menerapkan prinsip-prinsip jaringan syaraf tiruan dalam (deep feedforward network) serta regularisasi dan optimisasi pembelajaran dalam pemelajaran mendalam [C3, A3]
Sub-CPMK 3	Mampu menyelesaikan masalah komputasi kompleks dengan menerapkan prinsip-prinsip Jaringan Konvolusi (Convolutional Networks) dalam pemelajaran mendalam [C3, A3]
Sub-CPMK 4	Mampu menyelesaikan masalah komputasi kompleks dengan menerapkan prinsip-prinsip Pemodelan Sekuensial (Sequence Modeling) dalam pemelajaran mendalam [C3, A3]
Sub-CPMK 5	Mampu menyelesaikan masalah komputasi kompleks dengan menerapkan prinsip-prinsip Pemodelan Generatif (Generative Modeling) dalam pemelajaran mendalam [C3, A3]
Sub-CPMK 6	Mampu merancang, menganalisis, dan menerapkan algoritma serta solusi perangkat lunak berbasis kecerdasan artifisial dalam pemelajaran mendalam untuk menyelesaikan permasalahan organisasi dan/atau masyarakat secara optimal [C6, A3, P3]

Peta Analisis Capaian Pembelajaran

Deskripsi Mata Kuliah:

Mata kuliah ini menyajikan materi tentang metode pembelajaran mendalam (deep learning) dengan aplikasi untuk visi komputer, pemrosesan bahasa alami, biologi, dan banyak lagi. Mahasiswa akan memperoleh pengetahuan dasar tentang algoritma pembelajaran mendalam (deep learning) yang meliputi deep feedforward neural networks, deep sequence modelling, deep convolution network serta deep generative modelling dan mendapatkan pengalaman praktis dalam membangun jaringan saraf di TensorFlow. Pada minggu-minggu pertama, mahasiswa diajak mengingat kembali dengan konsep matematika aljabar linier serta jaringan syaraf tiruan yang merupakan dasar dari algoritma-algoritma deep learning.

Adapun materi yang akan diberikan pada mata kuliah ini meliputi:

Konsep Dasar Deep Leaning
Dasar Matematika untuk Pembelajaran Mesin
Deep feedforward network
Deep Convolutional Networks
Deep Sequence Modeling
Deep Generative Modeling
Practical Methodology & Aplikasi Deep Learning dengan TensorFlow

Yuk kita dengarkan penjelasan mengenai mata kuliah ini pada video berikut.

Metode Pembelajaran

Pembelajaran dalam mata kuliah ini dilakukan menggunakan Project-Based Learning, dengan luaran akhir berupa model deep learning yang diimplementasikan menggunakan Tensor Flow untuk menyelesaikan permasalahan yang ada di masyarakat. Detail penjelasan proyek dapat dilihat pada modul terlampir. Berikut gambaran rencana pembelajaran berbasis proyek selama 16 kali pertemuan:

Setting Pembelajaran

Setting belajar mata kuliah ini dilakukan melalui secara hybrid dengan memanfaat dua media pembelajaran yaitu:

Secara asinkron melalui LMS SPADA berupa video, modul, serta bahan bacaan lainnya, serta forum diskusi, tugas dan kuis

Secara sinkron tatap muka di kelas

Secara sinkron maya melalui zoom meeting

Berikut gambaran rencana aktifitas belajar selama 16 kali pertemuan:

Petunjuk Melakukan Pembelajaran Mandiri:
Pembelajaran mandiri secara daring dapat dilakukan dengan cara:

Mengakses video interaktif H5P yang didalamnya terdapat pertanyaan-pertanyaan singkat untuk menguji pemahaman kalian.
Mengunduh materi pembelajaran dalam format pdf
Mengerjakan Kuis yang berisi pertanyaan pilihan ganda untuk menggali kemampuan kognitif kalian terkait materi yang dipaparkan dalam video secara keseluruhan
Mengerjakan penugasan tertruktur yang diberikan dan disampaikan petunjuknya dalam bentuk file pdf. Penugasan dilakukan secara berkelompok (lihat penjelasannya dalam setiap penugasan yang diberikan).
Setiap penugasan terstruktur akan dilengkapi dengan rubrik penilaian yang merupakan panduan penskoran dari setiap komponen penilaian dalam penugasan tersebut
Berdiskusi atau bertanya melalui forum yang tersedia jika mengalami kendala terkait pemahaman materi yang diberikan

Pustaka (Referensi):

Beberapa bahan kajian yang menjadi sumber referensi dalam mata kuliah ini adalah sebagai berikut:

Pustaka Utama:

Goodfellow, I; Bengio,Y.; Courville, A (2016). Deep Learning. MIT Press yang dapat diakses pada https://www.deeplearningbook.org/

Pustaka Pendukung:

FA Hermawati, H Tjandrasa, N Suciati (2018) Combination of aggregated channel features (ACF) detector and faster R-CNN to improve object detection performance in fetal ultrasound images. Int. J. Intell. Eng. Syst, Vol.11, No.6, pp:65-74 link: https://www.inass.org/2018/2018123107.pdf
Fajar Astuti Hermawati, Elsen Ronando, and Dwi Harini Sulistyawati. 2024. Impact of Training Data Quality on Deep Speckle Noise Reduction in Ultrasound Images. In Proceedings of the 2023 7th International Conference on Computational Biology and Bioinformatics (ICCBB '23). Association for Computing Machinery, New York, NY, USA, 61–65. https://doi.org/10.1145/3638569.3638578
Hardiansyah, B., Lu, Y. Single image super-resolution via multiple linear mapping anchored neighborhood regression. Multimed Tools Appl 80, 28713–28730 (2021). https://doi.org/10.1007/s11042-021-11062-0

Dosen Pengampu:

Baiklah adik-adik mahasiwa, sebelum kita belajar lebih jauh, alangkah baiknya jika kalian mengenal bapak ibu dosen yang memberikan materi-materi pada mata kuliah ini.

	Nama: Dr. Fajar Astuti Hermawati, S.Kom., M.Kom.
	No HP: 081331853372
	E-mail: fajarastuti@untag-sby.ac.id
	Nama: Bagus Hardiansyah, S.Kom.,M.Si
	No HP: 0895-8080-65300
	E-mail: bagushardiansyah@untag-sby.ac.id
	Nama: Andrey Kartika Widhy H., S.Kom., M.Kom
	No. HP: 0856-4863-4471
	E-mail: andreyhapantenda@untag-sby.ac.id

Nah adik-adik jangan sungkan menghubungi kami jika ada yang ingin ditanyakan. Selain itu segala bentuk komunikasi dapat dilakukan melalui forum yang ada di LMS serta pengumuman-pengumuman yang ada dibawah ini. RPS lengkap dan komponen penilaian dapat juga dilihat dibawah. Selamat mengikuti pembelajaran ini.

Pengumuman Forum
Jika ada hal-hal yang perlu kalian ketahui dan belum ditulis dalam LMS ini, akan disampaikan dalam forum pengumuman ini. Jangan lupa mengeceknya secara berkala.
Rencana Pembelajaran Semester (RPS) File
Dokumen ini adalah Rencana Pembelajaran Semester (RPS) untuk mata kuliah Deep Learning di Universitas 17 Agustus 1945 Surabaya, yang mencakup tujuan pembelajaran, struktur materi, metode evaluasi, dan metode pengajaran terkait topik seperti jaringan saraf tiruan, konvolusi, dan pemodelan generatif, serta penerapan praktis menggunakan TensorFlow.
Komposisi Penilaian & Evaluasi File
Penilaian terbagi menjadi tiga basis nilai yaitu:

Kognitif / Pengetahuan yang mempunyai bentuk soal pilihan ganda maupun isian dalam sebuah kuis atau ETS serta pemahaman prinsip-prinsip algoritma pemelajaran dalam (deep learning) dalam bentuk penugasan terstruktur

Aktifitas partisipatif dalam bentuk presentasi dan kerjasama kelompok dalam menyelesaikan permasalahan dunia nyata dalam proyek akhir

Hasil proyek berupa program yang didemostrasikan dan dipresentasikan dalam seminar hasil

Prosentase dari setiap jenis penilaian dapat dilihat pada file berikut.

1. Konsep Dasar Deep Learning
Assalamu'alaikum wr wb

Selamat pagi adik-adik mahasiswa.... Selamat datang di kelas mata kuliah Deep Learning. Selama satu semester ini kita akan belajar semua yang berhubungan dengan algoritma deep learning. Harapannya, materi pada mata kuliah ini akan membantu adik-adik dalam menyusun topik tugas akhir. Penjelasan mengenai Rencana Pembelajaran dan bagaimana evaluasinya, dapat dibaca pada dokumen RPS terlampir. Pada pertemuan pertama ini, kita akan belajar mengenai konsep dari deep learning, sejarah serta aplikasi-aplikasi terkini yang menerapkan algoritma deep learning. Selamat belajar...

Apa tujuan dari pembelajaran ? (sub-CPMK):

Sub-CPMK-1: Mampu mengidentifikasi konsep dasar pemelajaran mendalam, konsep matematika dan mesin pemelajar yang mendasari prinsip-prinsip algoritma cerdas serta menentukan karakteristik permasalahan yang dapat diselesaikan dengan algoritma deep learning [C2, A3]
Sedangkan yang menjadi indikator adalah:
Ketepatan mengidentifikasi konsep dasar deep learning dan hubungannya dengan teknologi AI lainnya dan aplikasi-aplikasinya

Ketepatan menentukan karakteristik permasalahan yang dapat diselesaikan dengan algoritma deep learning dengan memperhatikan etika akademik (anti plagiasi)

Apa yang akan dipelajari:

Yuk simak penjelasannya dalam video berikut ini.

Materi yang akan dipelajari dibagi ke dalam tiga sub materi yaitu

Deep Learning Application

Aplikasi-aplikasi yang berbasis pada pendekatan deep learning di sekitar kita, seperti Chat GPT, Dall-e, Fake voice, Fake Video, dsb

AI & Deep Learning

Apa itu Deep Learning dan apa hubungannya dengan AI

Why Deep Learning

Pentingnya deep learning dan dampaknya pada teknologi masa depan

Metode Pembelajaran

Pengantar & Eksplorasi : Gambaran Tugas/Proyek, Penilaian, Substansi dan Pembagian Kelompok

Yuk kita belajar materi dalam video interaktif dan kerjakan soal-soal kuis yang ada di masing-masing video materi.

Jangan lupa mengunduh paparan materi minggu pertama.

Setelah kalian memahaminya, kerjakan Kuis secara keseluruhan. Kuis ini dapat dikerjakan jika adik-adik sudah menyelesaikan (menonton sampai selesai dan menjawab kuis) seluruh video interaktif.

Penugasan Terstruktur 1 (Kelompok): mahasiswa bereksplorasi memilih beberapa bacaan dalam daftar bacaan sebagai pemantik dan memilih satu isu pilihan yang paling menarik

Diskusikan jika ada hal-hal yang belum kalian fahami pada forum diskusi yang disediakan. Ayo berikan juga pendapat kalian pada forum diskusi.
- Video & Materi
- 1.1. Deep Learning Application Interactive Content
  Sebelum memulai materi yang sebenarnya, mari kita melihat dan menengok aplikasi-aplikasi yang berbasis pada pendekatan deep learning di sekitar kita yang sebagian besar sudah kita kenal dan kita gunakan, seperti Chat GPT, Dall-e, Fake voice, Fake Video, dsb. Yuk kita simak penjelasan dalam video ini:
  
  1:37 - Contoh video Deep Fake yang meniru suara Barack Obama menggunakan aplikasi Invideo AI.
  
  2:44 - Penjelasan proses pembuatan video dengan Invideo AI, termasuk mengumpulkan suara, membuat naskah, dan menghasilkan video.
  
  4:28 - Contoh lain dari aplikasi AI seperti ChatGPT dari OpenAI untuk teks, dan DALL-E untuk gambar.
  
  4:39 - ada soal yang harus dikerjakan
  
  7:21 - Pengenalan aplikasi Whisper untuk transkripsi suara ke teks.
  
  8:29 - ada soal yang harus dikerjakan.
- 1.2. Hubungan AI & Deep Learning Interactive Content
  Materi yang disampaikan selama mata kuliah ini akan memberikan fondasi penting dari teknologi yang ada. Dengan dasar-dasar tersebut, kalian dapat merancang model deep learning baru dan menciptakan masa depan di bidang ini. Mari kita mulai dengan memahami fondasinya, yaitu Apa itu Deep Learning dan apa hubungannya dengan AI?
  
  0:15: AI didefinisikan sebagai sistem komputer yang meniru kecerdasan manusia, dengan pembelajaran mesin (machine learning) sebagai bagian darinya.
  
  0:55: Deep Learning menggunakan jaringan saraf berlapis untuk memproses data.
  
  1:16: Perkembangan Deep Learning sejak 2010, memungkinkan tugas-tugas kompleks seperti pengenalan gambar.
  
  3:00: AI dapat membuat generalisasi dari data untuk mengenali pola baru.
  
  3:39: ada soal yang harus dikerjakan
  
  5:30: AI melakukan penalaran dengan logika untuk menyelesaikan masalah.
  
  8:13: AI memecahkan masalah dengan menerapkan algoritma untuk solusi efektif.
  
  10:08: AI memahami bahasa melalui Natural Language Processing (NLP).
- 1.3. Why Deep Learning Interactive Content
  Video ini menjelaskan pentingnya deep learning dan dampaknya pada teknologi masa depan.
  
  0:53 - Ada dua pendekatan AI: berbasis knowledge yang menggunakan informasi terstruktur, dan learning yang memungkinkan sistem belajar dari data.
  
  2:04 - Pendekatan knowledge-based mencakup representasi data, akuisisi knowledge, inference engine, dan user interaction.
  
  3:28 - Ada soal yang harus dikerjakan
  
  5:43 - Machine learning termasuk supervised, unsupervised, semi-supervised, dan reinforcement learning, dengan fokus deep learning pada klasifikasi.
  
  7:51 - Dalam deep learning, ekstraksi fitur otomatis menggantikan proses manual dalam klasifikasi data.
  
  12:41 - Perkembangan deep learning dimulai dari 1952 dengan algoritma seperti backpropagation, hingga teknologi modern seperti deep convolutional neural networks.
  
  15:32 - Kemajuan deep learning didorong oleh pertumbuhan big data, hardware seperti GPU, dan alat seperti TensorFlow.
  
  18:01 - Ukuran dataset dan jumlah neuron terus meningkat, dengan error rate klasifikasi menurun secara signifikan.
- Materi 1: Konsep Dasar Deep Learning File
  Materi dalam PPT tersebut membahas konsep dasar, perkembangan, dan aplikasi deep learning, termasuk teknik representasi data, jaringan saraf tiruan, serta penerapan metode seperti TensorFlow dalam menyelesaikan masalah komputasi yang kompleks.
- Kuis dan Penugasan
- Kuis 1: Konsep Dasar Deep Learning Quiz
  Restricted Not available unless:
  The activity 1.1. Deep Learning Application is marked complete
  The activity 1.2. Hubungan AI & Deep Learning is marked complete
  The activity 1.3. Why Deep Learning is marked complete
  
  Kuis ini berisi 10 soal pilihan berganda yang harus diselesaikan dalam 30 menit. Kalian mempunyai 2 kali kesempatan untuk melampaui passing grade 60. Nilai akhir adalah skor tertinggi dari 2 kali percobaan. Persiapkan baik-baik dengan mempelajari materi yang disajikan diatas sebelum memulai kuis. Selamat mengerjakan...
- Penugasan 1: Meringkas literatur Deep Learning Assignment
  Penugasan terstruktur 1 merupakan tugas kelompok untuk mencari topik yang merupakan permasalahan nyata dan mempunyai karakteristik yang bisa diselesaikan dengan pendekatan deep learning, kemudian mencari literatur pada jurnal bereputasi sesuai dengan tema yang dipilih, dan menelaahnya sehingga dapat merumuskan pengembangan ide untuk topik proyek akhir
- Rubrik Penilaian Penugasan 1 File
  Rubrik ini memberikan panduan besaran skor dari setiap komponen penilaian dalam penugasan terstruktur 1, yang meliputi aspek dan bobot:
  
  Kesesuaian tema (30%)
  
  Kelengkapan informasi (30%)
  
  Kesesuaian format (20%)
  
  Anti-plagiasi (20%)
  
  Ayo maksimalkan skor kalian dengan memperhatikan rubrik penilaian ini.
- Diskusi
- Diskusi Konsep Dasar Deep Learning Forum
  Mari kita diskusikan apa itu deep learning menurut adik-adik mahasiswa. Tuliskan pemikiran kalian secara singkat, jelas dengan kalimat sendiri dan tidak perlu bertanya ke chat-GPT ya.. .
2. Dasar Matematika Untuk Mesin Pemelajar
Assalamu'alaikum wr wb

Selamat pagi adik-adik mahasiswa. Pada minggu kedua ini kita akan mereview kembali beberapa materi mengenai aljabar linier dan matriks, probabilistik, metode numerik yang akan banyak kita temui pada algoritma-algoritma machine learning dan deep learning, serta mengingat kembali apa itu machine learning dan berbagai jenisnya. Selamat belajar...

Apa tujuan dari pembelajaran pertemuan 2 ? (sub-CPMK):

Sub-CPMK-1: Mampu mengidentifikasi konsep dasar pemelajaran mendalam, konsep matematika dan mesin pemelajar yang mendasari prinsip-prinsip algoritma cerdas serta menentukan karakteristik permasalahan yang dapat diselesaikan dengan algoritma deep learning [C2, A3]

Adapun Indikator dari pembelajaran kali ini adalah:
Ketepatan dalam mengidentifikasi permasalahan komputasi matematika untuk pembelajaran mesin

Ketepatan mengidentifikasi konsep pembelajaran mesin dasar

Apa yang akan kita pelajari?

Pada pertemuan ini kita akan mereview kembali materi mengenai:

Aljabar Linier

Perkalian Matriks & Vektor

Determinan

Nilai Eigen dan Vektor Eigen

Statistika & Probabilitas

Random Variable

Probability Mass Function (PMF)

Statistika Marginal

Probabality Density Function

Statistika Variansi dan Kovariansi

Gaussian Distribution

Komputasi Numerik

Gradient-Based Optimization

Jacobian Matrices

Hessian Matrices

Mesin Pemelajar (Machine Learning)

Dasar Mesin Pemelajar (Machine Learning)

Yuk simak penjelasan dari Bapak Bagus Hardiansyah mengenai apa yang akan kita pelajari

Dalam video tersebut selain membahas capaian pembelajaran: memahami konsep matematika dasar untuk algoritma deep learning, Pak Bagus juga menjelaskan tiga bahan kajian: Linear Algebra, Probability and Information Theory, dan Numerical Computation sebagai pengantar, dengan rincian sebagai berikut:

0:43: Linear Algebra:

Skalar: bilangan tunggal (contoh: bilangan bulat, real, rasional).

Vektor: array satu dimensi dengan elemen yang bisa berupa real, biner, atau integer.

Penjelasan tentang indeks vektor dan himpunan.

2:52: Probability and Information Theory:

Pentingnya probabilitas dalam mengukur ketidakpastian.

Probabilitas sebagai representasi tingkat kepercayaan (contoh: diagnosis medis).

Dua jenis probabilitas: frequenstist dan Bayesian.

Perbandingan dengan logika formal.

4:40: Numerical Computation:

Algoritma yang memecahkan masalah matematika melalui metode iteratif.

Fokus pada optimisasi dan penyelesaian sistem persamaan linear.

Metode Pembelajaran

Emphatize: mahasiswa belajar melihat dari sudut pandang keilmuan matematika sebagai dasar dari metode-metode dalam DL.

Nah, setelah mendengar penjelasan bapak Bagus, ayo kita review kembali materi-materi diatas melalui tayangan video interaktif dan kerjakan soal-soal kuis yang ada di masing-masing video materi.

Jangan lupa mengunduh paparan materi minggu ini.

Setelah kalian memahaminya, kerjakan Kuis secara keseluruhan. Kuis ini dapat dikerjakan jika adik-adik sudah menyelesaikan (menonton sampai selesai dan menjawab kuis) seluruh video interaktif.

Penugasan Terstruktur 2 (Kelompok): Mahasiswa belajar melihat sudut pandang matematika dan mengidentifikasi permasalahan komputasi matematika dan pembelajaran mesin.

Diskusikan jika ada hal-hal yang belum kalian fahami pada forum diskusi yang disediakan. Ayo berikan juga pendapat kalian pada forum diskusi.
- 2.1. Aljabar Linier
- 2.1.1. Perkalian Matriks & Vektor Interactive Content
  Video ini menjelaskan dasar perkalian matriks, aplikasinya, serta kombinasi linear dan penggunaannya dalam pengenalan wajah
  
  0:17 - Pentingnya Aljabar Linear: Digunakan untuk berbagai operasi matematika seperti dot product, korelasi, regresi, analisis komponen utama, dan lainnya.
  
  1:16 - Cara Perkalian Matriks: Baris dikalikan dengan kolom, hasilnya di baris dan kolom yang sesuai.
  
  2:18 - Contoh Perkalian Matriks: Matriks 3x2 dijelaskan melalui contoh elemen-elemen baris dan kolom.
  
  2:37 - Perkalian Matriks dan Vektor: Dihasilkan matriks baru, contohnya array 3x1.
  
  3:39 - ada soal pilihan ganda yang harus kalian kerjakan.
  
  3:59 - Notasi Matriks: Matriks berukuran m * n dengan baris dan kolom yang sesuai.
  
  4:43 - Syarat Perkalian Matriks: Jumlah kolom matriks pertama harus sama dengan jumlah baris matriks kedua.
  
  5:36 - Kombinasi Linear dalam Matriks: Setiap elemen dikalikan dengan vektor menghasilkan kombinasi linear.
  
  7:26 - Aplikasi dalam Pengolahan Citra: Matriks digunakan dalam sistem pengenalan wajah melalui piksel.
- 2.1.2. Determinan Interactive Content
  Penjelasan mencakup definisi determinan, balikan matriks, serta rumus perhitungan determinan pada matriks 2x2 dan 3x3, yang terdiri dari:
  
  0:10 - Materi: Determinan Matriks.
  
  0:24 - Definisi determinan: Untuk matriks A ukuran n * n, dilambangkan dengan det(A).
  
  0:47 - Matriks balikan (invers): A dan B adalah balikan jika A * B = matriks identitas.
  
  1:48 - Menghitung invers matriks 2x2: A⁻¹ = 1/(ad - bc), dengan syarat ad - bc ≠ 0. Jika ad - bc = 0, matriks tidak dapat dibalik.
  
  3:20 - Rumus determinan matriks 2x2: A11 * A22 - A12 * A21.
  
  3:56 - ada soal pilihan ganda yang harus kalian kerjakan.
  
  3:59 - Determinan matriks 3x3: Dihitung dengan aturan Sarrus.
- 2.1.3. Nilai Eigen dan Vektor Eigen Interactive Content
  Video ini akan menjelajahi konsep penting dari eigenvalue dan eigenvektor, termasuk definisi, contoh, diagonalization, persamaan karakteristik, serta aplikasinya dalam berbagai bidang ilmu, yang terdiri dari:
  
  0:24 - Definisi Eigenvalue dan Eigenvektor: Persamaan $AX = \lambda X$ menggambarkan bahwa $A$ adalah matriks, $X$ adalah vektor, dan $\lambda$ adalah skalar. Vektor yang tidak nol $X$ disebut eigenvektor dan skalar $\lambda$ disebut eigenvalue.
  
  1:03 - Asal Kata Eigen: Berasal dari bahasa Jerman yang berarti "asli" atau "karakteristik".
  
  1:50 - Contoh Eigenvalue dan Eigenvektor: Contoh diberikan dengan matriks 2x2 dan nilai eigen $\lambda = 3$ .
  
  2:47 - Diagonalisasi Matriks: Menghitung eigenvalue dan eigenvektor melalui proses diagonalisasi, dengan contoh matriks n x n.
  
  3:55 - Persamaan Karakteristik: Persamaan $\det(\lambda I - A) = 0$ digunakan untuk menghitung eigenvalue.
  
  4:12 - ada soal yang harus kalian kerjakan
  
  4:44 - Sistem Persamaan Linear Homogen: Dijelaskan bahwa sistem persamaan ini bisa memiliki solusi trivial (nol) atau non-trivial.
  
  5:52 - Aplikasi Eigenvalue dan Eigenvektor: Aplikasi dalam fisika, mekanika kuantum, dinamika populasi, grafika komputer, dan sistem pendukung keputusan ekonomi.
- Materi 2.1. Math For ML - Aljabar Linier File
  PPT tersebut membahas konsep aljabar linier, mencakup perkalian matriks dan vektor, determinan, serta eigenvalues dan eigenvectors, yang relevan untuk mendukung pemahaman dalam machine learning dan deep learning.
- 2.2. Statistika & Probabilitas
- 2.2.1. Random Variable Interactive Content
  Penjelasan berfokus pada konsep dasar variabel acak, distribusi probabilitas diskrit dan kontinu, serta fungsi probabilitas:
  
  0:18 - Variabel acak: Nilai acak yang diwakili oleh notasi kecil (x).
  
  0:49 - Contoh variabel diskrit dan kontinu: Diskrit seperti jumlah hari hujan, kontinu seperti volume hujan.
  
  1:14 - ada soal yang harus kalian kerjakan.
  
  1:17 - Notasi variabel acak: X besar mewakili variabel acak, x kecil adalah nilainya.
  
  1:45 - Variabel acak diskrit: Nilai-nilai variabel acak diskrit diikuti aturan bahwa total probabilitasnya adalah 1.
  
  2:24 - Distribusi probabilitas kumulatif diskrit: Probabilitas variabel acak ≤ nilai tertentu.
  
  3:00 - Distribusi probabilitas variabel acak: Melibatkan frekuensi relatif.
  
  3:45 - Variabel random kontinu: Probabilitas terkait dengan jumlah data dalam rentang tertentu.
  
  4:40 - Fungsi PDF dan CDF: Dua fungsi penting dalam probabilitas.
- 2.2.2. Probability Mass Function (PMF) Interactive Content
  Video tersebut membahas tentang Probability Mass Function (PMF) untuk variabel acak diskrit, termasuk definisi, contoh, dan cara menghitung serta memvisualisasikan distribusi probabilitas.
  
  0:19 - Definisi variabel acak diskrit dengan rentang nilai X1 hingga XN, yang menyatakan nilai yang mungkin diambil oleh variabel acak.
  
  1:00 - Penjelasan bahwa probabilitas nilai tertentu dari variabel acak dinyatakan dalam PMF.
  
  2:06 - Definisi PMF sebagai ukuran probabilitas untuk variabel acak diskrit dengan contoh penulisan formula PMF.
  
  3:23 - Contoh pelemparan koin dua kali dengan hasil ruang sampel (HH, HT, TH, TT) dan jumlah sisi kepala sebagai variabel acak diskrit.
  
  4:29 - Perhitungan PMF dari contoh pelemparan koin dua kali dan analisis probabilitas.
  
  5:00 - Penjelasan grafik visualisasi PMF yang menunjukkan distribusi nilai 0, 1, dan 2 dari variabel acak diskrit.
  
  6:50 - Kesimpulan tentang cara menemukan distribusi probabilitas dari variabel acak diskrit dengan menggunakan PMF.
  
  7:01 - Penjelasan tentang fungsi distribusi kumulatif (CDF) sebagai kelanjutan dari PMF.
- 2.2.3. Statistika Marginal Interactive Content
  Video ini mengulas konsep dasar probabilitas bersama, marginal, bersyarat, dan teorema Bayes dengan penjelasan dan contoh yang konkret.
  
  0:17 – Pembahasan mengenai Joint Probability Mass Function (PMF) dengan dua variabel acak diskrit, X dan Y.
  
  1:15 – Penjelasan tentang ruang lingkup (range) dari X dan Y yang ditandai dengan rxy, di mana X dan Y lebih besar dari 0.
  
  2:04 – Perhitungan Joint Probability dari X dan Y melalui contoh-contoh rumus dan penggunaan elemen-elemen pada tabel probabilitas.
  
  4:19 – Pembahasan Marginal PMF, yang diperoleh dari joint PMF X dan Y. Marginal PMF dari X dihitung dengan menjumlahkan semua probabilitas Y pada setiap nilai X.
  
  6:01 – Contoh soal dengan tabel Joint PMF. Dicari beberapa probabilitas seperti P(X = 0 dan Y = 1), Marginal PMF untuk X dan Y, serta dicari apakah X dan Y independen.
  
  7.06 : ada soal yang harus dikerjakan
  
  9:00 – Pembahasan apakah X dan Y independen atau tidak, dengan menggunakan rumus kondisional dan memeriksa apakah joint PMF X dan Y setara dengan hasil perkalian marginal PMF masing-masing.
  
  10:00 – Memasuki Conditional Probability dan Independence. Definisi dari probabilitas bersyarat diperkenalkan, dengan rumus P(A|B) = P(A ∩ B) / P(B), jika P(B) > 0.
  
  12:42 - 12.52: ada soal yang harus dikerjakan
  
  13:00 – Conditional PMF diperkenalkan melalui contoh sederhana, seperti lemparan dadu untuk menghitung probabilitas bersyarat dari variabel acak X.
  
  15:00 – Pembahasan tentang Teorema Bayes. Diberikan contoh konkrit dengan tiga orang dosen yang dicalonkan menjadi rektor, dan digunakan Teorema Bayes untuk menghitung probabilitas kondisi setelah SPP diketahui naik.
- 2.2.4.Probability Density Function Interactive Content
  Materi dalam video ini menjelaskan tentang Probability Density Function (PDF) untuk variabel acak kontinu, termasuk definisi, syarat-syaratnya, dan contoh distribusi seragam, di mana peluang diwakili oleh luas di bawah kurva fungsi.
  
  0:15 - Pengertian PDF: PDF digunakan untuk variabel acak kontinu, dinyatakan sebagai kurva kontinu. Peluang diwakili oleh luas di bawah kurva.
  
  1:00 - ada soal yang harus kalian kerjakan
  
  1:00 - Syarat PDF:
  
  $f(x) \geq 0$ .
  
  Integral dari minus tak hingga sampai positif tak hingga sama dengan 1.
  
  Peluang dalam interval $[a, b]$ dihitung dengan integral PDF.
  
  1:48 - Peluang Titik Tunggal: Peluang pada titik tunggal untuk variabel acak kontinu adalah 0.
  
  2:25 - Contoh: Distribusi seragam, dengan peluang di luar interval $[a, b]$ adalah 0.
- 2.2.5. Statistika Variansi dan Kovariansi Interactive Content
  Materi dalam video ini menekankan pentingnya variansi dan kovariansi dalam menggambarkan sebaran data dan hubungan antar variabel dalam statistika.
  
  0:05: Pembahasan tentang variansi dan kovariansi dalam statistika.
  
  0:15: Rataan menggambarkan pusat data, namun variansi diperlukan untuk menunjukkan sebaran data.
  
  0:53: Contoh perbandingan dua populasi dengan rataan sama, tapi variansi berbeda; populasi dengan variansi lebih besar memiliki data lebih tersebar.
  
  2:30: Rumus variansi untuk variabel acak diskrit dan kontinu.
  
  3:43: Variansi selalu positif, dan simpangan baku adalah akar kuadratnya.
  
  9:02: Kovariansi menunjukkan hubungan antara dua variabel acak, positif jika bergerak searah dan negatif jika berlawanan.
  
  11:14: ada soal yang harus kalian kerjakan
  
  12:02: Contoh perhitungan variansi dan kovariansi.
- 2.2.6. Gaussian Distribution Interactive Content
  Video ini memberikan gambaran singkat mengenai konsep distribusi seragam kontinu dan distribusi normal serta metode perhitungan yang relevan. Ada dua poin penting yang dibahas yaitu:
  
  Distribusi Seragam Kontinu
  
  0:05: Materi tentang distribusi seragam kontinu.
  
  0:18: Fungsi padat peluang untuk variabel acak $X$ dalam interval $[a, b]$ adalah $\frac{1}{b - a}$ jika $X$ dalam interval, dan 0 jika tidak.
  
  1:24: Contoh: Jika waktu rapat $X$ seragam dalam 0-4 jam, fungsi densitasnya $\frac{1}{4}$ . Peluang rapat ≥ 3 jam adalah 0.25.
  
  2:14: Rataan dan variansi distribusi seragam kontinu: $\frac{a + b}{2}$ dan $\frac{(b - a)^2}{12}$ , masing-masing.
  
  Distribusi Normal (Gausian)
  
  3:01: Distribusi normal berbentuk lonceng. Fungsi padat peluang: $\frac{1}{\sigma \sqrt{2 \pi}} e^{-\frac{(x - \mu)^2}{2\sigma^2}}$ .
  
  3.06 : ada soal yang harus kalian kerjakan
  
  4:45: Jika $\mu = 30$ dan $\sigma = 8$ , kurva normal dapat dihitung dan divisualisasikan.
  
  5:20: Kurva normal simetris dengan modus di $\mu$ . Area di bawah kurva adalah 1.
  
  7:01: Tabel Z digunakan untuk menghitung area di bawah kurva untuk batas tertentu, seperti $Z = 1,84$ dan $Z = -1,97$ .
  
  9.05: ada soal yang harus kalian kerjakan
- Materi 2.2. Math for ML - Probabilitas File
  Materi dalam PPT tersebut membahas konsep probabilitas dan teori informasi, termasuk variabel acak, fungsi distribusi peluang, probabilitas kondisional, variansi dan kovariansi, serta distribusi Gaussian, yang relevan untuk mendukung penerapan machine learning.
- 2.3. Komputasi Numerik
- 2.3.1. Gradient Based Optimization Interactive Content
  Video ini menjelaskan konsep dan teknik gradient based optimization, termasuk metode penurunan gradien untuk meminimalkan fungsi, mengidentifikasi titik kritis, serta penerapannya dalam fungsi multivariate dan pembelajaran mendalam, dengan rincian:
  
  0:03 : Pengenalan tentang gradien based optimisation dalam algoritma pembelajaran mendalam.
  
  0:27 : Optimasi bertujuan meminimalkan fungsi dengan mengubah variabel $X$ . Fungsi yang dimaksud dapat berupa fungsi tujuan, biaya, atau kesalahan.
  
  1:47 : Turunan fungsi ( $f'$ ) menunjukkan perubahan pada output akibat perubahan kecil pada input. Teknik penurunan gradien digunakan untuk mencari minimum fungsi.
  
  2:30 : Algoritma gradient descent menggunakan turunan untuk menuju minimum fungsi. Titik kritis di mana turunan sama dengan nol dapat berupa minimum lokal, maksimum lokal, atau titik saddle.
  
  2.35 : Ada soal yang harus kalian kerjakan
  
  3:55 : Contoh iterasi gradient descent dengan fungsi $f(x) = \frac{1}{2}x^2$ . Proses iteratif dengan learning rate untuk mendekati minimum global.
  
  5:24 : Iterasi menunjukkan proses pembaruan nilai $x$ hingga mendekati titik minimum global $x = 0$ .
  
  7:14 : Jenis titik kritis: minimum lokal, maksimum lokal, dan titik saddle. Minimum global adalah nilai terendah absolut dari fungsi.
  
  8:43 : Gradient adalah vektor turunan parsial untuk fungsi multivariate. Titik kritis di mana gradien sama dengan nol.
  
  10:44 : Turunan arah menunjukkan perubahan fungsi dalam arah tertentu. Metode penurunan gradien paling curam mencari arah gradien negatif.
  
  12:31 : Penurunan gradien dengan ukuran langkah atau pencarian garis. Dalam beberapa kasus, solusi langsung dapat digunakan jika gradien sama dengan nol.
- 2.3.2.Jacobian Matrices Interactive Content
  Video ini membahas tentang matriks dalam konteks kalkulus multivariabel, khususnya gradien, jacobian, dan hessian:
  
  0:19: Dalam kalkulus multivariabel, matriks sering digunakan untuk merepresentasikan konsep fungsi dari beberapa variabel.
  
  0:40: Gradien adalah vektor yang berisi turunan parsial dari fungsi multivariabel, menunjukkan arah laju perubahan tercepat di suatu titik. Di ruang dimensi 3, gradien sering diwakili sebagai vektor tegak lurus terhadap kontur permukaan fungsi.
  
  1:41: Jacobian adalah matriks yang berisi semua turunan parsial dari fungsi vektor. Ini menggambarkan bagaimana perubahan kecil pada input mempengaruhi output. Jakobian penting dalam analisis transformasi koordinat dan teorema perubahan variabel dalam integral.
  
  2:36: Contoh perhitungan matriks jakobian diberikan untuk fungsi $f(x, y) = (f_1(x, y), f_2(x, y))$ pada titik (1,2). Turunan parsial dihitung dan matriks jakobian pada titik tersebut ditemukan sebagai $\begin{bmatrix} 16 & 12 \\ -4 & 18 \end{bmatrix}$ .
  
  6.10: Ada soal yang harus kalian kerjakan
- 2.3.3. Hessian Matrices Interactive Content
  Materi kali ini melanjutkan komputasi numerik pada Hesian, yang merupakan matriks turunan parsial kedua dari fungsi skalar multivariabel, yang terdiri dari:
  
  0:12 : Hesian digunakan untuk menganalisis kurva lokal di sekitar titik kritis, membantu menentukan apakah titik tersebut minimum, maksimum, atau titik pelana dalam optimasi.
  
  1:03 : Contoh perhitungan Hesian dari fungsi $f(x,y) = y^4 + x^3 + 3x^2 + 4y^2 - 4xy - 5y + 8$ pada titik (1,0), dihitung melalui turunan parsial pertama dan kedua.
  
  3:04 : Hasil perhitungan menghasilkan matriks Hesian $\begin{bmatrix} 12 & -4 \\ -4 & 8 \end{bmatrix}$ pada titik (1,0).
  
  5:19 : Perhitungan gradien dari fungsi lain $f(x,y) = 5x^2 + 3xy + 3y^3$ .
  
  6:13 : Penjelasan tentang determinan Jakobian dan aplikasinya dalam transformasi fungsi vektor, serta perhitungan determinan Hesian.
  
  9:12 : Ringkasan bahwa gradien, Jakobian, dan Hesian penting untuk analisis dan optimasi fungsi multivariabel.
  
  10.55: ada soal yang harus kalian kerjakan
- Materi 2.3. Math For ML - Komputasi Numerik File
  File ini berisi materi tentang komputasi numerik dalam pembelajaran mesin, yang mencakup optimisasi berbasis gradien, matriks Jacobian, dan matriks Hessian, serta isu-isu numerik seperti overflow, underflow, dan kondisi buruk pada implementasi algoritma deep learning.
- 2.4. Dasar Mesin Pemelajar (Machine Learning)
- 2.4. Dasar Mesin Pemelajar Interactive Content
  Video ini dimulai dengan pembahasan dasar tentang machine learning, menjelaskan bahwa untuk memahami deep learning, penting untuk menguasai prinsip dasar ML. Machine learning menggunakan algoritma untuk belajar dari data, dan inti dari "belajar" menurut Mitchel (1997) adalah ketika kinerja program meningkat dari pengalaman. Beberapa pokok bahasan adalah sebagai berikut:
  
  0:05 - Pengenalan machine learning dan deep learning.
  
  0:24 - Definisi machine learning dari Tom Mitchell: belajar dari pengalaman untuk meningkatkan kinerja.
  
  1:54 - Contoh robot belajar berjalan.
  
  3:01 - Pengalaman supervised vs unsupervised dan dataset iris.
  
  4:42 - Hubungan AI, machine learning, dan deep learning.
  
  6:01 - Perbedaan machine learning dan pemrograman tradisional.
  
  7:01 - Siklus machine learning: dari data hingga penerapan.
  
  8:48 - Penjelasan supervised dan unsupervised learning.
  
  12:00 - Reinforcement learning: agen belajar dari imbalan/hukuman.
  
  13:35 - Regresi, klasifikasi, klasterisasi, dan asosiasi.
  
  17:02 - Overfitting dan underfitting.
- Materi 2.4. Dasar Mesin Pemelajar File
  File ini menjelaskan dasar-dasar pembelajaran mesin, termasuk konsep tugas, ukuran kinerja, pengalaman, serta perbedaan antara pembelajaran terawasi, tidak terawasi, dan penguatan, dengan fokus pada prinsip-prinsip yang mendasari algoritma pembelajaran mesin.
- Kuis dan Penugasan
- Kuis 2 : Matematika Untuk Mesin Pemelajar Quiz
  Restricted Not available unless:
  The activity 2.1.1. Perkalian Matriks & Vektor is marked complete
  The activity 2.2.2. Probability Mass Function (PMF) is marked complete
  The activity 2.2.3. Statistika Marginal is marked complete
  The activity 2.2.4.Probability Density Function is marked complete
  The activity 2.2.5. Statistika Variansi dan Kovariansi is marked complete
  The activity 2.2.6. Gaussian Distribution is marked complete
  The activity 2.1.2. Determinan is marked complete
  The activity 2.1.3. Nilai Eigen dan Vektor Eigen is marked complete
  The activity 2.2.1. Random Variable is marked complete
  The activity 2.3.1. Gradient Based Optimization is marked complete
  The activity 2.3.2.Jacobian Matrices is marked complete
  The activity 2.3.3. Hessian Matrices is marked complete
  The activity 2.4. Dasar Mesin Pemelajar is marked complete
  
  Kuis ini berisi 10 soal pilihan berganda yang harus diselesaikan dalam 30 menit. Kalian mempunyai 2 kali kesempatan untuk melampaui passing grade 60. Nilai akhir adalah skor tertinggi dari 2 kali percobaan. Persiapkan baik-baik dengan mempelajari materi yang disajikan diatas sebelum memulai kuis. Selamat mengerjakan...
- Penugasan 2: Identifikasi permasalahan matematika dan machine learning Assignment
  Penugasan 2 untuk mengidentifikasi persamaan matematika meliputi jenis dan domain dari setiap variable dalam jurnal bereputasi internasional yang mendukung topik yang dipilih dalam penugasan 1. Selain itu juga untuk mengidentifikasi permasalahan dalam machine learning yang meliputi jenis tasknya, experience (data yang digunakan) serta bagaimana mengukur performance dari model dalam artikel tersebut
- Rubrik Penilaian Penugasan 2 File
  Rubrik ini menjadi panduan dalam menilai penugasan 2 yang meliputi aspek serta bobot:
  
  Kesesuaian artikel yang dipilih (20%)
  
  Identifikasi jenis variabel (15%)
  
  Identifikasi domain variable (15%)
  
  Identifikasi task (10%)
  
  Identifikasi experience (20%)
  
  Identifikasi performance (20%)
- Diskusi
- Diskusi Matematika Untuk Mesin Pemelajar Forum
  Jika ada pertanyaan dan permasalahan yang tidak kalian fahami, silakan bertanya pada forum ini.
3. Deep Feedforward Networks
Assalamu'alaikum wr wb

Adik-adik mahasiswa... Hari ini kita kembali mengingat materi mengenai jaringan syaraf tiruan yang pernah kita pelajari pada matakuliah yang membahas tentang machine learning atau mesin pemelajar. Pada materi hari ini, kita menggunakan rangkaian neuron yang lebih dalam pada pembelajaran deep. Selamat belajar...

Apa tujuan dari pembelajaran pertemuan ini ? (sub-CPMK):

Sub-CPMK-2: Mampu menyelesaikan masalah komputasi kompleks dengan menerapkan prinsip -prinsip jaringan syaraf tiruan dalam (deep feedforward network) serta regularisasi dan optimisasi pembelajaran dalam pemelajaran mendalam [C 3, A3]

Adapun Indikator dari pembelajaran kali ini adalah:
Ketepatan dalam mengidentifikasi prinsip-prinsip komputasi pada jaringan syaraf tiruan

Ketepatan dalam menerapkan prinsip komputasi jaringan syaraf tiruan untuk permasalahan klasifikasi

Apa yang akan kita pelajari?

Beberapa topik yang akan dibahas pada pertemuan ini meliputi:
- Feedforward Neural Network
  
  Konsep dasar Feed Forward Neural Network, mulai dari perambatan maju dalam klasifikasi gambar hingga penggunaan fungsi aktivasi untuk menangani masalah nonlinear
- Backpropagation Algorithm
  
  Algoritma backpropagation dengan contoh fungsi sederhana, proses menghitung turunan dan memperbarui bobot melalui aturan rantai untuk optimasi dalam jaringan neural
- Minibatches
  
  Konsep mini batch dalam pelatihan jaringan neural, yang membagi data menjadi beberapa batch untuk mempercepat komputasi dan meningkatkan efisiensi pembelajaran, dengan manfaat utama termasuk estimasi gradien yang lebih akurat dan peningkatan kecepatan training pada GPU
- XOR Learning
  
  Proses implementasi Feedforward dan Backpropagation untuk masalah XOR dalam jaringan saraf tiruan, mulai dari pengaturan model, perhitungan feedforward, hingga pembaruan bobot melalui backpropagation dalam satu iterasi
yuk simak penjelasan dari Bapak Andrey mengenai apa yang akan kita pelajari.

Dalam video ini, selain tentang Deep Feedforward Network (DFNN) dan capaian pembelajaran yang diharapkan dari pertemuan ini, juga dijelaskan poin-poin penting yaitu:
- 0:23 - 1:10: Penjelasan mengenai penerapan DFNN untuk menyelesaikan masalah XOR yang tidak bisa diselesaikan dengan jaringan saraf tiruan biasa, berkat lapisan tersembunyi dan fungsi aktivasi nonlinear seperti sigmoid atau ReLU.
- 1:14 - 1:46: Pengenalan Multi-layer Perceptron (MLP), jenis DFNN dengan beberapa lapisan neuron termasuk lapisan input, lapisan tersembunyi, dan lapisan output, serta penggunaan fungsi aktivasi nonlinear untuk menyelesaikan masalah kompleks seperti XOR.
- 1:52 - 2:55: Diskusi tentang aplikasi MLP dalam berbagai bidang, seperti klasifikasi gambar dan analisis data finansial, serta keunggulan MLP dalam menangkap hubungan kompleks dalam data.
- 3:02 - 3:21: Masalah interpretabilitas dalam DFNN, mengingat kompleksitas dan banyaknya lapisan, yang membuatnya sulit untuk menjelaskan bagaimana model membuat prediksi.
- 3:29 - 4:08: Penjelasan tentang Deep Neural Network (DNN) dengan beberapa lapisan tersembunyi, kemampuan untuk mempelajari representasi data yang lebih abstrak, dan teknik mini-batch untuk efisiensi pelatihan dengan memproses data dalam batch kecil.
- 4:15 - 4:44: Penggunaan teknik mini-batch dalam pelatihan model machine learning untuk meningkatkan efisiensi pelatihan dengan memanfaatkan paralelisme komputasi prosesor modern.
Metode Pembelajaran

Define : Mahasiswa berlatih menganalis hasil observasi dan eksplorasinya terhadap suatu isu dari sudut pandang Deep feedforward network, Deep convolutional network, deep sequence modelling, dan Deep Generative Modeling
- Nah, setelah ini, Bapak Andrey akan menjelaskan lebih detail apa-apa yang perlu kalian pelajari pada pertemuan hari ini. Yuk kita simak paparannya yang telah disusun secara berurutan pada video interaktif.
- Materi dalam bentuk PPT juga dapat diunduh untuk kalian mendapatkan bahan kajian yang lebih lengkap.
- Setelah kalian memahaminya, kerjakan kuis secara keseluruhan. Kuis ini dapat dikerjakan jika adik-adik sudah menyelesaikan (menonton sampai selesai dan menjawab kuis) seluruh video interaktif.
- Penugasan Terstruktur 3 (Kelompok): Mahasiswa belajar mencari akar permasalahan dari isu yang dipilih menggunakan pendekatan Deep feedforward network.
- Diskusikan jika ada hal-hal yang belum kalian fahami pada forum diskusi yang disediakan. Ayo berikan juga pendapat kalian pada forum diskusi.
- Video & Materi
- 3.1. Feedforward Neural Network Interactive Content
  Video ini menjelaskan konsep dasar Feed Forward Neural Network, mulai dari perambatan maju dalam klasifikasi gambar hingga penggunaan fungsi aktivasi untuk menangani masalah nonlinear, serta memberikan pengantar untuk materi backpropagation. Detail uraian materi adalah sebagai berikut:
  
  0:07 - Pendahuluan Feed Forward Neural Network: Pengertian dan inspirasi dari jaringan saraf biologis.
  
  0:39 - Analogikan Jaringan Sebagai Fungsi: Fungsi menerima input (X) dan menghasilkan output (Y).
  
  0:52 - Proses Klasifikasi Tiga Kelas: Klasifikasi tiga kelas (Y1, Y2, Y3) menggunakan contoh gambar.
  
  1:04 - Perambatan Maju (Feed Forward): Input gambar masuk ke neuron, dirambatkan melalui hidden layers menuju layer output.
  
  1:36 - Penentuan Output Berdasarkan Nilai Tertinggi: Output ditentukan oleh kelas dengan nilai tertinggi, misal Y3.
  
  2:13 - Contoh Sistem Klasifikasi: Klasifikasi gambar kucing, anjing, dan babi.
  
  3:00 - Perhitungan dalam Neuron: Perkalian input dengan bobot dan penjumlahan dalam neuron.
  
  4:03 - Fungsi Aktivasi: Penggunaan sigmoid function untuk menyelesaikan masalah nonlinear.
- 3.2. Backpropagation Algorithm Interactive Content
  Materi ini menjelaskan algoritma backpropagation dengan contoh fungsi sederhana, menunjukkan proses menghitung turunan dan memperbarui bobot melalui aturan rantai untuk optimasi dalam jaringan neural. Uraian materi dapat disimak sebagai berikut:
  
  0:06 – Pendahuluan materi tentang algoritma backpropagation.
  
  0:08 – Fungsi $f = (x + y) \times z$ diperkenalkan.
  
  0:23 – Model jaringan dibangun dengan node X, Y, dan Z. X dan Y dijumlahkan, hasilnya dikalikan dengan Z.
  
  0:42 – Nilai variabel diberikan: $x = 1$ , $y = -3$ , dan $z = 4$ .
  
  1:00 – Penjumlahan $x + y = -2$ , hasil ini diberi variabel D.
  
  1:11 – D dikalikan dengan Z: $-2 \times 4 = -8$ .
  
  1:17 - Ada soal yang harus kalian kerjakan ya...
  
  1:19 – Proses backpropagation dimulai untuk menghitung turunan fungsi terhadap X, Y, dan Z.
  
  1:33 – Turunan D terhadap X dan Y dihitung, keduanya bernilai 1.
  
  1:48 – Turunan F terhadap D sama dengan Z, dan turunan F terhadap Z sama dengan D.
  
  2:09 – Proses backpropagation dimulai dengan menghitung turunan F terhadap Z, yaitu -2.
  
  2:25 – Turunan F terhadap D dihitung, yaitu 4.
  
  2:44 – Turunan F terhadap Y dihitung menggunakan aturan rantai: $4 \times 1 = 4$ .
  
  3:14 – Turunan F terhadap X dihitung menggunakan aturan rantai: $4 \times 1 = 4$ .
  
  3.35 - Juga ada soal yang harus kalian kerjakan
- 3.3. Minibatch Interactive Content
  Materi ini menjelaskan konsep mini batch dalam pelatihan jaringan neural, yang membagi data menjadi beberapa batch untuk mempercepat komputasi dan meningkatkan efisiensi pembelajaran, dengan manfaat utama termasuk estimasi gradien yang lebih akurat dan peningkatan kecepatan training pada GPU. Rincian materi sebagai berikut:
  
  0:03 - 0:08: Pembahasan mengenai mini batch dalam proses training.
  
  0:11 - 0:17: Loss dihitung untuk memperbarui bobot jaringan.
  
  0:33 - 0:46: Ilustrasi penggunaan gambar dalam training dan pembaruan bobot berdasarkan loss.
  
  0:54 - 1:12: Dataset contoh dengan 8.000 gambar, masing-masing 64x64 piksel RGB, menghasilkan banyak data poin.
  
  1:32 - 2:00: Gambar diproses melalui feature map, menghasilkan 65.536 data poin per gambar.
  
  2:21 - 2:42: Penggunaan mini batch untuk mempercepat komputasi dengan membagi data menjadi beberapa batch.
  
  2:53 - 3:10: Mini batch memungkinkan training yang lebih cepat dan efisien dibandingkan melatih seluruh sampel sekaligus.
  
  3:17 - 3:48: Keuntungan mini batch: estimasi gradien lebih akurat, pembelajaran lebih cepat, dan komputasi paralel yang meningkatkan kecepatan training pada GPU.
- 3.4. XOR Learning Interactive Content
  Video ini menjelaskan proses implementasi Feedforward dan Backpropagation untuk masalah XOR dalam jaringan saraf tiruan, mulai dari pengaturan model, perhitungan feedforward, hingga pembaruan bobot melalui backpropagation dalam satu iterasi, dengan rincian sebagai berikut:
  
  0:04: Implementasi Feedforward dan Backpropagation untuk XOR.
  
  0:16: XOR output 1 jika input berbeda, 0 jika sama. Model jaringan: 2 input neuron, 1 hidden layer, 1 output neuron.
  
  1:18: Parameter: Learning rate = 1, threshold neuron, fungsi aktivasi ReLU. Bobot inisial didefinisikan.
  
  2:41: Feedforward: Kalikan matriks input dengan bobot, jumlahkan, terapkan ReLU. Hasil disiapkan untuk layer berikutnya.
  
  4:46: Backpropagation: Hitung delta dan update bobot output.
  
  4.48: Ada soal nih... kerjakan yaa...
  
  7:37: Update bobot hidden layer.
  
  9:11: Bobot baru setelah satu iterasi. Proses biasanya memerlukan banyak iterasi.
- Materi 3 : Deep Feedforward Networks File
  File PPT ini berisi penjelasan mengenai Example Learning XOR, Multilayer Perceptron, Interpretability, Deep Neural Network dan Minibatches.
- Kuis & Penugasan
- Kuis 3 : Deep Feedforward Networks Quiz
  Restricted Not available unless:
  The activity 3.1. Feedforward Neural Network is marked complete
  The activity 3.2. Backpropagation Algorithm is marked complete
  The activity 3.3. Minibatch is marked complete
  The activity 3.4. XOR Learning is marked complete
  
  Kuis ini berisi 10 soal pilihan berganda yang harus diselesaikan dalam 30 menit. Kalian mempunyai 2 kali kesempatan untuk melampaui passing grade 60. Nilai akhir adalah skor tertinggi dari 2 kali percobaan. Persiapkan baik-baik dengan mempelajari materi yang disajikan diatas sebelum memulai kuis. Selamat mengerjakan...
- Penugasan 3: Deep Feedforward Networks Assignment
  Dalam penugasan 3 ini, kalian diminta bersama-sama dengan kelompok, menentukan contoh dataset sesuai dengan topik yang dipilih pada penugasan 1 dan penugasan 2. Kemudian secara mandiri mensimulasikan proses pembelajaran sampai evaluasinya menggunakan algoritma dalam deep feedforward network, seperti yang dicontohkan oleh bapak Andrey pada materi XOR Learning.
- Rubrik Penilaian Penugasan 3 File
  Rubrik ini menjadi panduan dalam menilai penugasan 3 yang meliputi aspek serta bobot:
  
  Ketepatan penentuan dataset (20%)
  
  Ketepatan model jaringan (10%)
  
  Ketepatan dan kelengkapan proses pembelajaran (30%)
  
  Ketepatan proses testing (20%)
  
  Ketepatan menghitung error (20%)
- Diskusi
- Diskusi Deep Feedforward Networks Forum
  Masih belum jelas dengan paparan yang disampaikan pak Andrey, jangan segan-segan untuk bertanya dan berdiskusi ya...
4. Regularization For Deep Learning
Assalamu'alaikum wr wb

Adik-adik mahasiswa... Hari ini kita akan mempelajari teknik-teknik regularisasi untuk pembelajaran dalam yang bertujuan menghindari terjadinya overfitting pada model NN yang kita bangun. Apa itu overfitting? Kenapa overfitting menjadi permasalahan? dan bagaimana cara mengatasinya? yuks kita belajar bersama bapak Andrey.

Apa tujuan dari pembelajaran pertemuan ini ? (sub-CPMK):

Sub-CPMK-2: Mampu menyelesaikan masalah komputasi kompleks dengan menerapkan prinsip -prinsip jaringan syaraf tiruan dalam (deep feedforward network) serta regularisasi dan optimisasi pembelajaran dalam pemelajaran mendalam [C 3, A3]

Adapun Indikator dari pembelajaran kali ini adalah:
Ketepatan dalam mengidentifikasi teknik-teknik regularisasi pada pembelajaran dengan deep learning

Apa saja yang akan dipelajari?
```
Materi pembelajaran membahas mengenai teknik-teknik regularisasi diantaranya: 
```
- Data Splitting
  
  Teknik membagi dataset menjadi tiga bagian—training, validation, dan testing—untuk membangun model machine learning yang robust dan optimal
- Problem of Fitting
  
  Masalah overfitting dan underfitting dalam pelatihan model, serta penggunaan regularisasi untuk mengurangi kesalahan generalisasi tanpa mempengaruhi performa model saat pelatihan.
- Parameter Norm Penalties
  
  Regularisasi L1 (Lasso) dan L2 (Ridge) dalam machine learning
- Data Augmentation
  
  Augmentasi data, termasuk teknik-teknik modifikasi data yang umum digunakan untuk memperluas dataset dan mengurangi overfitting, serta pertimbangan dalam memilih teknik yang tepat sesuai konteks data
- Early Stopping
  
  Konsep early stopping dalam pelatihan model, yang menghentikan pelatihan saat performa validasi memburuk untuk mengurangi overfitting dan meningkatkan generalisasi
- Bagging
  
  Teknik bagging (bootstrap aggregating) untuk mengurangi kesalahan generalisasi dengan melatih beberapa model secara terpisah dan menggabungkan hasilnya, serta membahas kelebihan dan kekurangan dari metode ini
- Dropout
  
  Teknik regularisasi Dropout dalam jaringan neural, yang menonaktifkan neuron secara acak selama pelatihan untuk mencegah overfitting dan meningkatkan generalisasi model
Namun sebelum membahas teknik-teknik tersebut, Pak Andrey akan menjelaskan dulu istilah-istilah yang perlu diketahui, seperti hyperparameter dan paramater. Selengkapnya, ayo kita simak penjelasan Bapak Andrey dalam video berikut ini.

Dalam video diatas bapak Andrey menjelaskan beberapa poin penting yaitu:
- 0:23 - 0:46: Penjelasan tentang parameter dan hiperparameter pada jaringan saraf, dengan bobot dan bias sebagai parameter utama.
- 0:46 - 1:30: Hiperparameter termasuk jumlah lapisan, jumlah neuron, learning rate, dan fungsi aktivasi. Pembagian data untuk training, dev (validasi), dan test set, serta penggunaannya untuk melatih dan mengevaluasi model.
- 1:30 - 2:08: Evaluasi performa model menggunakan metrik seperti Mean Squared Error atau F1 score. Perbedaan antara training error dan test error serta pentingnya menjaga kedua jenis error tetap rendah.
- 2:08 - 2:49: Pembahasan tentang underfitting dan overfitting, dengan penekanan pada pentingnya model yang dapat mempelajari pola data tanpa melakukan generalisasi yang buruk.
- 2:49 - 3:25: Penjelasan tentang regularisasi, yang bertujuan untuk mengurangi kesalahan generalisasi, serta strategi untuk mengatasi masalah overfitting.
- 3:25 - 3:55: Pembahasan tentang data augmentation sebagai teknik untuk memperbesar dan memperbanyak variasi data yang digunakan dalam pelatihan.
- 3:55 - 4:38: Pentingnya menghentikan iterasi saat pelatihan ketika kesalahan pada validation set meningkat, untuk menghindari overfitting dan mendapatkan hasil yang lebih optimal.
Metode Pembelajaran

Define : Mahasiswa berlatih menganalis hasil observasi dan eksplorasinya terhadap suatu isu dari sudut pandang Deep feedforward network, Deep convolutional network, deep sequence modelling, dan Deep Generative Modeling
- Lebih lengkap lagi kita simak satu persatu uraiannya dalam video interaktif - video interaktif berikut ya...
- Jangan lupa untuk mengunduh materi PPTnya.
- Setelah kalian memahaminya, kerjakan kuis keseluruhan materi. Kuis ini dapat dikerjakan jika adik-adik sudah menyelesaikan (menonton sampai selesai dan menjawab kuis) seluruh video interaktif.
- Penugasan Terstruktur 4 (Kelompok): Mahasiswa belajar mencari akar permasalahan dari isu yang dipilih menggunakan pendekatan Deep feedforward network dan menentukan regularisasi.
- Diskusikan jika ada hal-hal yang belum kalian fahami pada forum diskusi yang disediakan. Ayo berikan juga pendapat kalian pada forum diskusi.
- Video & Materi
- 4.1. Data Splitting Interactive Content
  Video ini menjelaskan pentingnya membagi dataset menjadi tiga bagian—training, validation, dan testing—untuk membangun model machine learning yang robust dan optimal. Uraian secara rinci adalah sebagai berikut:
  
  0:11 - 0:26, dijelaskan bahwa mesin pembelajaran menghasilkan model machine learning, dan model tersebut diharapkan kuat atau robust, mampu menghasilkan akurasi tinggi, misalnya 95%.
  
  0:26 - 1:07 : Untuk membangun model yang robust, terdapat tiga tahap utama: training, validation, dan testing. Dataset dibagi menjadi tiga bagian, yaitu data training, validation, dan testing.
  
  1:07 - 1:45: Data training digunakan untuk melatih model hingga menghasilkan prediksi. Hasil prediksi dibandingkan dengan nilai aktual, dan error yang dihasilkan digunakan untuk mengupdate parameter model hingga hasilnya optimal.
  
  1:45 - 2:26: Data validation digunakan untuk mengupdate hiperparameter dengan harapan mendapatkan hasil yang optimal juga. Proses validation membantu dalam menyempurnakan model.
  
  2:26 - 2:45: Setelah proses training dan validation selesai dan dianggap cukup, model akan diuji menggunakan data testing untuk memastikan model optimal.
  
  2:45 - 3:02: Pembagian dataset menjadi tiga bagian ini dilakukan agar model yang dihasilkan kuat dan robust.
- 4.2. Problem of Fitting Interactive Content
  Video ini membahas tentang masalah overfitting dan underfitting dalam pelatihan model, serta penggunaan regularisasi untuk mengurangi kesalahan generalisasi tanpa mempengaruhi performa model saat pelatihan. Beberapa poin penting yang perlu diperhatikan:
  
  0:07 - Pembahasan tentang fitting model yang menghasilkan overfitting atau underfitting.
  
  0:19 - Penjelasan tentang bias (kesalahan karena model tidak mewakili konsep) dan variance (kesalahan akibat reaksi berlebihan pada perubahan data).
  
  2:00 - Variance sangat sensitif terhadap perubahan dan noise, mengakibatkan lebih banyak variasi dalam prediksi.
  
  3:19 - Kesimpulan tentang overfitting (model terlalu mengikuti noise) dan underfitting (model tidak belajar cukup dari konsep).
  
  4:51 - Regularisasi membantu mencegah overfitting dengan mengurangi kesalahan generalisasi dan mengontrol kapasitas model.
- 4.3. Parameter Norm Penalties Interactive Content
  Video tersebut menjelaskan perbedaan antara regularisasi L1 (Lasso) dan L2 (Ridge) dalam machine learning, termasuk cara keduanya mengendalikan overfitting dan efeknya terhadap distribusi bobot fitur serta kekuatan dan kelemahan masing-masing metode. Adapun poin-poin penting yang dibahas dalam video adalah sebagai berikut:
  
  0:03 - 0:15: Penjelasan tentang L1 dan L2 regularisasi sebagai teknik tambahan untuk mengendalikan overfitting, setelah menerapkan teknik seperti bagging, dropout, dan early stopping.
  
  0:19 - 1:02: Regularisasi L1 (Lasso): Memperkenalkan penalti berdasarkan nilai absolut bobot ke fungsi kerugian, membantu mengurangi kompleksitas fitur dan mencegah overfitting.
  
  1:07 - 1:43: Regularisasi L2 (Ridge): Memperkenalkan penalti berdasarkan kuadrat bobot ke fungsi kerugian, mendorong distribusi bobot secara merata dan mengurangi ketergantungan pada fitur tertentu.
  
  1:49 - 3:34: Perbandingan kontur plot antara L1 dan L2. L1 menghasilkan bentuk diamond yang mendorong beberapa bobot menjadi nol, sedangkan L2 menghasilkan bentuk lingkaran yang menjaga bobot tetap tersebar merata.
  
  3:37 - 4:09: Penjelasan tentang bagaimana regularisasi mempengaruhi nilai loss dan bobot. L1 cenderung membuat beberapa bobot nol, sedangkan L2 cenderung menyebarkan bobot secara merata.
  
  4:12 - 5:34: Perbedaan antara L1 dan L2 dalam hal seleksi fitur dan sparsity. L1 lebih cenderung mengurangi beberapa bobot menjadi nol, sedangkan L2 lebih menyeimbangkan bobot di seluruh fitur.
  
  5:37 - 7:31: Kelebihan dan Kelemahan dari L1: Keuntungan - seleksi fitur, robust terhadap outliers, model sederhana. Kelemahan - sulit dioptimalkan pada titik nol, bisa menyebabkan underfitting. dan L2: Keuntungan - menangani multikolinearitas, model lebih stabil, distribusi bobot lebih merata. Kelemahan - tidak melakukan seleksi fitur, kurang robust terhadap outliers.
- 4.4. Data Augmentation Interactive Content
  Video tersebut menjelaskan tentang augmentasi data, termasuk teknik-teknik modifikasi data yang umum digunakan untuk memperluas dataset dan mengurangi overfitting, serta pertimbangan dalam memilih teknik yang tepat sesuai konteks data. Berikut adalah poin-poin penting dari video tentang augmentasi data sesuai dengan waktunya:
  
  0:06: Video membahas tentang augmentasi data dan situasi penggunaannya.
  
  0:17: Augmentasi data adalah proses membuat data baru dengan modifikasi data yang sudah ada, seperti membalik, merotasi, memperbesar, memperkecil, memotong, atau mengubah warna gambar.
  
  1:11: Augmentasi data digunakan untuk menambah jumlah sampel dalam dataset pelatihan dan mengurangi overfitting, terutama ketika sulit untuk mendapatkan data tambahan.
  
  2:30: Augmentasi data dapat membantu mengatasi masalah overfitting, terutama jika dataset tidak mewakili variasi yang ada di dunia nyata.
  
  3:35: Contoh penggunaan augmentasi data pada gambar kucing, seperti flipping vertikal untuk memastikan model dapat mengenali kucing dari berbagai sudut.
  
  4:06: Beberapa teknik augmentasi mungkin tidak cocok untuk semua jenis dataset, seperti membalik gambar secara horizontal yang tidak realistis untuk gambar kucing.
- 4.5. Early Stopping Interactive Content
  Video ini menjelaskan konsep early stopping dalam pelatihan model, yang menghentikan pelatihan saat performa validasi memburuk untuk mengurangi overfitting dan meningkatkan generalisasi. Berikut adalah poin-poin penting yang diringkas dari video tentang early stopping:
  
  0:05: Membahas early stopping setelah bagging dan dropout.
  
  0:13: Early stopping menghentikan pelatihan saat performa validasi memburuk.
  
  0:27: Memplot kerugian pelatihan dan validasi untuk mendeteksi overfitting.
  
  0:50: Menghentikan pelatihan lebih awal dapat meningkatkan generalisasi dan mengurangi varians.
  
  1:23: Kelebihan: Mengurangi overfitting, meningkatkan generalisasi, lebih efisien dalam waktu dan data, mudah diimplementasikan.
  
  1:42: Kekurangan: Risiko underfitting, tidak selalu bermanfaat untuk semua model, bergantung pada pemilihan set validasi yang benar.
- 4.6. Bagging Interactive Content
  Video tersebut menjelaskan teknik bagging (bootstrap aggregating) untuk mengurangi kesalahan generalisasi dengan melatih beberapa model secara terpisah dan menggabungkan hasilnya, serta membahas kelebihan dan kekurangan dari metode ini. Berikut adalah poin-poin penting dari video dalam bentuk poin:
  
  0:10: Menjelaskan istilah Bagging berasal dari bootstrap aggregating, digunakan untuk mengurangi kesalahan generalisasi dengan menggabungkan beberapa model.
  
  0:18: Teknik ini melibatkan pelatihan beberapa model secara terpisah dan menggabungkan hasilnya.
  
  0:23: Metode ini dikenal sebagai metode ensemble.
  
  0:44: Ilustrasi: Dataset dibagi menjadi data pelatihan dan data pengujian, data pelatihan dibagi ke dalam beberapa subset, dan masing-masing subset dilatih dengan model berbeda.
  
  0:55: Hasil output dari model-model tersebut digabungkan (averaging untuk regresi, voting untuk klasifikasi).
  
  1:30: Kelebihan bagging: Mengurangi overfitting, meningkatkan ketahanan dan kinerja generalisasi, menyediakan estimasi ketidakpastian melalui agregasi.
  
  1:44: Kekurangan bagging: Membutuhkan lebih banyak sumber daya komputasi dan waktu pelatihan, mungkin tidak cocok untuk kumpulan data besar.
- 4.7. Dropout Interactive Content
  Video ini menjelaskan teknik regularisasi Dropout dalam jaringan neural, yang menonaktifkan neuron secara acak selama pelatihan untuk mencegah overfitting dan meningkatkan generalisasi model. Berikut adalah poin-poin penting dari video tentang teknik regularisasi Dropout berdasarkan urutan waktu:
  
  0:05: Pengenalan teknik regularisasi Dropout, yang digunakan khusus untuk jaringan neural.
  
  0:10: Dropout melibatkan penonaktifan acak neuron dan koneksinya selama pelatihan untuk mencegah overfitting.
  
  0:17: Selama pelatihan, beberapa neuron dinonaktifkan secara acak dengan probabilitas tertentu (misal, 25%).
  
  0:24: Contoh penerapan Dropout dalam jaringan neural, di mana neuron yang dinonaktifkan dipilih secara acak pada setiap iterasi.
  
  1:00: Struktur jaringan neural berubah setiap iterasi berdasarkan neuron yang dinonaktifkan.
  
  1:42: Pada saat testing, semua neuron diaktifkan kembali, namun bobot dikalikan dengan (1 - p) untuk menyesuaikan dengan probabilitas dropout.
  
  2:20: Kelebihan Dropout: mencegah overfitting, mengurangi koadaptasi neuron, bertindak sebagai bentuk perataan model, dan meningkatkan kinerja generalisasi.
  
  2:42: Kekurangan Dropout: meningkatkan waktu komputasi karena membutuhkan multiple forward dan backward pass, serta memerlukan tuning untuk drop out rate-nya.
- Materi 4: Regularization For Deep Learning File
  Materi dalam PPT ini menjelaskan mengenai Neural Network Parameters, Parameters vs Hyperparameters, Train / Dev / Test sets, Performa dari Model, Classification Model Error, Problem of fitting serta pendekatan-pendekatan regularisasi dalam pembelajaran dalam yaitu Parameter Norm Penalties: L 2 Parameter Regularization & L 1 Parameter Regularization, Dataset Augmentation, Multitask Learning, Early Stopping, Sparse Representations, Bagging dan Dropout.
- Kuis dan Penugasan
- Kuis 4: Regularization For Deep Learning Quiz
  Restricted Not available unless:
  The activity 4.1. Data Splitting is marked complete
  The activity 4.2. Problem of Fitting is marked complete
  The activity 4.3. Parameter Norm Penalties is marked complete
  The activity 4.4. Data Augmentation is marked complete
  The activity 4.5. Early Stopping is marked complete
  The activity 4.6. Bagging is marked complete
  The activity 4.7. Dropout is marked complete
  
  Kuis ini berisi 10 soal pilihan berganda yang harus diselesaikan dalam 30 menit. Kalian mempunyai 2 kali kesempatan untuk melampaui passing grade 60. Nilai akhir adalah skor tertinggi dari 2 kali percobaan. Persiapkan baik-baik dengan mempelajari materi yang disajikan diatas sebelum memulai kuis. Selamat mengerjakan...
- Penugasan 4 : Identifikasi Teknik Regularisasi Assignment
  Dalam penugasan 4 ini, kalian diminta bersama-sama dengan kelompok, mengidentifikasi jenis dataset serta teknik regularisasi yang diterapkan pada metode deep learning dalam artikel jurnal pada penugasan 1 dan penugasan 2.
- Rubrik Penilaian Penugasan 4 File
  Rubrik ini menjadi panduan dalam menilai penugasan 4 yang meliputi aspek serta bobot:
  
  Identifikasi dataset (30%)
  
  Identifikasi teknik regularisasi (30%)
  
  Telaah teknik regularisasi (40%)
- Diskusi
- Diskusi Regularization For Deep Learning Forum
  Masih bingung? manfaatkan forum diskusi ini dengan baik yaa...
5. Optimization for Deep Learning
Assalamu'alaikum wr wb

Adik-adik mahasiswa... Hari ini kita akan mempelajari algoritma dasar optimisasi proses pembelajaran dalam deep NN. Namun sebelumnya kita perlu lebih memahami proses pembelajaran dengan algoritma backpropagation yang menggunakan prinsip gradient. Kali ini kita akan belajar bersama bapak Andrey... yuks semangat...

Apa tujuan dari pembelajaran pertemuan ini ? (sub-CPMK):

Sub-CPMK-2: Mampu menyelesaikan masalah komputasi kompleks dengan menerapkan prinsip -prinsip jaringan syaraf tiruan dalam (deep feedforward network) serta regularisasi dan optimisasi pembelajaran dalam pemelajaran mendalam [C 3, A3]

Adapun Indikator dari pembelajaran kali ini adalah:
Ketepatan dalam mengidentifikasi teknik-teknik optimisasi pada pembelajaran dengan deep learning

Apa saja yang akan dipelajari?
Selain menjelaskan mengenai Pentingnya Gradient dan Backpropagation Algorithm dalam Neural Network, beberapa materi dibahas dalam pertemuan ini yaitu:
- NN as Computational Graph
  
  Penerapan neural network sebagai graf komputasi, termasuk perhitungan fungsi sigmoid dan proses backpropagation untuk menghitung gradien dari bobot dan bias
- Gradient Descent for NN
  
  Proses gradient descent untuk neural network, mulai dari perhitungan output dan error hingga update bobot dan pemilihan learning rate yang optimal
- Optimization Algorithm
  
  Berbagai algoritma optimisasi untuk memperbarui bobot dalam pelatihan jaringan saraf, termasuk Stochastic gradient descent (SGD), Gradient Descent with Momentum, Root Mean Squared Prop (RMSProp) dan Adaptive Moment Estimation (Adam), serta bagaimana masing-masing algoritma menangani masalah gradien dan laju pembelajaran untuk meningkatkan efisiensi pelatihan
Sebelumnya, bapak Andrey akan mengingatkan kembali bagaimana algoritma backpropagation bekerja dan pentingnya penggunaan gradient. Yuks kita simak penjelasan dari bapak Andrey mengenai apa yang akan kita pelajari pada pertemuan kali ini melalui video berikut:

Dalam video tersebut, bapak Andrey menjelaskan mengenai pengenalan materi optimisasi dalam deep learning setelah membahas regularisasi serta membahasa tujuan pembelajaran pertemuan ini. Selain itu bapak Andrey juga menjelaskan poin-poin berikut.
- 0:55 - Penjelasan tentang backpropagation: proses melatih neural network dengan menghitung dan memperbarui gradien.
- 2:19 - Pengenalan gradien descent untuk menyesuaikan bobot dan bias secara iteratif untuk mengurangi fungsi biaya.
- 3:31 - Algoritma optimisasi dasar yang dibahas:
  
  SGD: Menghitung gradien untuk mini-batch data.
  
  Momentum: Mempercepat penyesuaian bobot dengan momentum.
  
  RMSProp: Menyesuaikan learning rate adaptif.
  
  Adam: Kombinasi dari momentum dan RMSProp untuk efisiensi optimasi.
Metode Pembelajaran

Define : Mahasiswa berlatih menganalis hasil observasi dan eksplorasinya terhadap suatu isu dari sudut pandang Deep feedforward network, Deep convolutional network, deep sequence modelling, dan Deep Generative Modeling
- Nah secara rinci, kita belajar bersama melalui video interaktif - video interaktif berikut ya...
- Jangan lupa untuk mengunduh materi PPTnya.
- Setelah kalian memahaminya, kerjakan kuis keseluruhan materi. Kuis ini dapat dikerjakan jika adik-adik sudah menyelesaikan (menonton sampai selesai dan menjawab kuis) seluruh video interaktif.
- Penugasan Terstruktur 5 (Kelompok): Mahasiswa belajar mencari akar permasalahan dari isu yang dipilih menggunakan pendekatan Deep feedforward network dan menentukan regularisasi serta metode optimasinya.
- Diskusikan jika ada hal-hal yang belum kalian fahami pada forum diskusi yang disediakan. Ayo berikan juga pendapat kalian pada forum diskusi.
- Video dan Materi
- 5.1. NN as Computational Graph Interactive Content
  Video ini menjelaskan penerapan neural network sebagai graf komputasi, termasuk perhitungan fungsi sigmoid dan proses backpropagation untuk menghitung gradien dari bobot dan bias. Berikut adalah poin-poin penting dari video tersebut.
  
  0:03 - Pembukaan dan pengantar tentang neural network sebagai graf komputasi.
  
  0:14 - Penjelasan fungsi sigmoid dan contohnya dengan nilai $W1$ , $W0$ , $X1$ , $X0$ , dan bias.
  
  1:01 - Perhitungan untuk fungsi sigmoid menghasilkan nilai akhir 0,37.
  
  1:59 - Memulai perhitungan backpropagation, termasuk turunan fungsi.
  
  2:14 - Contoh turunan fungsi $\frac{1}{x}$ dan penggunaan aturan rantai.
  
  3:08 - Contoh turunan fungsi linear dan eksponensial.
  
  4:53 - Menyimpulkan perhitungan turunan untuk bobot dan bias dengan backpropagation.
- 5.2. Gradient Descent for NN Interactive Content
  Video ini menjelaskan proses gradient descent untuk neural network, mulai dari perhitungan output dan error hingga update bobot dan pemilihan learning rate yang optimal. Berikut adalah poin-poin penjelasan dari video dalam urutan waktu.
  
  0:03 - Pendahuluan: Membahas gradient descent untuk neural network.
  
  0:09 - Fungsi dan Jaringan: Menyusun fungsi dan jaringan dengan input $X$ , $W_1$ , dan $W_2$ .
  
  1:02 - Perhitungan Output: Menghitung output dan error dengan contoh nilai.
  
  2:19 - Backpropagation: Menghitung turunan untuk bobot $W_2$ dan $W_1$ menggunakan aturan rantai dan fungsi aktivasi.
  
  6:00 - Update Bobot: Mengupdate bobot dengan learning rate $\alpha$ .
  
  7:27 - Pemilihan Learning Rate: Diskusi tentang memilih learning rate yang optimal.
- 5.3. Optimization Algorithm Interactive Content
  Video tersebut menjelaskan berbagai algoritma optimisasi untuk memperbarui bobot dalam pelatihan jaringan saraf, termasuk SGD, Momentum, Adagrad, RMSprop, dan Adam, serta bagaimana masing-masing algoritma menangani masalah gradien dan laju pembelajaran untuk meningkatkan efisiensi pelatihan. Berikut adalah poin-poin ringkas dalam video.
  
  0:05-0:15 - Penjelasan tentang algoritma optimisasi yang digunakan untuk mencari minimum fungsi kerugian dalam jaringan saraf, setelah backpropagation menghitung gradien.
  
  1:05-2:00 - Penjelasan ulang tentang jaringan saraf: data masuk di lapisan input dan keluar di lapisan output, dengan fungsi kerugian dihitung untuk melatih bobot melalui gradien.
  
  2:00-3:20 - Masalah ketika dataset besar dan solusinya
  
  3:20-4:00 - Stochastic Gradient Descent: bobot (W) diperbarui dengan gradien yang diskalakan oleh learning rate (η). Laju pembelajaran adalah hiperparameter penting yang bisa memengaruhi performa.
  
  4:00-5:00 - Learning rate rendah memperlambat pelatihan, bisa membuat bobot terjebak di local minima. Learning rate tinggi bisa membantu bobot keluar dari local minima tapi berisiko melewati target minimum.
  
  5:00-6:30 - Momentum ditambahkan ke SGD untuk mempercepat pembaruan bobot, membantu melompati local minima dan mengurangi fluktuasi stokastik.
  
  6:30-8:00 - Adagrad: metode ini menyesuaikan learning rate dengan skala akar kuadrat dari gradien yang ditemukan sebelumnya, membantu parameter yang kurang sering diperbarui untuk mendapatkan peningkatan.
  
  8:00-10:00 - RMSprop: memperbaiki kekurangan Adagrad dengan memungkinkan learning rate meningkat atau menurun selama pelatihan, menggunakan parameter diskon untuk menyimpan gradien sebelumnya.
  
  10:00-12:00 - Adam (Adaptive Moment Estimation): menggabungkan kelebihan RMSprop dan momentum untuk mendapatkan pembaruan learning rate yang lebih adaptif dan efisien.
- Materi 5: Optimization for Deep Learning File
  PPT ini memuat materi mengenai Remember Backpropagation Algorithm, Gradient Descent, Basic Algorithm yaitu Stochastic gradient descent (SGD), Gradient Descent with Momentum, Root Mean Squared Prop (RMSProp) dan Adaptive Moment Estimation (Adam).
- Kuis dan Penugasan
- Kuis 5: Optimization for Deep Learning Quiz
  Restricted Not available unless:
  The activity 5.1. NN as Computational Graph is marked complete
  The activity 5.2. Gradient Descent for NN is marked complete
  The activity 5.3. Optimization Algorithm is marked complete
  
  Kuis ini berisi 10 soal pilihan berganda yang harus diselesaikan dalam 30 menit. Kalian mempunyai 2 kali kesempatan untuk melampaui passing grade 60. Nilai akhir adalah skor tertinggi dari 2 kali percobaan. Persiapkan baik-baik dengan mempelajari materi yang disajikan diatas sebelum memulai kuis. Selamat mengerjakan...
- Penugasan 5: Identifikasi Algoritma Optimasi Assignment
  Pada penugasan 5 ini, kalian secara berkelompok diminta untuk mengidentifikasi algoritma optimasi dalam artikel jurnal pada penugasan 1 dan penugasan 2, serta mengusulkan algoritma optimasi yang akan diterapkan untuk menyelesaikan permasalahan dalam tema yang diusulkan dalam proyek akhir, atau menelaah algoritma optimasi dalam artikel sebagai bahan pertimbangan untuk diterapkan dalam penyelesaian proyek akhir.
- Rubrik penilaian penugasan 5 File
  Rubrik ini sebagai panduan skoring dalam penilaian penugasan 5 dengan aspek dan bobot:
  
  Identifikasi metode optimasi (40%)
  
  Telaah/Usulan metode optimasi (60%)
- Diskusi
- Diskusi Optimization for Deep Learning Forum
  Forum ini sebagai sarana yang memfasilitasi kalian untuk menanyakan segala sesuatu yang terkait dengan materi ataupun tugas-tugas pada pertemuan ini. Ayo jangan malu-malu yaa...
6. Deep Convolutional Networks
Assalamu'alaikum wr wb

Adik-adik mahasiswa... Mulai minggu ini kita akan menggunakan atau mengembangkan model jaringan syaraf multilayer untuk keperluan khusus seperti pengolahan gambar, pengolahan data yang sekuensial, serta untuk menghasilkan data / gambar baru secara otomatis. Hari ini kita akan mulai dengan mempelajari jaringan konvolusi (Convolutional Networks) atau lebih dikenal sebagai Convolutional Neural Networks (CNN). Ide awal dari jaringan konvolusi ini berhubungan dengan bidang visi komputer. Yuk simak penjelasan lengkapnya bersama ibu Fajar Astuti...

Apa tujuan dari pembelajaran pertemuan ini ? (sub-CPMK):

Sub-CPMK-3: Mampu menyelesaikan masalah komputasi kompleks dengan menerapkan prinsip-prinsip Jaringan Konvolusi (Convolutional Networks) dalam pemelajaran mendalam [C3, A3]

Adapun Indikator dari pembelajaran kali ini adalah:
Ketepatan mengidentifikasi konsep dan prinsip komputasi pada convolutional network

Ketepatan dalam menerapkan prinsip komputasi metode convolutional neural network dalam permasalahan klasifikasi

Apa saja yang akan dipelajari?
Materi yang akan dibahas dalam pertemuan ini meliputi:
- Visi Komputer dan Aplikasinya
  
  Apa itu visi komputer dan bagaimana visi komputer & pembelajaran mesin merevolusi berbagai bidang, seperti robotika, kendaraan otonom, dan diagnostik medis, dengan memproses gambar digital secara otomatis.
- Bagaimana visi komputer bekerja
  
  Bagaimana komputer memproses dan memahami gambar melalui representasi angka, tugas klasifikasi dan regresi, serta tantangan dalam mendeteksi pola dan fitur dengan menggunakan jaringan saraf untuk pembelajaran hierarkis
- Mempelajari Fitur Visual melalui Jaringan Saraf
  
  Bagaimana jaringan saraf konvolusional mempertahankan struktur spasial gambar dan mendeteksi fitur visual dengan menggunakan operasi konvolusi dan filter
- Ekstraksi Fitur dan Konvolusi (Case Study)
  
  Bagaimana operasi konvolusi pada gambar bekerja, menggunakan filter untuk mendeteksi dan mengekstrak fitur-fitur penting, seperti pola dan tepi, dengan contoh penerapannya pada klasifikasi gambar huruf X
- Convolutional Neural Network (CNN)
  
  Struktur dasar jaringan saraf konvolusional (CNN), mulai dari operasi konvolusi, penerapan nonlinearitas, hingga pooling, serta bagaimana jaringan tersebut mempelajari fitur dari gambar untuk keperluan klasifikasi dan deteksi objek
- CNN: Non-Linearity & Pooling
  
  Bagaimana lapisan konvolusional dan pooling dalam jaringan saraf konvolusional (CNN) mengekstrak fitur, menerapkan nonlinearitas, dan mengurangi dimensi gambar untuk memfasilitasi klasifikasi gambar menggunakan fungsi aktivasi ReLU dan softmax
- Arsitektur untuk berbagai aplikasi
  
  Penggunaan Convolutional Neural Networks (CNN) untuk klasifikasi, deteksi objek, dan segmentasi citra dalam aplikasi computer vision, termasuk contoh kasus kanker payudara dan metode deteksi objek berbasis Faster RCNN yang dioptimalkan untuk citra ultrasound
Simak juga penjelasan dari ibu Fajar Astuti mengenai apa yang akan kalian pelajari pada pertemuan ini.

Selain menjelaskan mengenai capaian pembelajaran dan evaluasi dalam pertemuan kali ini, dalam video tersebut Ibu Fajar Astuti juga memaparkan beberapa hal yang dapat diringkas sebagai berikut:
- 0:34 - 1:16: Dibahas perbedaan CNN dengan machine learning tradisional yang memerlukan ekstraksi fitur manual.
- 1:16 - 2:03: CNN otomatis melakukan ekstraksi fitur menggunakan operasi konvolusi, dasar dari filtering pada citra.
- 2:03 - 5:00: Dijelaskan contoh proses linear filtering dan bagaimana operasi konvolusi menghasilkan nilai piksel baru.
- 5:00 - 6:06: Struktur CNN terdiri dari lapisan input, feature detection, pooling, dan fully connected layer untuk klasifikasi.
- 6:06 - 7:49: Beberapa arsitektur CNN populer diperkenalkan seperti AlexNet, VGG, dan ResNet.
Metode Pembelajaran

Define : Mahasiswa berlatih menganalis hasil observasi dan eksplorasinya terhadap suatu isu dari sudut pandang Deep feedforward network, Deep convolutional network, deep sequence modelling, dan Deep Generative Modeling
- Nah, adik-adik mahasiswa, sama seperti pertemuan sebelumnya, kalian bisa belajar secara mandiri melalui video interaktif.
- Jangan lupa unduh materi PPT nya.
- Setelah kalian memahaminya, kerjakan kuis keseluruhan materi. Kuis ini dapat dikerjakan jika adik-adik sudah menyelesaikan (menonton sampai selesai dan menjawab kuis) seluruh video interaktif.
- Penugasan Terstruktur 6 (Kelompok & Mandiri): Mahasiswa belajar mencari akar permasalahan dari isu yang dipilih menggunakan pendekatan Deep convolutional network.
- Diskusikan jika ada hal-hal yang belum kalian fahami pada forum diskusi yang disediakan. Jangan sungkan menanyakan hal yang kurang difahami dalam forum diskusi. Selamat belajar dan tetap semangat...
- Video & Materi
- 6.1. Aplikasi Visi Komputer Interactive Content
  Video ini menjelaskan bagaimana visi komputer dan pembelajaran mesin merevolusi berbagai bidang, seperti robotika, kendaraan otonom, dan diagnostik medis, dengan memproses gambar digital secara otomatis untuk memahami dan berinteraksi dengan dunia sekitar. Berikut adalah poin-poin pembahasan dalam video:
  
  0:07-0:14: membahas bagaimana Kamera digital menggantikan fungsi mata pada komputer.
  
  0:14-0:28: Gambar ditangkap dan diproses oleh komputer untuk menghasilkan informasi.
  
  0:36-0:51: Pembelajaran mesin merevolusi algoritma visi komputer dan diterapkan di robotika.
  
  1:08-1:18: Algoritma visi komputer sudah umum digunakan.
  
  1:31-1:40: Jaringan saraf di ponsel memproses gambar secara otomatis.
  
  1:54-2:18: Aplikasi visi komputer digunakan di bidang medis, seperti mendeteksi penyakit dan kelainan janin.
  
  2:23-2:38: Mobil otonom menggunakan visi komputer untuk navigasi.
  
  3:05-3:15: Deteksi wajah kini umum di perangkat pintar.
  
  3:23-3:38: AI pada kendaraan otonom mengarahkan mobil berdasarkan gambar yang diproses.
  
  4:00-4:19: Pembelajaran mendalam digunakan untuk mendiagnosis penyakit dari pemindaian medis.
- 6.2. Apa yang komputer lihat Interactive Content
  Video tersebut menjelaskan bagaimana komputer memproses dan memahami gambar melalui representasi angka, tugas klasifikasi dan regresi, serta tantangan dalam mendeteksi pola dan fitur dengan menggunakan jaringan saraf untuk pembelajaran hierarkis. Berikut adalah poin-poin utama yang dari video tersebut:
  
  0:11 - Diskusi tentang bagaimana komputer memproses gambar dan informasi visual.
  
  1:24 - Komputer melihat gambar sebagai array angka yang mewakili kecerahan atau warna piksel.
  
  2:00 - Gambar RGB menjadi matriks tiga dimensi untuk pemrosesan.
  
  2:24 - Tugas visi komputer termasuk regresi (nilai kontinu) dan klasifikasi (label kelas).
  
  3:27 - Klasifikasi melibatkan memprediksi kelas gambar berdasarkan fitur unik.
  
  4:15 - Klasifikasi dilakukan dengan mendeteksi pola dalam gambar.
  
  5:16 - Identifikasi fitur seperti mata dan roda untuk menentukan kategori gambar.
  
  8:16 - Pengenalan pola melibatkan ekstraksi dan identifikasi pola dari gambar.
  
  11:35 - Tantangan dalam mendeteksi pola karena masalah pencahayaan, deformasi, dan latar belakang.
  
  13:00 - Jaringan saraf digunakan untuk pembelajaran fitur secara hierarkis, meningkatkan deteksi dan klasifikasi.
- 6.3. Mempelajari Fitur Visual melalui Jaringan Saraf Interactive Content
  Video ini menjelaskan bagaimana jaringan saraf konvolusional mempertahankan struktur spasial gambar dan mendeteksi fitur visual dengan menggunakan operasi konvolusi dan filter. Berikut adalah poin-poin penjelasan video dalam urutan waktu:
  
  0:06 - Pentingnya mempelajari fitur visual untuk identifikasi pola dari gambar.
  
  0:12 - Memerlukan jaringan saraf khusus untuk data gambar.
  
  0:20 - Data gambar memiliki struktur geometris dan hubungan spasial antar piksel.
  
  0:32 - Jaringan saraf terhubung sepenuhnya mengharuskan gambar diratakan, menghilangkan informasi spasial.
  
  0:44 - Kelemahan meratakan gambar: hilangnya informasi spasial dan banyak parameter yang tidak efisien.
  
  1:00 - Solusi: Pertahankan struktur spasial dengan menggunakan patch kecil pada gambar.
  
  1:44 - Patch kecil menghubungkan ke neuron di lapisan tersembunyi, menjaga struktur spasial dan deteksi fitur visual.
  
  2:18 - Menggeser patch di seluruh gambar untuk hasil yang lebih akurat dan mempertahankan hubungan spasial.
  
  3:27 - Konvolusi: Menggunakan filter untuk menyaring dan memproses gambar, menangkap pola visual sambil mempertahankan hubungan spasial.
  
  4:32 - Proses konvolusi membantu mendeteksi fitur visual relevan secara efektif.
- 6.4.Feature Extraction Case Study Interactive Content
  Video ini menjelaskan bagaimana operasi konvolusi pada gambar bekerja, menggunakan filter untuk mendeteksi dan mengekstrak fitur-fitur penting, seperti pola dan tepi, dengan contoh penerapannya pada klasifikasi gambar huruf X. Berikut poin-poin materi dari video tersebut.
  
  Tujuan konvolusi (0:08 - 0:15): Mempelajari pola dalam data untuk mengekstrak fitur.
  
  Contoh kasus (0:31 - 1:27): Deteksi huruf X dalam gambar hitam-putih menggunakan konvolusi.
  
  Patch dan fitur (2:09 - 3:42): Model membandingkan patch gambar untuk menemukan fitur yang sama.
  
  Filter dan fitur (4:13 - 5:00): Filter menangkap elemen penting, seperti garis diagonal atau silang.
  
  Perkalian elemen-elemen (6:32 - 7:00): Konvolusi dilakukan dengan mengalikan elemen filter dan patch.
  
  Penggeseran filter (8:14 - 9:59): Filter bergeser di seluruh gambar untuk mendeteksi pola.
  
  Peta fitur (9:59 - 10:30): Peta fitur menunjukkan keselarasan filter dengan gambar.
  
  Filter berbeda (11:01 - 12:33): Filter dapat mendeteksi berbagai pola, seperti penghalusan atau deteksi tepi.
- 6.5.Convolutional Neural Network (CNN) Interactive Content
  Video ini menjelaskan tentang struktur dasar jaringan saraf konvolusional (CNN), mulai dari operasi konvolusi, penerapan nonlinearitas, hingga pooling, serta bagaimana jaringan tersebut mempelajari fitur dari gambar untuk keperluan klasifikasi dan deteksi objek. Berikut adalah poin-poin penjelasan dari video tersebut dalam urutan waktu:
  
  0:05-0:16: Operasi konvolusi membentuk jaringan konvolusional (CNN) untuk klasifikasi gambar.
  
  0:35-0:50: CNN mempelajari fitur dari data mentah untuk klasifikasi dan deteksi objek.
  
  0:54-1:07: Konvolusi menghasilkan peta fitur dari gambar.
  
  1:30-1:44: Nonlinearitas diterapkan untuk menangani data nonlinear.
  
  1:52-2:11: Pooling mengurangi ukuran gambar.
  
  2:30-2:47: Fitur diberikan ke jaringan saraf untuk inferensi skor kelas.
  
  3:18-3:44: Neuron di lapisan tersembunyi melakukan konvolusi dengan input lokal.
  
  4:42-5:09: Konvolusi menghitung elemen dengan bobot dan aktivasi nonlinear.
  
  6:01-6:18: Konvolusi mendeteksi beberapa filter dalam gambar.
  
  7:00-7:30: CNN menghasilkan volume gambar dengan kedalaman sesuai jumlah filter.
  
  8:03-8:16: Koneksi neuron ditentukan oleh bidang reseptif.
  
  8:53-9:16: Rangkuman tentang konektivitas dan volume fitur dalam CNN.
- 6.6. Non Linearity & Pooling Interactive Content
  Video ini menjelaskan bagaimana lapisan konvolusional dan pooling dalam jaringan saraf konvolusional (CNN) mengekstrak fitur, menerapkan nonlinearitas, dan mengurangi dimensi gambar untuk memfasilitasi klasifikasi gambar menggunakan fungsi aktivasi ReLU dan softmax. Berikut adalah poin-poin ringkas dari video tersebut:
  
  0:06-0:12: Lapisan konvolusional mengekstrak fitur dan menerapkan nonlinearitas.
  
  0:45-0:50: Fungsi aktivasi ReLU mengubah nilai negatif menjadi nol.
  
  2:03-2:14: ReLU membantu menangani data nonlinear dan populer karena efisiensinya.
  
  3:03-3:19: Pooling mengurangi dimensi gambar untuk mempercepat pelatihan.
  
  3:42-4:05: Max pooling mengambil nilai maksimum dari jendela untuk menjaga informasi penting.
  
  6:06-6:25: Max pooling mengurangi ukuran peta fitur.
  
  6:32-7:12: CNN menyusun operasi konvolusi, nonlinearitas, dan pooling untuk mempelajari fitur dari level rendah hingga tinggi.
  
  8:22-8:38: Fitur yang dihasilkan digunakan untuk klasifikasi di lapisan fully connected.
  
  9:03-9:17: Fungsi softmax menghasilkan distribusi probabilitas dari fitur yang dihasilkan.
- 6.7. Arsitektur Berbagai Aplikasi Interactive Content
  Video ini menjelaskan penggunaan Convolutional Neural Networks (CNN) untuk klasifikasi, deteksi objek, dan segmentasi citra dalam aplikasi computer vision, termasuk contoh kasus kanker payudara dan metode deteksi objek berbasis Faster RCNN yang dioptimalkan untuk citra ultrasound. Berikut adalah poin-poin penjelasan dari video dalam urutan waktu:
  
  0:06 - Pengenalan penggunaan CNN untuk klasifikasi gambar.
  
  0:21 - CNN terdiri dari ekstraksi fitur dan klasifikasi.
  
  0:30 - Fleksibilitas CNN untuk berbagai aplikasi seperti deteksi objek dan segmentasi.
  
  1:48 - Contoh aplikasi CNN dalam klasifikasi kanker payudara.
  
  2:20 - CNN dapat digunakan untuk deteksi objek dengan menggambar kotak batas.
  
  4:03 - Deteksi objek melibatkan regresi dan klasifikasi; mengidentifikasi banyak objek dalam satu gambar.
  
  7:00 - Tantangan deteksi objek dengan banyak objek dalam satu scene.
  
  8:16 - Metode RCNN dan keterbatasannya.
  
  10:01 - Faster RCNN: versi lebih cepat dari RCNN.
  
  13:41 - Metode Hermawati dan Suciati 2018: kombinasi Faster RCNN dan ACF untuk deteksi objek ultrasound.
  
  16:47 - Semantic Segmentation menggunakan Fully Convolutional Network (FCN).
  
  21:03 - Kesimpulan: deep learning untuk computer vision mencakup klasifikasi, deteksi objek, dan segmentasi.
- Materi 6: Deep Convolutional Networks File
  Materi yang dibahas dalam PPT terlampir meliputi The Convolution Operation, Motivation, Pooling, Convolution and Pooling as an Infinitely Strong Prior, Variants of the Basic Convolution Function, Structured Outputs, Data Types, Efficient Convolution Algorithms, Random or Unsupervised Features, The Neuroscientific Basis for Convolutional Networks, Convolutional Networks and the History of Deep Learning.
- Kuis & Penugasan
- Kuis 6 : Deep Convolutional Networks Quiz
  Restricted Not available unless:
  The activity 6.1. Aplikasi Visi Komputer is marked complete
  The activity 6.2. Apa yang komputer lihat is marked complete
  The activity 6.3. Mempelajari Fitur Visual melalui Jaringan Saraf is marked complete
  The activity 6.4.Feature Extraction Case Study is marked complete
  The activity 6.5.Convolutional Neural Network (CNN) is marked complete
  The activity 6.6. Non Linearity & Pooling is marked complete
  The activity 6.7. Arsitektur Berbagai Aplikasi is marked complete
  
  Kuis ini berisi 10 soal pilihan berganda yang harus diselesaikan dalam 30 menit. Kalian mempunyai 2 kali kesempatan untuk melampaui passing grade 60. Nilai akhir adalah skor tertinggi dari 2 kali percobaan. Persiapkan baik-baik dengan mempelajari materi yang disajikan diatas sebelum memulai kuis. Selamat mengerjakan...
- Penugasan 6 : Deep Convolutional Networks Assignment
  Dalam penugasan 6 ini, kalian diminta bersama-sama dengan kelompok, menentukan contoh dataset gambar sesuai dengan topik yang dipilih pada penugasan 1 dan penugasan 2. Kemudian secara mandiri mensimulasikan proses langkah maju (forward pass) secara bertahap di setiap lapisan menggunakan algoritma convolutional neural network (CNN).
- Rubrik Penilaian Penugasan 6 File
  Rubrik ini sebagai panduan skoring dalam penilaian penugasan 6 dengan aspek dan bobot:
  
  Kompleksitas permasalahan (20%)
  
  Penentuan dataset (10%)
  
  Model jaringan (15%)
  
  Penentuan input simulasi (5%)
  
  Lapisan konvolusi (25%)
  
  Aktifasi ReLU (5%)
  
  Lapisan Pooling (10%)
  
  Jaringan Fully Connected Layer (10%)
- Diskusi
- Diskusi Deep Convolutional Networks Forum
  Forum ini sebagai sarana yang memfasilitasi kalian untuk menanyakan segala sesuatu yang terkait dengan materi ataupun tugas-tugas pada pertemuan ini. Ayo jangan malu-malu yaa...
7. Deep Sequence Modelling
Assalamu'alaikum wr wb

Adik-adik mahasiswa... Hari ini kita akan mempelajari jaringan deep sequence yang biasa disebut dengan Recurrent Neural Network (RNN). Model RNN biasanya digunakan untuk pembelajaran yang berbasis urutan, seperti urutan kata atau kalimat. Selamat belajar...

Apa tujuan dari pembelajaran pertemuan ini ? (sub-CPMK):

Sub-CPMK-5: Mampu menyelesaikan masalah komputasi kompleks dengan menerapkan prinsip-prinsip Pemodelan Sekuensial (Sequence Modeling) dalam pemelajaran mendalam [C3, A3]

Adapun Indikator dari pembelajaran kali ini adalah:
Ketepatan mengidentifikasi konsep dasar dan prinsip komputasi pada deep sequence modelling

Ketepatan dalam menerapkan prinsip model deep sequence untuk menyelesaikan permasalahan yang sesuai

Apa saja yang akan dipelajari?
Materi pembelajaran pada pertemuan kali ini meliputi:
- Introduction to Sequence Modelling
  
  Konsep pemrosesan data berurutan menggunakan jaringan saraf, termasuk prediksi, klasifikasi, dan penerjemahan dalam berbagai model sekuensial.
Neurons With Recurrence Interactive Content
Konsep dasar pemodelan urutan dalam jaringan saraf, memperkenalkan perceptron, hubungan temporal antar-langkah waktu, dan pengenalan sel berulang (recurrent cell) dalam Recurrent Neural Networks (RNN).
Recurrent Neural Network (RNN)

Konsep dan mekanisme kerja Recurrent Neural Networks (RNN), termasuk pembaruan status tersembunyi, penggunaan bobot, dan proses pembelajaran melalui backpropagation.

RNN for Sequence Modelling

Bagaimana Recurrent Neural Networks (RNN) mengatasi tantangan dalam pemodelan urutan dengan menangani panjang variabel, ketergantungan jangka panjang, dan menjaga informasi urutan melalui teknik seperti embedding dan backpropagation
Backpropagation Through Time

Cara kerja RNN, terutama dalam pemodelan data berurutan, pelatihan dengan backpropagation through time, serta solusi seperti LSTM untuk mengatasi masalah vanishing gradients dalam mempelajari ketergantungan jangka panjang
- Contoh Proses Backpropagation Through Time (Forward Pass)
  
  Proses pembelajaran RNN menggunakan contoh input kata "HELLO," termasuk forward pass, perhitungan hidden state, dan output prediksi huruf terakhir menggunakan one-hot encoding dan fungsi softmax.
- Contoh Proses Backpropagation Through Time (Backward Pass)
  
  Proses backward pass dalam RNN, termasuk perhitungan cross-entropy loss, gradien dengan BPTT, dan pembaruan bobot serta hidden state
- Long Short-Term Memory (LSTM)
  
  Perbandingan antara RNN dan LSTM, menyoroti cara kerja LSTM dengan tiga gate (Forget, Input, Output) yang mengontrol aliran informasi dan memori untuk menangani ketergantungan kompleks dalam urutan data.
RNN Application & Limitation

Beberapa contoh aplikasi yang menerapkan model RNN serta beberapa kelemahan dari model RNN.

Attention

Mekanisme attention dalam jaringan saraf, terutama bagaimana self-attention bekerja untuk mengidentifikasi dan mengekstrak bagian penting dari input, menggunakan contoh pencarian video di YouTube.

Learning Attention

Bagaimana self-attention dalam arsitektur Transformer memungkinkan pemrosesan urutan data secara bersamaan dengan menyoroti fitur relevan menggunakan positional encoding, query, key, dan value
Kembali bersama ibu Fajar Astuti yang akan menjelaskan materi pada pertemuan kali ini. Yuks kita dengar penjelasan awal dari ibu Fajar sebelum membahas materi lebih jauh. .

Dalam video tersebut, selain menjelaskan capaian pembelajaran, pada menit 0:44-1:18: dikenalkan Recurrent Neural Network (RNN) sebagai model sequence, perbedaannya dengan model lain, dan pembelajaran melalui Back Propagation Through Time. kemudian diikuti pembahasan mengenai hal-hal berikut:
- 1:18-1:57: Pembahasan tentang tipe-tipe RNN, termasuk Long Short-Term Memory (LSTM).
- 1:57-2:28: Pengenalan data sequence, seperti data suara, musik, bahasa alami, DNA, protein, dan video.
- 2:28-4:30: Contoh penggunaan RNN dalam berbagai data sequence, seperti pengenalan entitas nama dalam teks (Named Entity Recognition).
- 4:30-6:05: Penjelasan tentang cara kerja RNN yang bersifat sekuensial dan berulang (looping), dan pengenalan konsep Deep Sequence Network
Metode Pembelajaran

Define : Mahasiswa berlatih menganalis hasil observasi dan eksplorasinya terhadap suatu isu dari sudut pandang Deep feedforward network, Deep convolutional network, deep sequence modelling, dan Deep Generative Modeling
- setelah menyimak penjelasan diatas, adik-adik mahasiswa, bisa belajar secara mandiri melalui video interaktif.
- Jangan lupa unduh materi PPT nya.
- Setelah kalian memahaminya, kerjakan kuis keseluruhan materi. Kuis ini dapat dikerjakan jika adik-adik sudah menyelesaikan (menonton sampai selesai dan menjawab kuis) seluruh video interaktif.
- Penugasan Terstruktur 7 (Kelompok & Mandiri): Mahasiswa belajar mencari akar permasalahan dari isu yang dipilih menggunakan pendekatan Deep convolutional network, deep sequence modelling, dan Deep Generative Modelling.
- Diskusikan jika ada hal-hal yang belum kalian fahami pada forum diskusi yang disediakan. Jangan sungkan menanyakan hal yang kurang difahami dalam forum diskusi. Selamat belajar dan tetap semangat...
- Video & Materi
- 7.1. Introduction to Sequence Modelling Interactive Content
  Video tersebut menjelaskan konsep pemrosesan data berurutan menggunakan jaringan saraf, termasuk prediksi, klasifikasi, dan penerjemahan dalam berbagai model sekuensial. Berikut ringkasan poin-poin video berdasarkan urutan waktu:
  
  0:05 - 0:31: Fokus pada pemrosesan data berurutan dengan jaringan saraf, mulai dari intuisi hingga konsep.
  
  0:31 - 0:46: Melanjutkan pembahasan model perseptron dan feed-forward.
  
  0:46 - 1:37: Contoh prediksi pergerakan bola, menunjukkan pentingnya informasi masa lalu untuk akurasi prediksi.
  
  1:37 - 2:32: Data sekuensial ada dalam suara dan gelombang audio.
  
  2:32 - 3:32: Teks juga data sekuensial yang bisa dipecah untuk analisis.
  
  3:32 - 4:39: Data sekuensial dalam EKG, saham, DNA, dan video.
  
  4:39 - 5:40: Klasifikasi biner one-to-one dalam jaringan saraf.
  
  5:40 - 6:48: Model many-to-one untuk analisis sentimen dalam teks.
  
  6:48 - 7:12: Model one-to-many untuk image captioning (contoh: gambar jadi teks).
  
  7:12 - 8:12: Model many-to-many untuk penerjemahan bahasa.
- 7.2. Neurons With Recurrence Interactive Content
  Restricted Not available unless: The activity 7.1. Introduction to Sequence Modelling is marked complete
  Video tersebut menjelaskan konsep dasar pemodelan urutan dalam jaringan saraf, memperkenalkan perseptron, hubungan temporal antar-langkah waktu, dan pengenalan sel berulang (recurrent cell) dalam Recurrent Neural Networks (RNN). Berikut poin-poin penjelasan dari video secara ringkas:
  
  0:05-0:24: Tantangan pemodelan urutan dalam pembelajaran mesin dengan mempertimbangkan aspek temporal.
  
  0:26-1:15: Penjelasan model perseptron, kombinasi input, bobot, dan fungsi aktivasi untuk menghasilkan output.
  
  1:18-1:55: Model perseptron masih memproses input statis tanpa memperhitungkan urutan atau waktu.
  
  2:00-3:09: Model diterapkan di setiap langkah waktu, namun tidak ada hubungan antar-langkah waktu.
  
  3:12-5:18: Perlunya mempertimbangkan hubungan antar-langkah waktu dalam pemrosesan data berurutan.
  
  5:24-7:55: Pengenalan variabel "H" sebagai keadaan jaringan saraf yang diturunkan antar-langkah waktu.
  
  8:00-9:01: Konsep "sel berulang" (recurrent cell) yang menggabungkan memori langkah sebelumnya dengan input saat ini.
- 7.3. Recurrent Neural Network (RNN) Interactive Content
  Restricted Not available unless: The activity 7.2. Neurons With Recurrence is marked complete
  Video ini menjelaskan konsep dan mekanisme kerja Recurrent Neural Networks (RNN), termasuk pembaruan status tersembunyi, penggunaan bobot, dan proses pembelajaran melalui backpropagation. Berikut adalah poin-poin penjelasan dari video dalam urutan waktu:
  
  0:03 - Pengenalan RNN (Recurrent Neural Networks) untuk pemodelan urutan.
  
  0:18 - RNN sebagai fondasi penting dalam pemodelan data berurutan.
  
  0:43 - Pembaruan status $H_T$ dan hubungan pengulangan.
  
  1:17 - Bobot $W$ untuk memproses input dan informasi sebelumnya.
  
  2:13 - Proses pembaruan status tersembunyi dan pembuatan output.
  
  3:52 - Fungsi aktivasi untuk menghasilkan prediksi output.
  
  6:22 - Pembelajaran bobot melalui kerugian dan backpropagation.
  
  8:02 - Pentingnya perkalian matriks dalam RNN.
- 7.4. RNN for Sequence Modelling Interactive Content
  Restricted Not available unless: The activity 7.3. Recurrent Neural Network (RNN) is marked complete
  Video ini menjelaskan bagaimana Recurrent Neural Networks (RNN) mengatasi tantangan dalam pemodelan urutan dengan menangani panjang variabel, ketergantungan jangka panjang, dan menjaga informasi urutan melalui teknik seperti embedding dan backpropagation. Berikut adalah poin-poin ringkas dari video:
  
  0:05 - Memahami urutan penting dalam pemodelan.
  
  0:10 - Penjelasan tentang vanilla neural network untuk klasifikasi biner.
  
  0:27 - Model bisa menghasilkan output di setiap langkah waktu.
  
  1:03 - Tantangan dalam model sekuensial.
  
  3:25 - RNN (Recurrent Neural Networks) menangani masalah ini.
  
  4:04 - Contoh: memprediksi kata dalam kalimat.
  
  5:14 - Jaringan saraf memerlukan input numerik.
  
  6:36 - Embedding mengubah bahasa menjadi vektor numerik.
  
  10:01 - Menangani urutan dengan panjang variabel.
  
  11:07 - Ketergantungan jangka panjang memerlukan informasi dari awal urutan.
  
  13:08 - Memahami makna urutan penting untuk akurasi prediksi.
  
  13:36 - Implementasi pembelajaran RNN dengan backpropagation.
- 7.5. Backpropagation Through Time Interactive Content
  Restricted Not available unless: The activity 7.4. RNN for Sequence Modelling is marked complete
  Video ini menjelaskan cara kerja RNN, terutama dalam pemodelan data berurutan, pelatihan dengan backpropagation through time, serta solusi seperti LSTM untuk mengatasi masalah vanishing gradients dalam mempelajari ketergantungan jangka panjang. Berikut adalah ringkasan dari materi dalam video interaktif:
  
  0:06: Penjelasan RNN dan pemodelan urutan.
  
  0:19: RNN menangani data berurutan.
  
  0:30: Pelatihan RNN dengan backpropagation.
  
  1:05: Forward pass menghasilkan output; backpropagation meng-update bobot.
  
  2:26: Backpropagation menghitung gradien.
  
  3:12: Backpropagation through time (BPTT) diterapkan.
  
  4:01: Menghitung loss dan gradien untuk backpropagation.
  
  5:02: Masalah exploding dan vanishing gradients.
  
  9:41: Vanishing gradients hambat pembelajaran jangka panjang.
  
  11:33: Solusi: ReLU dan inisialisasi bobot.
  
  15:10: LSTM menggunakan gate untuk kelola informasi jangka panjang.
  
  17:59: LSTM lebih efisien dari RNN dalam data sekuensial panjang.
- 7.5.1.Contoh Proses Backpropagation Through Time (Forward Pass) Interactive Content
  Restricted Not available unless: The activity 7.5. Backpropagation Through Time is marked complete
  Video ini menjelaskan proses pembelajaran RNN menggunakan contoh input kata "HELLO," termasuk forward pass, perhitungan hidden state, dan output prediksi huruf terakhir menggunakan one-hot encoding dan fungsi softmax. Berikut adalah poin-poin ringkas dari video tersebut dalam urutan waktu:
  
  0:05 - 0:24: Penjelasan tentang proses pembelajaran RNN, dimulai dengan forward pass.
  
  0:28 - 1:19: Contoh input kata "HELLO" untuk memprediksi huruf terakhir "O".
  
  2:00 - 2:38: Input dimasukkan tiap waktu (XT), menghitung hidden state (HT) menggunakan fungsi tanh.
  
  3:01 - 3:30: HT saat ini digunakan sebagai input untuk langkah waktu berikutnya.
  
  4:04 - 4:16: HT terakhir digunakan untuk menghitung output (YT).
  
  4:34 - 5:16: Penjelasan one-hot encoding untuk huruf "H", "E", "L", dan "O".
  
  5:56 - 7:19: Forward propagation menghitung hidden state menggunakan bobot WXH dan input XT.
  
  8:03 - 8:50: Perhitungan hidden state untuk huruf pertama "H" tanpa hidden state sebelumnya.
  
  9:03 - 12:40: Proses penghitungan hidden state untuk huruf kedua "E" dan seterusnya.
  
  13:10 - 14:09: Penghitungan output dari hidden state menggunakan bobot W.
  
  15:01 - 16:20: Probabilitas output dihitung menggunakan fungsi softmax.
- 7.5.2. Contoh Proses Backpropagation Through Time (backward pass) Interactive Content
  Restricted Not available unless: The activity 7.5.1.Contoh Proses Backpropagation Through Time (Forward Pass) is marked complete
  Video ini menjelaskan proses backward pass dalam RNN, termasuk perhitungan cross-entropy loss, gradien dengan BPTT, dan pembaruan bobot serta hidden state. Berikut adalah poin-poin penjelasan video yang lebih ringkas:
  
  0:28: RNN digunakan untuk memprediksi huruf kelima dari "Hello".
  
  1:06: Fokus pada backward pass setelah forward pass.
  
  1:20: Hitung error dengan cross-entropy loss.
  
  2:07: Keluaran model adalah "H", seharusnya "O".
  
  3:23: Gabungkan loss dari setiap waktu untuk total loss.
  
  4:10: Penurunan gradien dari output ke input dengan BPTT.
  
  5:10: Gradien digabungkan dari semua langkah waktu untuk memperbarui bobot.
  
  6:13: Hitung gradien loss terhadap softmax dan output.
  
  8:00: Update hidden state (HT) dan bobot Why.
  
  9:21: Gunakan gradien untuk menghitung pembaruan bobot whh dan wxh.
- 7.6. Long Short-Term Memory (LSTM) Interactive Content
  Restricted Not available unless: The activity 7.5.2. Contoh Proses Backpropagation Through Time (backward pass) is marked complete
  Video ini menjelaskan perbandingan antara RNN dan LSTM, menyoroti cara kerja LSTM dengan tiga gate (Forget, Input, Output) yang mengontrol aliran informasi dan memori untuk menangani ketergantungan kompleks dalam urutan data. Berikut poin-poin penjelasan dari video tersebut:
  
  0:33 - RNN menghitung output dari input berurutan dan menggunakan hasilnya untuk langkah berikutnya.
  
  1:18 - LSTM memiliki memori internal yang menyimpan dan mengambil informasi dari langkah waktu sebelumnya.
  
  2:01 - LSTM memperbarui status sel dengan menggunakan status internal, input, dan output sebelumnya.
  
  2:38 - LSTM memiliki tiga gerbang (Forget, Input, Output) untuk mengontrol aliran informasi.
  
  3:00 - Gerbang menentukan apakah informasi disimpan, diabaikan, atau diingat.
  
  4:09 - Gerbang mengontrol seberapa banyak informasi baru disimpan dan output yang dihasilkan.
  
  5:00 - LSTM lebih kompleks dari RNN, memungkinkan pembelajaran ketergantungan yang lebih kompleks.
  
  5:35 - Tiga gerbang LSTM (Forget, Input, Output) memiliki fungsi spesifik masing-masing.
  
  6:02 - Setiap gerbang melakukan perkalian elemen dengan fungsi aktivasi.
  
  6:40 - Variabel penting LSTM: CT-1 (status sel sebelumnya), FT, IT, dan C' (kandidat memori).
  
  7:41 - Proses LSTM dimulai dengan penjumlahan HT-1 dan XT, yang kemudian diproses oleh Forget gate dan Input gate untuk menghasilkan status dan hidden state baru.
- 7.7. RNN Application & Limitation Interactive Content
  Restricted Not available unless: The activity 7.6. Long Short-Term Memory (LSTM) is marked complete
  Video ini memberikan beberapa contoh aplikasi yang menerapkan model RNN serta beberapa kelemahan dari model RNN, diantaranya:
  
  0:36 - aplikasi music generation, yang digunakan untuk mengenerate not-not dari deretan not music yang belum selesai.
  
  2:19 - aplikasi sentiment classification
  
  3: 03 - menjabarkan kekurangan dari model RNN
  
  5.30 - mengingatkan tujuan dari pemodelan urutan
  
  8:07 - mengatasi kekurangan dari model RNN dengan model attention
- 7.8. Attention Interactive Content
  Restricted Not available unless: The activity 7.7. RNN Application & Limitation is marked complete
  Video menjelaskan mekanisme attention dalam jaringan saraf, terutama bagaimana self-attention bekerja untuk mengidentifikasi dan mengekstrak bagian penting dari input, menggunakan contoh pencarian video di YouTube. Berikut adalah ringkasan poin-poin penjelasan dari video:
  
  0:05 - Attention membantu memproses tugas urutan dalam jaringan saraf.
  
  0:22 - Transformer menggunakan attention sebagai mekanisme utama.
  
  1:09 - Attention membantu menentukan bagian penting dari input.
  
  1:25 - Self-attention memfokuskan pada bagian input itu sendiri.
  
  2:03 - Contoh: Fokus manusia pada elemen penting seperti Iron Man dalam gambar.
  
  2:42 - Attention membantu mengidentifikasi dan mengekstrak fitur relevan dari input.
  
  3:38 - Contoh: Mencari video di YouTube menggunakan kata kunci.
  
  4:20 - Model membandingkan query dengan kunci untuk menentukan kesamaan.
  
  5:44 - Attention menghitung kecocokan query dan kunci, menarik informasi relevan.
  
  6:59 - Memahami komponen attention penting untuk memahami proses matematisnya dalam model urutan.
- 7.9. Learning Attention Interactive Content
  Restricted Not available unless: The activity 7.8. Attention is marked complete
  Video ini menjelaskan bagaimana self-attention dalam arsitektur Transformer memungkinkan pemrosesan urutan data secara bersamaan dengan menyoroti fitur relevan menggunakan positional encoding, query, key, dan value. Berikut adalah poin-poin penjelasan dari video :
  
  0:04 - Self-attention dalam Transformer memfokuskan pada fitur relevan dari input.
  
  0:25 - Berbeda dari RNN, self-attention memproses seluruh urutan secara bersamaan.
  
  1:03 - Positional encoding menambahkan informasi posisi pada input untuk memahami urutan.
  
  3:07 - Query, key, dan value dihasilkan dari input melalui lapisan jaringan saraf terpisah.
  
  4:55 - Bobot attention dihitung dengan kesamaan antara query dan key menggunakan dot product.
  
  7:38 - Fitur dengan attention tertinggi diekstrak dengan mengalikan bobot attention dengan value.
  
  9:45 - Attention adalah dasar dari arsitektur Transformer.
  
  10:00 - Contoh penggunaan bobot attention dalam gambar untuk fokus pada elemen penting.
  
  11:01 - Self-attention digunakan dalam language processing, biological sequences, dan computer vision.
- Materi 7: Deep Sequence Modelling File
  PPT ini membahas model pemodelan sekuensial dalam deep learning, termasuk Recurrent Neural Networks (RNN), berbagai jenisnya, dan cara kerja LSTM untuk mengatasi masalah seperti vanishing gradients dalam pemrosesan data berurutan
- Kuis & Penugasan
- Kuis 7: Deep Sequence Modelling Quiz
  Restricted Not available unless:
  The activity 7.1. Introduction to Sequence Modelling is marked complete
  The activity 7.2. Neurons With Recurrence is marked complete
  The activity 7.3. Recurrent Neural Network (RNN) is marked complete
  The activity 7.4. RNN for Sequence Modelling is marked complete
  The activity 7.5. Backpropagation Through Time is marked complete
  The activity 7.5.1.Contoh Proses Backpropagation Through Time (Forward Pass) is marked complete
  The activity 7.5.2. Contoh Proses Backpropagation Through Time (backward pass) is marked complete
  The activity 7.6. Long Short-Term Memory (LSTM) is marked complete
  The activity 7.7. RNN Application & Limitation is marked complete
  The activity 7.8. Attention is marked complete
  The activity 7.9. Learning Attention is marked complete
  
  Kuis ini berisi 20 soal pilihan berganda yang harus diselesaikan dalam 60 menit. Kalian mempunyai 2 kali kesempatan untuk melampaui passing grade 60. Nilai akhir adalah skor tertinggi dari 2 kali percobaan. Persiapkan baik-baik dengan mempelajari materi yang disajikan diatas sebelum memulai kuis. Selamat mengerjakan...
- Penugasan 7: Deep Sequence Modelling Assignment
  Restricted Not available unless: The activity Kuis 7: Deep Sequence Modelling is marked complete
  Pada tugas ini, kalian diminta untuk mengubah dataset menjadi data sekuensial (time series), memodelkannya dengan Recurrent Neural Network (RNN), dan melakukan simulasi proses forward propagation dengan aktivasi tanh dan softmax, menggunakan bobot awal yang dihasilkan secara manual tanpa bantuan Python atau alat serupa.
- Rubrik Penugasan 7: Deep Sequence Modelling File
  Rubrik penugasan ini mempunyai komponen penilaian:
  
  Penentuan dataset (20%)
  
  Model jaringan (15%)
  
  Generate bobot awal (15%)
  
  Forward propagation (50%)
- Diskusi
- Forum Diskusi 7 Deep Sequence Modelling
  Jika kalian masih bingung? ayuk diskusikan pada forum ini.
8. Evaluasi Tengah Semester
Assalamu'alaikum wr wb

Adik-adik mahasiswa... soal evaluasi tengah semester meliputi soal-soal pilihan berganda untuk materi pada sub-cpmk 2, sub cpmk 3 dan sub cpmk 4. Sebelum mengerjakan soal-soal evaluasi tengah semester, pastikan seluruh kuis dan tugas pada pertemuan 1 - 7 telah selesai dikerjakan. Selamat mengerjakan dan semoga sukses..

Sub Capaian Pembelajaran:

Sub-CPMK-2: Mampu menyelesaikan masalah komputasi kompleks dengan menerapkan prinsip-prinsip jaringan syaraf tiruan dalam (deep feedforward network) serta regularisasi dan optimisasi pembelajaran dalam pemelajaran mendalam [C3, A3]

Sub-CPMK-3: Mampu menyelesaikan masalah komputasi kompleks dengan menerapkan prinsip-prinsip Jaringan Konvolusi (Convolutional Networks) dalam pemelajaran mendalam [C3, A3]

Sub-CPMK-4: Mampu menyelesaikan masalah komputasi kompleks dengan menerapkan prinsip-prinsip Pemodelan Sekuensial (Sequence Modeling) dalam pemelajaran mendalam [C3, A3]

Indikator:
- Ketepatan dalam mengidentifikasi prinsip-prinsip komputasi pada jaringan syaraf tiruan
- Ketepatan dalam mengidentifikasi teknik-teknik regularisasi pada pembelajaran dengan deep learning
- Ketepatan dalam mengidentifikasi teknik-teknik optimisasi pada pembelajaran dengan deep learning
- Ketepatan mengidentifikasi konsep dan prinsip komputasi pada convolutional network
- Ketepatan mengidentifikasi konsep dasar dan prinsip komputasi pada deep sequence modelling
- Evaluasi Tengah Semester Quiz
  Restricted Not available unless:
  The activity Kuis 1: Konsep Dasar Deep Learning is marked complete
  The activity Kuis 2 : Matematika Untuk Mesin Pemelajar is marked complete
  The activity Kuis 3 : Deep Feedforward Networks is marked complete
  The activity Kuis 4: Regularization For Deep Learning is marked complete
  The activity Kuis 5: Optimization for Deep Learning is marked complete
  The activity Kuis 6 : Deep Convolutional Networks is marked complete
  The activity Kuis 7: Deep Sequence Modelling is marked complete
  The activity Penugasan 1: Meringkas literatur Deep Learning is marked complete
  The activity Penugasan 2: Identifikasi permasalahan matematika dan machine learning is marked complete
  The activity Penugasan 3: Deep Feedforward Networks is marked complete
  The activity Penugasan 4 : Identifikasi Teknik Regularisasi is marked complete
  The activity Penugasan 5: Identifikasi Algoritma Optimasi is marked complete
  The activity Penugasan 6 : Deep Convolutional Networks is marked complete
  The activity Penugasan 7: Deep Sequence Modelling is marked complete
  
  Evaluasi ini berisi 10 soal pilihan berganda dan 5 soal eassy yang harus diselesaikan dalam 60 menit. Kalian hanya mempunyai 1 kali kesempatan untuk melampaui passing grade 60. Sebagai syarat untuk mengikuti ETS, kalian harus sudah menyelesaikan Kuis 1-Kuis 7 dan penugasan 1 - penugasan 7. Perhatikan juga batas waktu pengerjaannya. Persiapkan baik-baik dengan mempelajari materi yang disajikan pada pertemuan 1 sampai pertemuan 7. Selamat mengerjakan...
9. Deep Generative Modeling
Assalamu'alaikum wr wb

Adik-adik mahasiswa... Hari ini kita akan mempelajari Deep Generative Modelling. Model generative ini yang banyak digunakan untuk membangkitkan gambar-gambar dengan input teks tertentu atau digunakan untuk mendapatkan gambar dengan kualitas yang baik atau halus. Model yang paling populer adalah Generative Adversarial Network (GAN). Yuk kita simak bersama. Selamat belajar...

Apa tujuan dari pembelajaran pertemuan ini ? (sub-CPMK):

Sub-CPMK-5: Mampu menyelesaikan masalah komputasi kompleks dengan menerapkan prinsip-prinsip Pemodelan Generatif (Generative Modeling) dalam pemelajaran mendalam [C3, A3]

Adapun Indikator dari pembelajaran kali ini adalah:
Ketepatan mengidentifikasi konsep dasar dan prinsip komputasi Generative Modeling dalam deep learning

Ketepatan dalam menerapkan prinsip komputasi Generative Modeling dalam deep learning untuk menyelesaikan sebuah permasalahan

Apa saja yang akan dipelajari?
Materi pembelajaran pada pertemuan kali ini meliputi:
- Autoregressive Models
  
  Autoregressive models, dan bagaimana model ini dapat menghasilkan data sintetis yang realistis melalui proses unsupervised learning, dengan aplikasi pada berbagai domain seperti deteksi wajah.
- Autoencoders
  
  Konsep Autoencoders dan Variational Autoencoders (VAE) sebagai metode pembelajaran tanpa pengawasan yang mengkodekan data ke dalam ruang laten berdimensi rendah dan merekonstruksi kembali data sambil memperkenalkan elemen probabilistik untuk menghasilkan contoh baru.
- Normalizing Flow Model
  
  Model normalizing flow, yang menggunakan transformasi invertibel dan neural networks untuk mengevaluasi probabilitas distribusi data melalui hubungan deterministik antara variabel observasi dan latent.
- Generative Adversarial Networks (GAN)
  
  Generative Adversarial Networks (GAN), yang melibatkan dua jaringan saraf—generator dan diskriminator—yang bersaing untuk menghasilkan data palsu yang realistis, dengan fokus pada bagaimana generator memproses input untuk meningkatkan kualitas gambar dari resolusi rendah menjadi tinggi.
- Discriminator
  
  Diskriminator dalam Generative Adversarial Network (GAN) yang berfungsi sebagai kritikus untuk membedakan antara data asli dan data palsu yang dihasilkan oleh generator, memberikan umpan balik untuk meningkatkan kualitas data yang dihasilkan.
Kali ini kita akan belajar bersama bapak Bagus. Pada bagian awal ini, pak Bagus menjelaskan kepada kita mengenai aplikasi populer GAN. Kita simak yuk penjelasan dari bapak Bagus.

Pada video tersebut, pak Bagus menjelaskan mengenai hal-hal berikut sesuai urutan waktu:
- 0:14 - 0:34: membahas tentang Generative Adversarial Networks (GAN) dan tujuan pembelajaran, yaitu memahami konsep generatif dan menerapkannya.
- 0:40 - 1:19: menjelaskan model diskriminatif (klasifikasi) dan model generatif (merangkum distribusi input dan menghasilkan contoh baru).
- 2:43 - 3:37: menjelaskan tentang GAN dan arsitekturnya: generator menghasilkan data baru, discriminator mengklasifikasikannya.
- 4:05 - 5:26: menjelaskan pemanfaatan GAN yang digunakan untuk data augmentation dalam pembelajaran mendalam, menghasilkan data artifisial yang masuk akal.
- 5:29 - 6:27: memamparkan keuntungan pemodelan generatif yang menawarkan augmentasi data yang lebih spesifik, terutama pada domain dengan data terbatas.
- 6:31 - 6:57: menunjukkan kesuksesan GAN di berbagai domain dan pentingnya penelitian lebih lanjut.
Metode Pembelajaran

Define : Mahasiswa berlatih menganalis hasil observasi dan eksplorasinya terhadap suatu isu dari sudut pandang Deep feedforward network, Deep convolutional network, deep sequence modelling, dan Deep Generative Modeling
- Nah, setelah ini, Bapak Bagus akan menjelaskan lebih detail apa-apa yang perlu kalian pelajari pada pertemuan hari ini. Yuk kita simak paparannya yang telah disusun secara berurutan pada video interaktif.
- Materi dalam bentuk PPT juga dapat diunduh untuk kalian mendapatkan bahan kajian yang lebih lengkap.
- Setelah kalian memahaminya, kerjakan kuis secara keseluruhan. Kuis ini dapat dikerjakan jika adik-adik sudah menyelesaikan (menonton sampai selesai dan menjawab kuis) seluruh video interaktif.
- Penugasan Terstruktur 8 (Kelompok & Mandiri): Mahasiswa belajar mencari akar permasalahan dari isu yang dipilih menggunakan pendekatan Deep Generative Modelling.
- Diskusikan jika ada hal-hal yang belum kalian fahami pada forum diskusi yang disediakan. Ayo berikan juga pendapat kalian pada forum diskusi.
- Video & Materi
- 9.1. Autoregressive Models Interactive Content
  Video ini menjelaskan tentang Deep Generative Modeling, khususnya autoregressive models, dan bagaimana model ini dapat menghasilkan data sintetis yang realistis melalui proses unsupervised learning, dengan aplikasi pada berbagai domain seperti deteksi wajah. Berikut adalah ringkasan poin-poin video beserta urutan waktunya:
  
  0:13 - 0:25: Memberikan contoh tiga wajah yang tampak asli, namun semuanya adalah hasil sintesis oleh generative model, dimana demonstrasi ini menunjukkan kekuatan generative modeling dalam menghasilkan data realistis.
  
  1:07 - 1:32: Penjelasan perbedaan antara supervised learning (data berlabel) dan unsupervised learning (data tanpa label).
  
  2:15 - 2:41: Generative modeling sebagai contoh unsupervised learning yang mempelajari distribusi data dan menghasilkan data baru.
  
  2:44 - 3:23: Dua bentuk utama generative modeling: density estimation dan sample generation.
  
  3:53 - 4:14: Aplikasi generative modeling di dunia nyata dengan dampak besar.
  
  4:40 - 5:21: Contoh penggunaan dalam deteksi wajah, mengidentifikasi fitur tanpa pelabelan manual.
- 9.2. Autoencoders Interactive Content
  Restricted Not available unless: The activity 9.1. Autoregressive Models is marked complete
  Video ini menjelaskan konsep Autoencoders dan Variational Autoencoders (VAE) sebagai metode pembelajaran tanpa pengawasan yang mengkodekan data ke dalam ruang laten berdimensi rendah dan merekonstruksi kembali data sambil memperkenalkan elemen probabilistik untuk menghasilkan contoh baru. Berikut adalah poin-poin ringkas dari video dalam urutan waktu:
  
  0:03 - Autoencoders digunakan untuk pembelajaran fitur berdimensi rendah tanpa label.
  
  0:09 - Model ini melibatkan encoding data ke latent space dan rekonstruksi data kembali.
  
  0:12 - Proses rekonstruksi bertujuan meminimalkan perbedaan antara input dan output.
  
  0:25 - Variational Autoencoders (VAE) menambahkan elemen acak untuk menghasilkan data baru.
  
  0:32 - VAE menggunakan distribusi probabilitas untuk latent variables dan memiliki dua jenis loss: reconstruction dan regulation.
- 9.3. Normalizing Flow Model Interactive Content
  Restricted Not available unless: The activity 9.2. Autoencoders is marked complete
  Video ini membahas model normalizing flow, yang menggunakan transformasi invertibel dan neural networks untuk mengevaluasi probabilitas distribusi data melalui hubungan deterministik antara variabel observasi dan latent, dengan rincian sebagai berikut:
  
  Pengantar (0:05): Membahas normalizing flow model, mirip dengan latent variable model tanpa variational inference.
  
  Variabel (0:12): Terdapat dua set variabel: observasi $x$ dan latent $z$ , dengan hubungan deterministik.
  
  Transformasi (0:20): Sampel $x$ diperoleh dari distribusi Gaussian berdasarkan $z$ melalui transformasi invertibel $F_\theta$ .
  
  Neural Network (0:30): Pemetaan diparameterisasi oleh neural network, memungkinkan pemetaan balik ke $z$ .
  
  Probabilitas (0:46): Likelihood transformation digunakan untuk mengevaluasi probabilitas titik data $x$ dan mendapatkan probability density function (PDF).
  
  Marginal Likelihood (1:01): Menghitung marginal likelihood $P(x)$ melibatkan determinan Jacobian dari pemetaan invers.
- 9.4. Generative Adversarial Networks (GAN) Interactive Content
  Restricted Not available unless: The activity 9.3. Normalizing Flow Model is marked complete
  Video ini menjelaskan tentang Generative Adversarial Networks (GAN), yang melibatkan dua jaringan saraf—generator dan diskriminator—yang bersaing untuk menghasilkan data palsu yang realistis, dengan fokus pada bagaimana generator memproses input untuk meningkatkan kualitas gambar dari resolusi rendah menjadi tinggi. Berikut adalah pembahasan utama dari video berdasarkan urutan waktu:
  
  0:05 - 0:10: Pengantar materi tentang Generative Adversarial Networks (GAN).
  
  0:13 - 0:24: Penjelasan tentang dua jaringan saraf dalam GAN: generator dan diskriminator.
  
  0:34 - 1:06: Fungsi generator untuk menghasilkan data palsu dan diskriminator untuk membedakan data asli dan palsu.
  
  1:29 - 2:40: Proses generator yang menerima vektor acak (noise) dan mengubahnya menjadi data kompleks.
  
  3:34 - 4:27: Tujuan generator untuk menipu diskriminator dan umpan balik dari diskriminator untuk perbaikan.
  
  5:04 - 6:40: Proses peningkatan resolusi gambar dari rendah ke tinggi, termasuk detail yang lebih tajam.
  
  9:32 - 10:11: Aplikasi teknologi super-resolusi dalam dunia nyata, seperti gambar medis dan video berkualitas rendah.
- 9.5. Discriminator Interactive Content
  Restricted Not available unless: The activity 9.4. Generative Adversarial Networks (GAN) is marked complete
  Video ini menjelaskan tentang diskriminator dalam Generative Adversarial Network (GAN) yang berfungsi sebagai kritikus untuk membedakan antara data asli dan data palsu yang dihasilkan oleh generator, memberikan umpan balik untuk meningkatkan kualitas data yang dihasilkan. Berikut adalah uraian dari materi secara berurutan:
  
  0:11-0:23: Diskriminator dalam GAN membedakan data asli dan palsu, memberikan umpan balik kepada generator.
  
  0:27-0:39: Diskriminator menerima dua input: data asli dari dataset nyata dan data palsu dari generator.
  
  1:57-2:19: Diskriminator dilatih untuk meningkatkan akurasi dalam membedakan kedua jenis data.
  
  3:54-4:10: Contoh penggunaan GAN untuk menghasilkan gambar wajah, dengan diskriminator menilai keaslian gambar.
  
  5:49-6:29: Diskriminator menilai kualitas gambar resolusi tinggi yang dihasilkan oleh generator.
  
  7:53-8:28: Peran diskriminator dalam memastikan kualitas realistis dalam super resolusi.
  
  9:30-9:45: Diskriminator menilai konsistensi kualitas dalam pemrosesan video.
  
  9:56-10:34: Publikasi terkait penerapan super resolusi dalam bidang medis dan teknologi.
- Materi 8: Deep Generative Modeling File
  Dalam PPT ini, dibahas lebih detil mengenai What Are Generative Models, What Are Generative Adversarial Networks? dan Why Generative Adversarial Networks?
- Kuis & Penugasan
- Kuis 9: Deep Generative Modeling Quiz
  Restricted Not available unless:
  The activity 9.1. Autoregressive Models is marked complete
  The activity 9.2. Autoencoders is marked complete
  The activity 9.3. Normalizing Flow Model is marked complete
  The activity 9.4. Generative Adversarial Networks (GAN) is marked complete
  The activity 9.5. Discriminator is marked complete
  
  Kuis ini berisi 10 soal pilihan berganda yang harus diselesaikan dalam 30 menit. Kalian mempunyai 2 kali kesempatan untuk melampaui passing grade 60. Nilai akhir adalah skor tertinggi dari 2 kali percobaan. Persiapkan baik-baik dengan mempelajari materi yang disajikan diatas sebelum memulai kuis. Selamat mengerjakan...
- Penugasan 8: Deep Generative Modeling Assignment
  Dalam tugas ini, mahasiswa diminta untuk menggunakan Generative Adversarial Networks (GANs) untuk memproses data time series secara manual, termasuk mengubah dataset yang sudah ada, mendesain arsitektur GAN, menghitung error, serta memperbarui keluaran generator tanpa menggunakan bahasa pemrograman. Pak Bagus akan menjelaskan dalam video berikut, bagaimana cara pengerjaannya. Simak dulu sebelum mengerjakan yaa...
- Rubrik Penilaian Penugasan 8 File
  Rubrik penugasan ini mempunyai komponen penilaian:
  
  Penentuan dataset (20%)
  
  Model jaringan (15%)
  
  Generate bobot awal (15%)
  
  Proses GANs (50%)
- Diskusi
- Diskusi Deep Generative Modeling Forum
  Sudah sampai sejauh ini belajar, apakah semuanya baik-baik saja? ... Yang masih belum jelas, yuk diskusikan disini...
10. Practical Methodology
Assalamu'alaikum wr wb

Adik-adik mahasiswa... Kita memasuki bagian capaian pembelajaran terakhir... sebelum kita belajar mempraktikkan metode-metode yang kita pelajari sebelumnya, kita akan belajar dulu bagaimana mengukur performa dari model yang dibangun. Namun secara bersamaan, kalian diminta merumuskan permasalahan proyek akhir. Yuk kita simak bersama. Selamat belajar...

Apa tujuan dari pembelajaran pertemuan ini ? (sub-CPMK):

Sub-CPMK-6: Mampu merancang, menganalisis, dan menerapkan algoritma serta solusi perangkat lunak berbasis kecerdasan artifisial dalam pemelajaran mendalam untuk menyelesaikan permasalahan organisasi dan/atau masyarakat secara optimal [C6, A3, P3]

Adapun Indikator dari pembelajaran kali ini adalah:
- Ketepatan mengidentifikasi model-model evaluasi performa
- Ketepatan merumuskan permasalahan dan pemilihan metode yang sesuai serta perencanaan proyek menggunakan algoritma deep learning
Apa saja yang akan dipelajari?

Materi pembelajaran pada pertemuan kali ini meliputi:
- Practical Methodology - Konsep
  
  Cara mengukur performa model klasifikasi dengan menggunakan konsep confusion matrix, menghitung akurasi, presisi, recall, spesifisitas, dan nilai F1 berdasarkan prediksi terhadap dataset gambar kucing dan bukan kucing.
Practical Methodology - Implementation in Python
Panduan langkah demi langkah dalam mengimplementasikan machine learning menggunakan Python dan Google Colab, dengan fokus pada pemrosesan dataset jantung, pembagian data, encoding fitur, standarisasi, pembuatan model dengan Random Forest Classifier, evaluasi performa model menggunakan metrik seperti akurasi, precision, recall, dan confusion matrix, serta visualisasi hasil menggunakan berbagai alat dan teknik.
Metode Pembelajaran

Ideate : Mahasiswa mengeksplorasi (brainstorming) alternatif solusi terhadap permasalahan yang sudah teridentifikasi
- Adik-adik mahasiswa, bisa belajar secara mandiri melalui video interaktif. Dalam video interaktif, dijelaskan bagaimana mengukur performa model deep learning dan bagaimana implementasinya di Python.
- Jangan lupa unduh materi PPT nya.
- Penugasan Terstruktur 9 (Kelompok): mahasiswa mengidentifikasi bias dari observasi sebelumnya serta kesempatan modalitas yang dimiliki dan menyusunnya dalam bentuk proposal. Dalam penugasan ini, kalian akan mengusulkan pendekatan apa paling sesuai untuk proyek akhir dengan mengevaluasi pendekatan-pendekatan pada penugasan 3, penugasan 6-8.
- Selain penugasan untuk proyek akhir, juga ada tugas yang berhubungan dengan pemrograman. Tugas pemrograman ini meminta adik-adik untuk menjalankan, melengkapi dan menganalisis hasil dari template program di Google Colab.
- Diskusikan jika ada hal-hal yang belum kalian fahami pada forum diskusi yang disediakan. Jangan sungkan menanyakan hal yang kurang difahami dalam forum diskusi. Selamat belajar dan tetap semangat...
- Video & Materi
- 10. Practical Methodology - Konsep Interactive Content
  Video ini menjelaskan cara mengukur performa model klasifikasi dengan menggunakan konsep confusion matrix, menghitung akurasi, presisi, recall, spesifisitas, dan nilai F1 berdasarkan prediksi terhadap dataset gambar kucing dan bukan kucing. Video tersebut menyajikan materi dengan rincian sebagai berikut:
  
  0:06 - 0:09: Pengenalan topik tentang mengukur performa model.
  
  0:12 - 0:46: Penjelasan tentang hasil prediksi model pada dataset gambar kucing dan bukan kucing. Dijelaskan konsep true positive (4), false positive (3), true negative (1), dan false negative (2).
  
  0:52 - 1:05: Definisi true positive dan false positive.
  
  1:15 - 1:54: Definisi true negative dan false negative serta pengenalan confusion matrix.
  
  2:00 - 2:48: Penyusunan confusion matrix dan perhitungan akurasi (0.5).
  
  3:00 - 4:04: Penjelasan dan perhitungan presisi (0.57).
  
  4:16 - 4:45: Penjelasan dan perhitungan recall (0.67).
  
  5:06 - 5:18: Perhitungan spesifisitas (0.25).
  
  5:22 - 5:47: Perhitungan nilai F1 (0.62).
  
  Adik-adik harus menyelesaikan beberapa soal yang ada di video ini, dan mampu melampaui score minimal 60. Semangat belajarnya...
- 10.Practical Methodology - Implementation in Python Interactive Content
  Restricted Not available unless: The activity 10. Practical Methodology - Konsep is marked complete
  Video ini memberikan panduan langkah demi langkah dalam mengimplementasikan machine learning menggunakan Python dan Google Colab, dengan fokus pada pemrosesan dataset jantung, pembagian data, encoding fitur, standarisasi, pembuatan model dengan Random Forest Classifier, evaluasi performa model menggunakan metrik seperti akurasi, precision, recall, dan confusion matrix, serta visualisasi hasil menggunakan berbagai alat dan teknik. Berikut ringkasan poin-poin dengan urutan waktu:
  
  [00:00 - 00:45] Pembukaan: Fokus pada implementasi deep learning dengan Python dan tahapan pembuatan model ML.
  
  [00:46 - 01:30] Tahapan Pengembangan Model: Pengumpulan data, feature engineering, modeling, dan evaluasi performa.
  
  [01:31 - 02:20] Implementasi di Google Colab: Menggunakan dataset heart.csv untuk klasifikasi data medis.
  
  [02:21 - 03:00] Pengolahan Data: Mengecek data kosong dan memanfaatkan Pandas, Numpy, Matplotlib, serta Scikit-learn.
  
  [03:01 - 04:00] Pembagian Dataset: Train-test split (80-20%) dan standarisasi data dengan Min-Max Scaler.
  
  [04:01 - 05:30] Pelatihan Model: Random Forest Classifier mencapai akurasi 100% di pelatihan dan 85,87% di pengujian.
  
  [05:31 - 06:20] Evaluasi Model: Menggunakan confusion matrix dan classification report; F1-score: 0,82.
  
  [06:21 - 07:00] Visualisasi Hasil: Plotting ROC curve untuk mengevaluasi performa model.
- Materi 10: Practical Methodology File
  Materi yang dijelaskan dalam PPT ini meliputi Model Evaluation Metrics yang terdiri dari Confusion Matrix, Accuracy, Precision, Recall or Sensitivity, Specificity, F1 Score, Log Loss, Area under the curve (AUC), MAE – Mean Absolute Error, MSE – Mean Squared Error; serta materi Parameter & Hyperparameter.
- Penugasan Proyek Akhir
- Penugasan 9: Definisi Permasalahan Proyek Akhir Assignment
  Restricted Not available unless:
  The activity 10. Practical Methodology - Konsep is marked complete
  The activity 10.Practical Methodology - Implementation in Python is marked complete
  
  Penugasan ini meminta mahasiswa untuk menyusun proposal proyek akhir dengan mendefinisikan permasalahan, menetapkan tujuan proyek, menganalisis berbagai pendekatan deep learning, serta menentukan instrumen pengukuran keberhasilan, berdasarkan observasi tugas-tugas sebelumnya dan relevansi dengan kebutuhan masyarakat atau organisasi.
  
  Penulisan proposal menggunakan template terlampir
- Program Python
- Kode Program 10-Practical Methodology URL
  Link terlampir akan membawa adik-adik ke Google Colaboration untuk belajar dan menjalankan program yang dijelaskan pada video diatas. Jangan lupa dijalankan, agar adik-adik lebih memahami implementasi dari konsep metode-metode evaluation metric dalam Deep Learning.
- Tugas Pemrograman : Evaluasi Metrik Pembelajaran Mesin Assignment
  Restricted Not available unless: The activity 10.Practical Methodology - Implementation in Python is marked complete
  Tugas Pemrograman: Evaluasi Metrik Machine Learning
  
  Deskripsi Tugas:
  
  Pada tugas ini, Anda diminta untuk membangun dan mengevaluasi dua model klasifikasi menggunakan dataset Iris. Anda akan melatih model Decision Tree dan Logistic Regression pada dataset tersebut dan mengevaluasi kinerja kedua model menggunakan beberapa metrik evaluasi (accuracy, precision, recall, F1-score) dan confusion matrix.
  
  Instruksi:
  
  Bagian yang harus dilengkapi:
  
  Melatih Model: Lengkapi kode untuk melatih model Decision Tree dan Logistic Regression dengan data pelatihan (X_train, y_train).
  
  Evaluasi Model: Kode untuk mengevaluasi model sudah disediakan, namun Anda harus memastikan kode tersebut berjalan dengan benar dan mengevaluasi model dengan baik.
  
  Bandingkan Model: Setelah evaluasi selesai, bandingkan hasil model Decision Tree dan Logistic Regression berdasarkan metrik yang dihitung (accuracy, precision, recall, dan F1-score). Tentukan model yang lebih baik dan beri alasan berdasarkan metrik evaluasi.
  
  Tambahan Visualisasi:
  
  Visualisasikan confusion matrix untuk kedua model, dan pastikan grafik ini memadai untuk menunjukkan hasil klasifikasi.
  
  Analisis:
  
  Berdasarkan hasil evaluasi, buatlah analisis mengenai kinerja kedua model.
  
  Jelaskan model mana yang lebih baik, berdasarkan metrik yang dihitung.
  
  Penilaian:
  
  Model Decision Tree dan Logistic Regression: 50%
  
  Evaluasi dan Visualisasi: 30%
  
  Analisis dan Penjelasan: 20%
  
  Panduan Pengerjaan & Pengumpulan:
  
  Klik tautan berikut untuk mengakses template tugas: [Tugas Evaluasi Metrik Pembelajaran Mesin].
  
  Buat salinan file ke Google Drive Anda dengan klik File > Save a copy in Drive.
  
  Lengkapi kode di sel yang disediakan.
  
  Unduh file sebagai .ipynb dengan klik File > Download > Download .ipynb.
  
  Kumpulkan file notebook Colab (.ipynb) yang sudah dilengkapi dengan jawaban Anda.
  
  Pastikan seluruh kode berjalan tanpa error.
  
  Berikan penjelasan di bagian akhir mengenai pemilihan model yang lebih baik. Jawaban untuk penjelasan hasil analisis juga dituliskan di notebook Colab menggunakan mode text pada sel terakhir (bagian akhir tambahkan sel dengan mode text).
- Diskusi
- Forum Practical Methodology
  Ada yang mau sharing pengalaman menuliskan kode program di Python? Jangan sungkan yaa...
11. Application Deep Feedforward Network in TensorFlow is not available
12. Application Convolutional Neural Network in Tensor Flow is not available
13. Application Recurrent Neural Network in Tensor Flow is not available
14. Application Deep Convolution Generative Adversarial Network (DC-GAN) in Tensor Flow is not available
15. Ujicoba / Implementasi Hasil Proyek is not available
16. Seminar Hasil Proyek Akhir is not available

Topic outline

Capaian Pembelajaran Mata Kuliah (CPMK)

Sub Capaian Pembelajaran Mata Kuliah (Sub-CPMK)

Peta Analisis Capaian Pembelajaran

Metode Pembelajaran

Setting Pembelajaran

Assalamu'alaikum wr wb

Apa tujuan dari pembelajaran ? (sub-CPMK):

Sedangkan yang menjadi indikator adalah:

Apa yang akan dipelajari:

Metode Pembelajaran

Video & Materi

Kuis dan Penugasan

Diskusi

Assalamu'alaikum wr wb

Adapun Indikator dari pembelajaran kali ini adalah:

Apa yang akan kita pelajari?

Metode Pembelajaran

2.1. Aljabar Linier

2.2. Statistika & Probabilitas

2.3. Komputasi Numerik

2.4. Dasar Mesin Pemelajar (Machine Learning)

Kuis dan Penugasan

Diskusi

Apa tujuan dari pembelajaran pertemuan ini ? (sub-CPMK):

Adapun Indikator dari pembelajaran kali ini adalah:

Apa yang akan kita pelajari?

Metode Pembelajaran

Video & Materi

Kuis & Penugasan

Diskusi

Apa tujuan dari pembelajaran pertemuan ini ? (sub-CPMK):

Adapun Indikator dari pembelajaran kali ini adalah:

Apa saja yang akan dipelajari?

Metode Pembelajaran

Video & Materi

Kuis dan Penugasan

Diskusi

Apa tujuan dari pembelajaran pertemuan ini ? (sub-CPMK):

Adapun Indikator dari pembelajaran kali ini adalah:

Apa saja yang akan dipelajari?

Metode Pembelajaran

Video dan Materi

Kuis dan Penugasan

Diskusi

Apa tujuan dari pembelajaran pertemuan ini ? (sub-CPMK):

Adapun Indikator dari pembelajaran kali ini adalah:

Apa saja yang akan dipelajari?

Metode Pembelajaran

Video & Materi

Kuis & Penugasan

Diskusi

Apa tujuan dari pembelajaran pertemuan ini ? (sub-CPMK):

Adapun Indikator dari pembelajaran kali ini adalah:

Apa saja yang akan dipelajari?

Metode Pembelajaran

Video & Materi

Kuis & Penugasan

Diskusi

Assalamu'alaikum wr wb

Sub Capaian Pembelajaran:

Indikator:

Apa tujuan dari pembelajaran pertemuan ini ? (sub-CPMK):

Adapun Indikator dari pembelajaran kali ini adalah:

Apa saja yang akan dipelajari?

Metode Pembelajaran

Video & Materi

Kuis & Penugasan

Diskusi

Apa tujuan dari pembelajaran pertemuan ini ? (sub-CPMK):

Adapun Indikator dari pembelajaran kali ini adalah:

Apa saja yang akan dipelajari?

Metode Pembelajaran

Video & Materi

Penugasan Proyek Akhir

Program Python

Tugas Pemrograman: Evaluasi Metrik Machine Learning

Deskripsi Tugas:

Instruksi:

Penilaian: