🏆
🎓 Sesi 16 — Penutup S11409
Ujian Akhir Semester
S11409 — QA & Keandalan Cerdas
Ini adalah puncak dari 16 sesi perjalanan. Semua yang telah Anda pelajari — dari teori reliability klasik hingga AI QA modern — akan diuji di sini. Anda sudah siap!
🎓 Bagian 1 — Informasi Ujian
⚠️ Perhatian: UAS bersifat close book. Hanya kalkulator nonprogramabble yang diperbolehkan. Dilarang membawa catatan dalam bentuk apapun. Mahasiswa yang terbukti melakukan kecurangan akan mendapat nilai E dan diproses sesuai peraturan akademik ISTN.
📈 Bagian 2 — Komposisi Nilai Akhir
Bagaimana Nilai Akhir Dihitung?
20%
Tugas & Kuis
Sesi 1–15
10%
Kehadiran
Min. 75% tatap muka
🗺 Bagian 3 — Peta Cakupan Materi UAS
Semua yang Perlu Anda Kuasai
SESI 1–2
Fondasi Reliability
MTTF, MTBF, MTTR, Availability, Failure Rate (λ), DRE, SLA tier (99%–99.999%), Cyclomatic Complexity
SESI 3
Model SRGM
Jelinski-Moranda, Goel-Okumoto NHPP, Musa Basic, Log-Poisson, persamaan dan interpretasi kurva
SESI 4
Proses & Strategi QA
Rule of Ten, CMMI v2.0, ISO/IEC 25000, Shift-Left, TDD, BDD, CI/CD, IEEE 730
SESI 5
Teknik Pengujian
Black-Box (EP, BVA, Decision Table), White-Box (statement, branch, path coverage), Non-Functional testing
SESI 6
Analisis Defect & RCA
Defect lifecycle, ODC taxonomy, 5 Whys, Fishbone diagram, FTA, Pareto Analysis, defect severity vs priority
SESI 7
Pengantar QA Cerdas
AI/ML dalam QA, ML pipeline (data → model → deploy), TF-IDF, klasifikasi defect, landscape tools AI QA
SESI 9
Prediksi Defect ML
Dataset NASA MDP, feature engineering, SMOTE, Logistic Regression, Random Forest, XGBoost, confusion matrix, ROC-AUC
SESI 10
AI Test Generation
SBST, LLM test gen, flaky tests, mutation testing, mutation score, self-healing tests, EvoSuite
SESI 11
Analisis Log & Anomali
Drain algorithm, log parsing, Isolation Forest, LSTM/DeepLog, ELK Stack, AIOps, tiga pilar observability
SESI 12
Microservices & SRE
Cascade failure, Chaos Engineering (5 langkah), SLI/SLO/SLA, Error Budget, Circuit Breaker (3 state), resilience patterns
SESI 13
Security Testing
OWASP Top 10 (2021), SAST vs DAST vs IAST, AI Fuzzing, DevSecOps pipeline, STRIDE threat modeling
SESI 14
Tren Masa Depan
LLM for QA, autonomous testing agent, digital twin, EU AI Act, bias dan etika AI dalam QA
🔢 Bagian 4 — Formula Sheet Penting
Rumus yang Harus Dikuasai
📋 Bagian 5 — Latihan Soal Pilihan Ganda
20 Soal PG — Simulasi UAS
📌 Soal-soal berikut merepresentasikan tipe dan tingkat kesulitan yang setara dengan UAS. Kerjakan terlebih dahulu sebelum membaca kunci. Waktu simulasi: 30 menit untuk 20 soal.
Soal 1
Sebuah sistem berjalan selama 10.000 jam dan mengalami 5 kali failure. Berapa nilai MTTF sistem ini?
A. 500 jam
B. 1.000 jam
C. 2.000 jam
D. 5.000 jam
Soal 2
Sistem memiliki MTTF = 900 jam dan MTTR = 100 jam. Berapa nilai Availability-nya?
A. 90%
B. 95%
C. 99%
D. 99.9%
Soal 3
SLA "three nines" (99.9%) mengizinkan downtime maksimum berapa per bulan (30 hari)?
A. 4,4 menit
B. 43,8 menit
C. 7,2 jam
D. 3,6 jam
Soal 4
Tim QA menemukan 60 defect sebelum release dan 15 defect ditemukan user setelah release. Berapa DRE-nya?
A. 75%
B. 80%
C. 85%
D. 90%
Soal 5
Model Goel-Okumoto NHPP dengan a=100 dan b=0.01. Berapa estimasi bug yang sudah ditemukan setelah t=200 jam? (e^-2 ≈ 0.135)
A. 78,5 bug
B. 86,5 bug
C. 91,2 bug
D. 95,0 bug
Soal 6
Berdasarkan prinsip "Rule of Ten", jika biaya memperbaiki bug saat unit testing adalah Rp 100.000, berapa estimasi biaya perbaikan jika bug baru ditemukan setelah production release?
A. Rp 500.000
B. Rp 1.000.000
C. Rp 10.000.000
D. Rp 100.000.000
Soal 7
Cyclomatic Complexity suatu fungsi dihitung M = E - N + 2P, dengan E=14, N=12, P=1. Berapa nilai M dan apa artinya?
A. M=4 — kompleksitas rendah, mudah ditest
B. M=4 — perlu immediate refactoring
C. M=5 — kompleksitas moderat
D. M=3 — kompleksitas sangat rendah
Soal 8
Mana pernyataan yang BENAR tentang perbedaan Fault, Error, dan Failure?
A. Fault adalah kondisi sistem yang teramati tidak sesuai spec oleh pengguna
B. Error adalah keadaan sistem internal yang menyimpang akibat fault
C. Failure adalah cacat di kode yang belum dieksekusi
D. Fault dan Error adalah sinonim dalam standar IEEE
Soal 9
Confusion matrix prediksi defect: TP=80, FP=10, FN=20, TN=90. Berapa nilai Precision dan Recall?
A. P=0.88, R=0.80
B. P=0.80, R=0.80
C. P=0.89, R=0.80
D. P=0.85, R=0.85
Soal 10
Dalam dataset prediksi defect, kelas "defective" hanya 8% dari total data. Teknik apa yang paling tepat digunakan?
A. Menghapus semua sampel kelas mayoritas
B. SMOTE (Synthetic Minority Over-sampling Technique)
C. Normalisasi fitur dengan MinMaxScaler
D. Menambah jumlah epoch training
Soal 11
Mutation Testing menghasilkan 120 mutant. Setelah menjalankan test suite, 96 mutant berhasil "dibunuh". Berapa Mutation Score dan apakah test suite sudah berkualitas?
A. 80% — sudah baik (target >80%)
B. 80% — tepat di batas, perlu ditingkatkan
C. 75% — di bawah target
D. 85% — sudah sangat baik
Soal 12
Circuit Breaker berada di state OPEN. Apa yang terjadi ketika ada request masuk?
A. Request diteruskan normal ke downstream service
B. Request di-queue hingga service pulih
C. Request langsung dikembalikan gagal tanpa memanggil service (fail-fast)
D. Request dicoba ulang 3 kali sebelum gagal
Soal 13
Sistem memiliki SLO availability 99.5% per bulan (30 hari). Sudah terjadi downtime 90 menit bulan ini. Berapa sisa error budget dalam menit?
A. 126 menit
B. 126 menit — budget lebih dari cukup
C. 126 menit — hati-hati, tinggal 58% budget
D. 36 menit — hampir habis
Soal 14
OWASP A03 (Injection) terjadi karena kondisi berikut, KECUALI:
A. Input user digabungkan langsung ke SQL query
B. Penggunaan parameterized query/prepared statement
C. Input user digunakan dalam OS command tanpa sanitasi
D. LDAP query dibentuk dari string concatenation
Soal 15
Apa perbedaan utama antara SAST dan DAST?
A. SAST lebih akurat karena menganalisis runtime behavior
B. DAST menganalisis source code, SAST menguji aplikasi yang berjalan
C. SAST menganalisis code tanpa menjalankannya; DAST menguji aplikasi saat berjalan
D. Keduanya identik, hanya berbeda nama vendor
Soal 16
Dalam Chaos Engineering, apa yang dimaksud dengan "steady state"?
A. Kondisi sistem saat semua service mati
B. Kondisi normal sistem yang terukur secara kuantitatif, sebagai baseline eksperimen
C. State database setelah backup selesai
D. Kondisi sistem dalam mode maintenance
Soal 17
Algoritma mana yang paling tepat untuk deteksi anomali log tanpa label (unsupervised)?
A. Random Forest Classifier
B. Logistic Regression
C. Isolation Forest
D. Decision Tree
Soal 18
Dalam STRIDE threat modeling, "E" (Elevation of Privilege) paling tepat dimitigasi dengan:
A. Enkripsi data at rest
B. Rate limiting pada endpoint login
C. RBAC (Role-Based Access Control) dan principle of least privilege
D. Audit logging yang tidak bisa dimodifikasi
Soal 19
LLM sebagai QA agent memiliki kelemahan yang paling kritis yaitu:
A. Tidak bisa memproses kode Python
B. Halusinasi — menghasilkan test yang terlihat valid tapi salah secara logika
C. Tidak bisa diintegrasikan ke CI/CD pipeline
D. Hanya bisa memproses maksimal 100 baris kode
Soal 20
Mana yang BUKAN termasuk tiga pilar observability?
A. Metrics
B. Logs
C. Traces
D. Alerts
✍️ Bagian 6 — Latihan Soal Esai & Hitungan
Soal Analisis & Studi Kasus
Soal H-1 — SRGM & Reliability Metrics
SIAKAD ISTN memiliki data operasional: berjalan 8.760 jam/tahun, mengalami 12 kali failure, total waktu perbaikan 36 jam. Model Goel-Okumoto difit dengan parameter a=150 dan b=0.008.
Hitung: (a) MTTF, MTBF, MTTR, dan Availability sistem, (b) Failure rate λ per jam, (c) Estimasi kumulatif bug ditemukan pada t=300 jam menggunakan model G-O (e^-2.4 ≈ 0.091), (d) Berapa sisa bug yang belum ditemukan pada t=300?
Soal H-2 — SLO & Error Budget
Platform e-learning ISTN menetapkan SLO availability 99.8% per bulan (30 hari = 43.200 menit). Dalam bulan berjalan terjadi tiga insiden: (1) planned maintenance 30 menit, (2) bug deployment menyebabkan down 2 jam 15 menit, (3) overload server saat UAS menyebabkan degraded service selama 45 menit (dihitung 50% downtime).
(a) Hitung total error budget dalam menit, (b) Hitung error budget yang terpakai, (c) Berapa sisa error budget dan berapa persentasenya, (d) Apakah tim boleh melakukan deployment besar minggu ini? Jelaskan reasoning-nya.
Soal H-3 — Machine Learning QA
Model Random Forest untuk prediksi defect menghasilkan confusion matrix berikut pada test set 500 modul: TP=85, FP=30, FN=15, TN=370.
(a) Hitung Precision, Recall, F1-Score, dan Accuracy, (b) Dalam konteks prediksi defect, mana yang lebih penting: Precision atau Recall? Jelaskan dengan analogi biaya, (c) Model dikatakan biased terhadap kelas mayoritas. Apa artinya dan bagaimana cara mengatasinya? (d) Jika threshold prediksi diturunkan dari 0.5 menjadi 0.3, bagaimana pengaruhnya pada Precision dan Recall?
Soal H-4 — Security & OWASP
Anda sebagai Security QA Engineer di tim SIAKAD. Ditemukan kode PHP:
$query = "SELECT * FROM nilai WHERE nim='" . $_POST['nim'] . "' AND tahun=" . $_POST['tahun'];
(a) Identifikasi kerentanan OWASP yang ada dan jelaskan cara exploit-nya, (b) Tulis versi kode yang aman menggunakan prepared statement (PHP PDO), (c) Jelaskan 3 layer defense-in-depth untuk melindungi endpoint ini, (d) Gunakan STRIDE untuk memetakan ancaman pada endpoint ini.
Soal H-5 — Studi Kasus Holistik
Startup fintech "PayCepat" akan meluncurkan fitur transfer uang baru. Tim engineering terdiri dari 5 developer dan 1 QA engineer. Timeline: 6 minggu development, 2 minggu testing.
Rancang strategi QA komprehensif yang mencakup: (a) Teknik testing apa yang akan digunakan di setiap fase (unit, integration, system, security)? (b) Bagaimana mengintegrasikan minimal 2 teknik AI QA yang relevan? (c) Definisikan SLI dan SLO yang tepat untuk fitur transfer ini (d) Rancang minimal 1 chaos experiment yang harus dilakukan sebelum go-live, (e) Identifikasi 3 risiko terbesar menggunakan STRIDE dan mitigasinya.
🔑 Bagian 7 — Kunci Jawaban PG
Kunci & Penjelasan Singkat
Soal 1–10
S1: C — MTTF = 10000/5 = 2000 jam
S2: A — A = 900/(900+100) = 90%
S3: B — 0.001 × 43200 = 43.2 mnt
S4: B — DRE = 60/(60+15) = 80%
S5: B — m=100(1-e^-2)=100×0.865=86.5
S6: C — Rule of Ten: 10^4 × 100K = 10 juta
S7: A — M=14-12+2=4, rendah, mudah test
S8: B — Error = internal state menyimpang
S9: A — P=80/90=0.888, R=80/100=0.80
S10: B — SMOTE untuk imbalanced data
Soal 11–20
S11: B — MS=96/120=80%, tepat di batas
S12: C — fail-fast, tidak panggil service
S13: C — budget=216 mnt, sisa=216-90=126 mnt (58%)
S14: B — prepared statement MENCEGAH injection
S15: C — SAST=kode statis, DAST=runtime
S16: B — kondisi normal terukur, baseline
S17: C — Isolation Forest = unsupervised
S18: C — RBAC & least privilege
S19: B — halusinasi adalah risiko utama LLM
S20: D — Alerts bukan pilar, tapi derivasi
💡 Bagian 8 — Tips Menghadapi UAS
Strategi 120 Menit yang Efektif
TIP 01 — Waktu
Alokasi Waktu yang Tepat
PG 20 soal: 30 menit (1.5 menit/soal). Soal hitungan 5 soal: 50 menit (10 menit/soal). Studi kasus 5 soal: 35 menit. Sisakan 5 menit untuk review. Jangan terjebak satu soal sulit!
TIP 02 — PG
Strategi Pilihan Ganda
Baca semua pilihan sebelum memilih. Eliminasi jawaban yang jelas salah. Untuk soal hitungan PG, kerjakan perhitungan di lembar coret-an dulu. Jawaban yang pertama terlintas sering benar.
TIP 03 — Hitungan
Tunjukkan Langkah Kerja
Nilai partial diberikan untuk langkah yang benar meski hasil akhir salah. Tulis rumus dulu, substitusikan nilai, baru hitung. Jika lupa rumus, deskripsikan konsepnya — tetap ada nilai.
TIP 04 — Esai
Struktur Jawaban Esai
Gunakan format: definisi singkat → penjelasan konsep → contoh konkret → relevansi. Jawaban yang terstruktur selalu lebih bernilai dari jawaban panjang tapi acak. Gunakan analogi dari materi kuliah.
TIP 05 — Koneksi
Hubungkan Antar Topik
Soal studi kasus biasanya membutuhkan integrasi beberapa topik. Jika ditanya tentang reliability microservices, hubungkan dengan SLO, Chaos Engineering, dan Circuit Breaker sekaligus.
TIP 06 — Malam H-1
Persiapan Malam Sebelumnya
Review formula sheet, bukan belajar materi baru. Tidur cukup 7-8 jam. Otak yang segar lebih baik dari semalam suntuk belajar tapi mengantuk saat ujian. Sarapan — otak butuh glukosa.
"Software reliability bukan soal membangun sistem yang tidak pernah gagal — itu mustahil. Ini soal membangun sistem yang gagal dengan anggun, pulih dengan cepat, dan belajar dari setiap kegagalan. Itulah yang telah Anda pelajari selama 16 sesi ini."
— S11409, Keandalan Perangkat Lunak & QA Cerdas — ISTN Jakarta
🌟 Selamat menempuh UAS! Semua yang ada di lembar soal sudah Anda pelajari dengan tuntas. Percayalah pada proses belajar Anda selama satu semester ini. Keberhasilan bukan hanya soal nilai — tapi tentang mindset reliability engineer yang telah tertanam dalam diri Anda. Semoga sukses!