Sesi 11.1: Menangkap Halusinasi

Kursus → Modul 11: Quality Control & Gerbang Manusia

Sesi 1 dari 7

Halusinasi Itu Ga Random

Halusinasi AI kedengarannya kaya istilah psikiatri. Bukan. Di production, halusinasi artinya model menghasilkan teks yang faktanya salah tapi disajikan dengan percaya diri yang sama seperti semua output lainnya. Ga ada hedging, ga ada tanda ketidakpastian, ga ada red flag. Model menyatakan klaim palsu seolah-olah lagi baca ramalan cuaca.

Hal pertama yang harus kamu pahami: halusinasi mengikuti pola. Ga tersebar merata di semua output. Kategori klaim tertentu jauh lebih mungkin difabrikasi daripada yang lain. Begitu kamu mapping kategori-kategori itu, kamu berhenti mengecek semuanya dan mulai mengecek hal yang tepat.

AI Hallucination: Output model yang mengandung informasi faktual salah tapi disajikan tanpa indikasi ketidakpastian. Halusinasi bukan bug di satu generasi tertentu. Ini kecenderungan struktural yang mengikuti pola yang bisa diprediksi berdasarkan tipe klaim dan domain topik.

Kategori Klaim Berisiko Tinggi

Riset dari Lakera dan benchmark seperti CCHall (ACL 2025) serta Mu-SHROOM (SemEval 2025) konsisten menunjukkan bahwa bahkan model terbaru pun gagal di area yang bisa diprediksi. Kategori di bawah ini mewakili zona di mana halusinasi terkonsentrasi.

Kategori Klaim	Risiko Halusinasi	Contoh	Kenapa Terjadi
Statistik spesifik	Sangat Tinggi	"73% marketer melaporkan..."	Model menginterpolasi angka dari data training yang parsial
Sitasi bernama	Sangat Tinggi	"Menurut studi Harvard 2023..."	Model membuat sumber yang kedengarannya masuk akal tapi ga ada
Tanggal dan timeline	Tinggi	"Didirikan tahun 1987..."	Fakta temporal ga tertambat dengan baik di model weights
Kutipan dan atribusi	Tinggi	"Seperti kata Warren Buffett..."	Model merekonstruksi kutipan yang masuk akal dari konteks, bukan memori
Fakta domain niche	Tinggi	"API rate limit-nya 500 req/min"	Data training terbatas untuk topik-topik spesialis
Klaim kausal	Sedang	"Ini menyebabkan kenaikan 40%..."	Model mencampuradukkan pola korelasi dengan kausalitas
Pengetahuan umum	Rendah	"Air mendidih di 100°C pada permukaan laut"	Sangat diperkuat di seluruh data training

Polanya jelas: semakin spesifik dan bisa diverifikasi sebuah klaim, semakin besar kemungkinan dihalusinasi. Pernyataan umum aman. Angka presisi, nama, dan tanggal itu berbahaya.

Proses Pengecekan Sistematis

Mengecek setiap kalimat di artikel 2.000 kata itu ga praktis. Mengecek setiap klaim yang bisa diverifikasi di kategori berisiko tinggi itu bisa. Ini prosesnya.

flowchart TD A[Output AI Diterima] --> B[Ekstrak Klaim yang Bisa Diverifikasi] B --> C{Kategori Klaim?} C -->|Statistik / Angka| D[Tandai: Risiko Sangat Tinggi] C -->|Sitasi / Sumber| E[Tandai: Risiko Sangat Tinggi] C -->|Tanggal / Timeline| F[Tandai: Risiko Tinggi] C -->|Kutipan / Atribusi| G[Tandai: Risiko Tinggi] C -->|Fakta Niche| H[Tandai: Risiko Tinggi] C -->|Pengetahuan Umum| I[Tandai: Risiko Rendah] D --> J[Verifikasi via Search API] E --> J F --> J G --> J H --> J I --> K[Spot Check Saja] J --> L{Terverifikasi?} L -->|Ya| M[Setujui Klaim] L -->|Tidak| N[Hapus atau Koreksi] L -->|Ambigu| O[Tandai untuk Review Manual] K --> M style D fill:#c47a5a,color:#111 style E fill:#c47a5a,color:#111 style F fill:#c8a882,color:#111 style G fill:#c8a882,color:#111 style H fill:#c8a882,color:#111 style I fill:#6b8f71,color:#111 style M fill:#6b8f71,color:#111 style N fill:#c47a5a,color:#111 style O fill:#c8a882,color:#111

Membangun Log Halusinasi

Setiap pipeline berhalusinasi secara berbeda. Model yang kamu pakai, topik yang kamu bahas, dan prompt yang kamu tulis semua mempengaruhi di mana error terkonsentrasi. Log halusinasi melacak setiap halusinasi yang terkonfirmasi di seluruh production run kamu.

Seiring waktu, log ini mengungkap failure mode spesifik pipeline kamu. Mungkin setup kamu konsisten berhalusinasi di tanggal tapi benar di statistik. Mungkin memfabrikasi penulis tapi tepat di spesifikasi teknis. Log ini mengubah kesadaran umum jadi pengetahuan spesifik.

Strukturkan log kamu sebagai tabel sederhana:

Tanggal	Sesi/Artikel	Klaim yang Dihalusinasi	Kategori	Informasi yang Benar	Cara Terdeteksi
2026-03-15	Batch review produk	"Dirilis Q2 2024"	Tanggal	Dirilis Q4 2024	Cek manual
2026-03-15	Batch review produk	"Menurut TechCrunch..."	Sitasi	Artikel tidak ada	Search API
2026-03-16	Analisis industri	"Pasar tumbuh 23% YoY"	Statistik	Pertumbuhan aktual 14%	Verifikasi sumber

Setelah 50 entri tercatat, kamu akan tahu persis di mana pipeline kamu berbohong. Pengetahuan itu lebih berharga daripada nasihat umum tentang halusinasi manapun.

Validasi Lintas Model

Satu teknik yang efektif adalah mengirim query ke beberapa model independen dengan prompt identik lalu membandingkan output-nya. Kalo Claude bilang perusahaan didirikan tahun 2015 dan Gemini bilang 2017, kamu punya diskrepansi yang harus diverifikasi manual. Kesepakatan antar model ga menjamin akurasi, tapi ketidaksesuaian secara andal menandakan risiko.

Ini ga foolproof. Model berbagi data training, jadi mereka bisa berhalusinasi jawaban salah yang sama. Tapi untuk workflow production di mana kamu perlu melakukan triage ribuan klaim, validasi lintas model menangkap kegagalan paling jelas sebelum reviewer manusia menyentuh kontennya.

Tugas

Ambil satu artikel 2.000 kata yang di-generate AI tentang topik yang kamu kuasai. Identifikasi setiap klaim faktual yang bisa diverifikasi: angka, tanggal, nama, peristiwa, statistik. Verifikasi masing-masing menggunakan search. Hitung hallucination rate (klaim salah terkonfirmasi dibagi total klaim yang bisa diverifikasi). Kategori klaim mana yang punya error rate tertinggi? Mulai log halusinasi kamu dengan entri-entri ini.

Menangkap Halusinasi