Sumber yang berdusta

Sebuah peraturan pemerintah memaku rumus yang menghitung ulang upah minimum Indonesia tiap tahun. Penyedia payroll, employer of record, dan perkakas kepatuhan sama-sama memerlukan rumus itu. Pertanyaannya sempit, faktual, bersumber jelas: kasus termudah bagi sebuah sistem temu-balik.

Saya percaya kebanyakan demo AI dibangun terbalik: yang mereka pamerkan adalah sistem yang penuh percaya diri, padahal yang berguna justru sistem yang tahu di mana ia harus berhenti. Di bawah ini satu putaran nyata terhadap korpus yang nyata. Tidak ada satu pun rekaan di sini: tiap dokumen, status, nomor pasal, dan baris kutipan berasal dari basis data hukum pemerintah sendiri, dan bisa Anda ulang dengan perintah di lampiran. Saya pernah tertipu oleh pola yang persis sama, dan cerita itulah yang membuka tulisannya.

Tidak ada satu pun dari kelima lapis ini yang rusak. Masing-masing mengerjakan persis apa yang orang rancang untuknya, melapor sukses, lalu menyerahkan hasil yang sudah cacat kepada lapis berikutnya. Itulah yang membuat kegagalannya mahal: tidak ada galat untuk jadi alarm, tidak ada pengecualian yang muncul, dan tidak ada skor keyakinan yang turun.

Gerbangnya tidak memerlukan model yang lebih pintar. Ia memerlukan rantai sumber yang sanggup ia periksa, dan izin untuk menolak ketika rantai itu tak sanggup ia periksa:

• 01Keberlakuan tingkat pasal, bukan status tingkat dokumen. Tiap pasal membawa perubahan yang terakhir menyentuhnya, atau ia tidak layak kutip.
• 02Penelusuran rantai sampai titik tetap. Berhenti ketika tidak ada lagi yang mengubah si pengubah, bukan sesudah satu jengkal.
• 03Cakupan ekstraksi sebagai gerbang keras. Dokumen 75 halaman yang menghasilkan 2 halaman teks gugur di gerbang masuk; ia tidak boleh lolos tanpa suara di angka 3%.
• 04Keyakinan OCR terbawa sampai ke kutipan. Kalau glif di balik rumus itu masih meragukan, kutipannya tidak keluar.
• 05Penolakan sebagai keluaran kelas satu. "Saya tidak bisa menyumberkan ini dengan aman" harus lebih murah diucapkan ketimbang jawaban yang salah, kalau tidak ia tidak akan pernah terucap.

Tiap klaim di halaman ini berpangkal pada sebuah perintah. Rantai, status, dan relasinya berasal dari basis data hukum pemerintah yang terbuka untuk umum; jumlah halaman dan cakupan teksnya berasal dari PDF terbitannya sendiri.

# rantai perubahan, ditelusuri dari sumber hidupnya
curl -s "https://peraturan.bpk.go.id/Details/161909/pp-no-36-tahun-2021" \
  | grep -oE 'href="/Details/[0-9]+/[a-z0-9-]+"' | sort -u

# peraturan induk: 75 halaman, teks cuma di 2 di antaranya
curl -sL -o pp36.pdf "https://peraturan.bpk.go.id/Download/154587"
pdfinfo pp36.pdf | grep Pages
pdftotext -layout pp36.pdf - | tr -d '[:space:]' | wc -c

# satu pasal, dua token, sebab OCR membaca 1 sebagai l
curl -sL -o pp51.pdf "https://peraturan.bpk.go.id/Download/328142"
pdftotext -layout pp51.pdf - | grep -c 'Pasal 7l'
pdftotext -layout pp51.pdf - | grep -c 'Pasal 71'