Sumsub Soroti Kesenjangan Tata Kelola AI di Indonesia

Apa yang terjadi dalam sorotan Sumsub tentang tata kelola AI di Indonesia

Sumsub soroti kesenjangan tata kelola AI di Indonesia melalui riset yang menunjukkan masalah lebih mendasar daripada akurasi jawaban AI. Organisasi makin memakai AI untuk membantu proses kerja, termasuk memberi sistem ruang merencanakan, mengambil keputusan, serta bertindak atas nama organisasi. Kemampuan membuktikan alasan di balik tindakan AI belum berkembang dengan kecepatan yang sama.

Menurut Investor.id, temuan tersebut berasal dari survei APAC State of Digital Trust AI Governance Benchmark terhadap 720 profesional senior di sembilan negara Asia-Pasifik. Di Indonesia, 96% organisasi menyatakan yakin dapat menjelaskan keputusan AI mereka, menurut Investor.id. Hanya 34% yang dilaporkan menyimpan rekam jejak keputusan secara utuh dan antimanipulasi, menurut Investor.id. Sumsub menyebut selisih antara kepercayaan terhadap AI dan kemampuan membuktikan tindakannya sebagai accountability asymmetry.

Kesenjangan itu penting karena AI kini tidak selalu berhenti pada tahap membuat ringkasan, draf email, atau jawaban chatbot. Investor.id melaporkan penggunaan AI bergerak ke arah yang lebih agentic: sistem dapat merencanakan langkah, mengambil keputusan, lalu menjalankan tindakan dengan akses yang diberikan organisasi. Pedoman Tata Kelola Kecerdasan Artifisial Perbankan Indonesia dari OJK juga menempatkan agentic AI sebagai gelombang perkembangan AI setelah predictive AI dan generative AI.

Perubahan fungsi tersebut menggeser pertanyaan bisnis. Tim tidak cukup bertanya apakah model AI mampu menjawab dengan baik. Mereka perlu memastikan siapa yang memberikan akses, data apa yang dibaca, tindakan apa yang boleh dijalankan, serta bukti apa yang tersisa ketika hasilnya dipersoalkan.

Angka risetnya menunjukkan masalah kontrol, bukan sekadar adopsi

Temuan Sumsub memperlihatkan organisasi Indonesia lebih nyaman memberi AI keleluasaan pada proses rutin daripada proses berisiko tinggi. Menurut Investor.id, 91% responden nyaman membiarkan AI mengambil keputusan tanpa keterlibatan manusia dalam proses rutin. Angka itu turun menjadi 55% untuk transaksi keuangan, menurut Investor.id.

Pola ini masuk akal, tetapi proses rutin tidak otomatis aman dibiarkan tanpa kontrol. Workflow rutin dapat menyentuh data pelanggan, mengubah status layanan, mengirim pesan keluar, atau meneruskan informasi ke sistem lain. Kesalahan kecil yang berulang dapat berkembang menjadi masalah operasional sebelum tim menyadarinya.

Investor.id melaporkan banyak organisasi di Indonesia pernah mengalami tindakan mandiri AI dengan hasil bermasalah atau tidak diinginkan. Sebanyaksesuai target internal responden dilaporkan pernah memakai AI di luar tujuan awalnya dalam setahun terakhir. Dua angka ini menunjukkan risiko sering muncul saat peran sistem melebar, bukan semata saat model menghasilkan jawaban keliru.

Sebagai ilustrasi hipotetis, tim pemasaran memakai AI untuk mengelompokkan formulir kontak masuk. Pada tahap awal, AI hanya memberi label “produk”, “dukungan”, atau “kemitraan”. Workflow kemudian diperluas agar AI mengirim email balasan otomatis dan membuat tugas untuk sales. Perubahan ini perlu ditinjau ulang karena sistem telah berkomunikasi dengan calon pelanggan atas nama perusahaan.

Tata kelola AI dimulai dari jejak keputusan yang dapat ditelusuri

Jejak keputusan adalah catatan yang memungkinkan organisasi menelusuri bagaimana hasil AI muncul serta tindakan yang kemudian dilakukan. Catatan tidak harus berarti menyimpan seluruh percakapan tanpa batas. Fokusnya berupa bukti operasional relevan untuk memeriksa sumber data, otorisasi, perubahan workflow, hasil sistem, serta tindakan lanjutan.

Dalam praktiknya, catatan workflow perlu menjawab lima pertanyaan: siapa pemilik proses, data apa yang masuk, akses apa yang diberikan, tindakan apa yang dapat dilakukan AI, serta siapa yang menangani koreksi ketika hasilnya salah. Tanpa struktur tersebut, tim keamanan, operasional, atau layanan pelanggan harus menyusun ulang kejadian dari berbagai sistem saat ada komplain.

Lensa Hukum melaporkan penilaian kematangan tata kelola AI di sektor perbankan mencakup kelengkapan dokumentasi, validasi sistem, pemantauan kinerja, evaluasi berkala, serta keterlibatan manusia dalam pengawasan. Kerangka ini dapat menjadi daftar periksa awal bagi bisnis lain, meski kewajiban kepatuhan tiap sektor tidak sama.

Misalnya, sebuah perusahaan menggunakan AI untuk menyarankan respons layanan pelanggan dari basis pengetahuan internal. Dokumentasi perlu mencatat versi basis pengetahuan yang dipakai, peran pengguna yang dapat mengaksesnya, jenis pertanyaan yang boleh dijawab otomatis, serta kondisi yang wajib dialihkan ke petugas. Saat pelanggan menerima jawaban salah, tim dapat memeriksa apakah sumbernya kedaluwarsa, instruksi workflow keliru, atau batas otomatisasi terlalu luas.

Bedakan otomasi, AI, dan AI agent sebelum menetapkan kontrol

Otomasi menjalankan langkah berdasarkan pemicu dan aturan yang telah ditentukan. Contoh sederhana: formulir masuk, data disalin ke CRM, lalu notifikasi dikirim ke tim sales. Sistem mengikuti alur yang sudah dipasang.

AI menambahkan kemampuan untuk memahami, mengklasifikasikan, menghasilkan, atau menganalisis informasi. Dalam workflow formulir yang sama, AI dapat membaca isi pesan dan memberi kategori kebutuhan sebelum data disimpan di CRM. Hasilnya tetap perlu diuji karena klasifikasi dapat keliru atau konteks pesan tidak lengkap.

AI agent memiliki ruang tindakan lebih luas. Sistem dapat memakai konteks dan alat yang tersedia untuk memilih beberapa langkah menuju tujuan tertentu. Investor.id menggambarkan pergeseran penggunaan AI ke sistem yang dapat merencanakan, mengambil keputusan, serta bertindak atas nama organisasi. Karena itu, AI agent membutuhkan batas mandat yang lebih jelas daripada chatbot atau otomasi berbasis aturan.

Andaikan sebuah AI agent diberi tugas menangani lead masuk. Sistem boleh membaca formulir, memeriksa kategori produk, membuat entri CRM, lalu menyiapkan draf balasan. Namun, perubahan harga, persetujuan kontrak, penghapusan data, pengembalian dana, serta akses ke informasi sensitif sebaiknya tidak dijalankan tanpa persetujuan manusia. Batas tindakan perlu ditulis sebelum akses diberikan, bukan setelah insiden terjadi.

Data dan identitas menjadi titik rawan ketika AI bertindak mewakili organisasi

Kualitas data menjadi kekhawatiran utama ketika AI bertindak mewakili organisasi di Indonesia. Menurut Investor.id, 56% responden menyebut kualitas data sebagai kekhawatiran terbesar, tertinggi di kawasan APAC dalam riset tersebut. Data tidak lengkap, salah konteks, atau tidak lagi relevan dapat menghasilkan klasifikasi dan tindakan yang keliru.

Masalah data juga berkaitan dengan identitas. Organisasi harus dapat membedakan tindakan yang dilakukan karyawan, workflow otomasi, model AI, atau AI agent. Pembedaan ini membantu penanggung jawab memeriksa apakah tindakan terjadi karena instruksi pengguna, aturan workflow, kegagalan integrasi, atau keputusan sistem.

Coba pikirkan sebuah layanan pelanggan hipotetis. AI diberi akses terbatas ke riwayat pesanan agar dapat menyarankan jawaban mengenai status pengiriman. Akses itu tidak otomatis berarti AI boleh mengubah alamat, membatalkan pesanan, atau menampilkan seluruh data pelanggan. Setiap perluasan izin perlu disertai penilaian ulang mengenai data yang terbuka, dampak tindakan, serta pihak yang menyetujui pengecualian.

Kedaulatan digital juga tidak semata soal lokasi penyimpanan data. Lensa Hukum melaporkan konsep tersebut mencakup kemampuan mengendalikan data, sistem AI, serta kegiatan operasional penting. Bagi organisasi, kendali berarti mengetahui sistem yang terhubung, pihak yang mengatur aksesnya, serta cara membatasi atau mencabut akses ketika kebutuhan bisnis berubah.

Langkah awal yang dapat dilakukan tim bisnis sekarang

Mulailah dari satu workflow berisiko rendah, bukan dari pembelian banyak tools AI. Pilih proses dengan pemilik yang jelas, seperti klasifikasi formulir kontak atau penyusunan draf respons internal. Hindari proses yang langsung memengaruhi transaksi, perubahan data sensitif, atau keputusan bernilai tinggi pada tahap pertama.

Buat satu halaman catatan untuk workflow tersebut. Tuliskan tujuan penggunaan AI, sumber data, pengguna yang boleh mengakses, tindakan yang boleh otomatis, tindakan yang memerlukan persetujuan, cara memantau hasil, serta prosedur koreksi. Catatan sederhana membantu tim melihat apakah workflow sudah memiliki batas kerja yang dapat diuji.

Setelah itu, lakukan uji skenario gagal. Masukkan formulir dengan konteks ambigu, permintaan di luar produk, atau data tidak lengkap. Periksa apakah AI memberi label yang masuk akal, apakah hasil dapat dikoreksi, serta apakah petugas menerima notifikasi saat sistem ragu. Jika tim tidak dapat menjelaskan cara menghentikan atau membetulkan workflow, sistem belum siap diberi mandat lebih besar.

Untuk membangun aturan internal sebelum karyawan memasukkan data bisnis ke layanan AI, pembaca dapat melanjutkan ke artikel pilar Tata Kelola AI di Perusahaan, Aturan Sederhana Sebelum Karyawan Memasukkan Data Bisnis ke AI. Setelah aturan dasar tersedia, pilih satu workflow, tetapkan pemiliknya, lalu tentukan pemicu peninjauan ulang ketika data, akses, atau tindakan AI berubah.