Perusahaan kini memasuki fase baru pemanfaatan kecerdasan buatan. Jika pada generative AI perhatian utama biasanya tertuju pada kualitas jawaban, ringkasan, atau konten yang dihasilkan, maka pada Agentic AI persoalannya bergerak jauh melampaui output teks. Agent tidak hanya menjawab pertanyaan, tetapi dapat merencanakan langkah, memilih tool, mengambil data dari sistem lain, memanggil API, dan mengeksekusi workflow. Pergeseran inilah yang membuat governance Agentic AI tidak lagi cukup dipahami sebagai model governance semata, melainkan sebagai governance atas keputusan dan tindakan yang dijalankan melalui sistem AI [1][2].
Pada generative AI, risiko yang paling sering dibahas adalah jawaban keliru, ringkasan tidak akurat, kode yang salah, atau hallucination. Namun dalam banyak skenario, manusia masih berada pada titik keputusan akhir: membaca output, mengevaluasi, lalu memutuskan apakah hasil tersebut dipakai atau diabaikan. Selama AI tetap berfungsi sebagai advisory tool, dampak kesalahan biasanya masih dapat ditahan melalui review manusia. Situasinya berubah secara mendasar ketika organisasi mengizinkan AI bertindak. Ketika agent dapat mengubah status transaksi, menjalankan persetujuan, memicu pembayaran, atau meneruskan proses bisnis ke tahap berikutnya, kesalahan reasoning tidak lagi berhenti sebagai teks yang salah, tetapi berubah menjadi tindakan bisnis yang nyata [1].
Di sinilah pertanyaan governance menjadi lebih serius: ketika AI melakukan sesuatu yang salah, siapa yang bertanggung jawab? Jawaban yang paling penting adalah bahwa akuntabilitas tidak dapat dipindahkan kepada AI. Agent tidak memiliki legal accountability, fiduciary responsibility, maupun kewenangan organisasi sebagaimana manusia dalam struktur perusahaan. Karena itu, saat AI agent menyetujui transaksi yang keliru, melewatkan kontrol kepatuhan, atau menjalankan workflow yang merugikan, organisasi tidak bisa berhenti pada kalimat bahwa “AI yang memutuskan”. Tanggung jawab tetap kembali kepada manusia, fungsi bisnis, dan struktur tata kelola yang memberi AI kewenangan untuk bertindak. Kesimpulan ini sejalan dengan arah governance yang ditekankan dalam pembahasan enterprise Agentic AI: yang harus dikendalikan bukan hanya modelnya, tetapi ownership, responsibilities, monitoring, escalation, dan accountability atas tindakan agent [1][2].
Perbedaan paling penting antara governance generative AI dan governance Agentic AI terletak pada konsekuensi output. Bayangkan sebuah sistem membantu underwriter merangkum kondisi kesehatan calon tertanggung. Bila ringkasan itu salah, underwriter masih memiliki kesempatan menemukan kekeliruan sebelum keputusan underwriting dibuat. Namun bila sistem yang sama diubah menjadi agent yang mampu menarik data dari beberapa sumber, menjalankan aturan underwriting, menetapkan status standard risk, lalu mengubah application status menjadi approved dan meneruskan kasus ke policy issuance, maka kesalahan yang sebelumnya hanya berupa teks kini menjadi keputusan operasional. Pergeseran dari “AI yang berkata” menjadi “AI yang bertindak” adalah inti mengapa governance harus didesain ulang [1][2].
McKinsey menekankan bahwa Agentic AI bukan sekadar evolusi chatbot, karena agent memperoleh kemampuan untuk merencanakan, memakai tools, dan mengeksekusi rangkaian kerja lintas sistem. Dalam konteks itulah governance harus mencakup inventaris agent, batas kewenangan, kepemilikan proses, monitoring, dan mekanisme eskalasi [1][2]. McKinsey juga mencatat, dengan mengutip survei SailPoint 2025, bahwa 80 persen organisasi mengatakan mereka pernah menemukan risky behavior dari AI agents [1]. Angka tersebut penting bukan sebagai sensasi, melainkan sebagai sinyal bahwa risiko agentic bukan hipotesis teoretis; ia sudah muncul dalam praktik enterprise.
Implikasinya jelas: semakin besar kemampuan agent untuk bertindak, semakin governance tidak boleh hanya berfokus pada model. Fokus utama harus bergeser ke decision rights. Organisasi harus mendefinisikan keputusan apa yang boleh dilakukan AI, dalam kondisi apa, menggunakan data apa, sampai batas nilai transaksi berapa, pada sistem mana, dan kapan AI wajib berhenti untuk meminta persetujuan manusia. Dalam bahasa governance, AI boleh mengeksekusi keputusan, tetapi organisasi harus tetap memiliki keputusan tersebut. Dengan kata lain, AI may execute the decision, but the organization must own the decision.
Dari sudut enterprise, prinsip itu berarti kepemilikan hasil bisnis tetap berada pada pemilik proses bisnis. Jika Agentic AI dipakai dalam underwriting, maka fungsi underwriting tetap menjadi owner atas kerangka keputusan underwriting. Jika agent dipakai dalam proses klaim, maka process owner klaim tetap bertanggung jawab atas kualitas keputusan dan outcome proses tersebut. Jika kegagalan terjadi pada layer API, autentikasi, akses, atau software defect, maka technology owner memegang tanggung jawab pada control teknis. Jika muncul pelanggaran regulasi, maka risk, compliance, legal, dan security harus memiliki mekanisme oversight dan escalation. Jadi, akuntabilitas tidak identik dengan mencari satu pihak yang disalahkan setelah insiden; akuntabilitas adalah pembagian tanggung jawab yang dirancang sebelum sistem dijalankan [1][2][4].
Karena itu, salah satu rancangan governance yang paling defensible adalah model federated governance. McKinsey menggambarkan pendekatan ini sebagai pola ketika business domain memegang day-to-day governance atas workflow yang di-enable oleh agent, sementara central data dan AI teams menyediakan platform bersama, guardrails, serta oversight enterprise [2]. Model ini penting karena mencegah dua kesalahan sekaligus. Pertama, mencegah organisasi menyerahkan seluruh tanggung jawab ke tim teknologi. Kedua, mencegah fungsi bisnis menggunakan AI tanpa pagar kontrol teknis yang memadai. Agentic AI hanya dapat dioperasikan secara sehat bila domain accountability bisnis dan control capability teknis berjalan bersama.
Dalam industri asuransi kesehatan, pola tersebut mudah dipahami melalui contoh AI Automation Underwriting. Agent dapat membaca application form, medical declaration, hasil pemeriksaan medis, BMI, occupation, klaim sebelumnya, dan data pendukung lain. Setelah itu agent menjalankan aturan yang telah ditetapkan. Untuk kasus sederhana dengan parameter jelas dan deterministik, agent dapat memberi rekomendasi accepted. Untuk kasus dengan faktor risiko tertentu, agent dapat memberi rekomendasi substandard. Namun untuk kasus yang tidak dikenal, confidence rendah, konflik antar-aturan, atau profil risiko tinggi, kasus harus diteruskan ke underwriter manusia. Desain ini menunjukkan bahwa governance yang tepat bukan pertanyaan biner apakah AI boleh mengambil keputusan atau tidak, melainkan bagaimana organisasi menetapkan tingkat otonomi berdasarkan tingkat risiko.
Pendekatan tersebut dapat disebut sebagai graduated autonomy atau autonomy envelope. Istilah ini merupakan sintesis desain governance, bukan bunyi normatif tunggal dari satu regulasi, tetapi sangat selaras dengan arah kerangka yang ada. Semakin tinggi risiko, semakin sempit ruang gerak agent; semakin rendah risiko dan semakin deterministik aturan, semakin besar otonomi yang dapat diberikan. Kerangka seperti ini juga konsisten dengan prinsip dalam EU AI Act bahwa human oversight pada high-risk AI systems harus dirancang secara efektif dan proporsional terhadap tingkat risiko, tingkat otonomi, dan konteks penggunaan [3]. Artinya, human oversight bukan slogan umum, melainkan desain pengawasan yang disesuaikan dengan dampak nyata dari tindakan AI.
EU AI Act juga penting karena menegaskan bahwa untuk high-risk AI systems, oversight harus dijalankan oleh manusia yang memiliki kompetensi, pelatihan, kewenangan, dan dukungan yang memadai [3]. Ini relevan langsung bagi enterprise. Jika sebuah agent boleh menyetujui underwriting sederhana, memblokir klaim yang terindikasi fraud, atau memicu instruksi pembayaran dalam batas tertentu, maka organisasi tidak cukup hanya berkata bahwa ada “human in the loop”. Yang jauh lebih penting adalah: siapa manusianya, apa kewenangannya, kapan ia harus turun tangan, dan apakah ia benar-benar memiliki informasi yang cukup untuk melakukan override bila diperlukan.
Namun human-in-the-loop juga tidak boleh dipahami secara naif. Jika setiap langkah agent harus disetujui manusia, manfaat Agentic AI akan berkurang drastis. Karena itu, pengawasan manusia seharusnya berbasis risiko. Transaksi berisiko rendah dengan aturan jelas dapat berjalan otomatis. Transaksi dengan dampak finansial menengah dapat memakai threshold approval. Transaksi high-risk, sensitif secara regulasi, bernilai besar, atau mengandung exception harus mewajibkan persetujuan manusia. Pendekatan ini lebih realistis daripada memaksakan review total terhadap seluruh tindakan AI, dan lebih aman daripada memberikan blank authority kepada agent.
Di atas semua itu, organisasi membutuhkan pembagian ownership yang tegas pada beberapa lapisan. Business accountability berada pada pemilik proses yang menentukan tujuan, risk appetite, kebijakan, kriteria exception, dan keputusan mana yang boleh didelegasikan kepada AI. Technology accountability berada pada fungsi teknologi yang memastikan orkestrasi workflow, integrasi API, autentikasi, otorisasi, observability, rollback, dan implementasi software berjalan benar. AI or model accountability berada pada tim AI engineering atau AI platform yang bertanggung jawab atas pemilihan model, prompt atau instruction design, grounding, evaluasi model, guardrails, dan change management. Di atasnya ada risk and compliance oversight yang menetapkan kebutuhan kontrol serta memastikan proses berjalan sesuai kebijakan internal dan kewajiban regulasi [1][2][4].
Dengan struktur seperti itu, ketika insiden terjadi organisasi tidak berhenti pada pertanyaan “siapa yang salah”, tetapi bergerak ke pertanyaan yang lebih berguna: layer kontrol mana yang gagal? Kegagalan dapat terjadi karena data salah, OCR keliru, reasoning model lemah, aturan bisnis usang, tool memilih endpoint yang salah, integrasi API bermasalah, kontrol akses terlalu longgar, atau reviewer manusia memberi persetujuan yang keliru. NIST AI RMF sangat membantu untuk melihat masalah ini secara lifecycle dan sistemik. Kerangka tersebut menempatkan Govern, Map, Measure, dan Manage sebagai fungsi utama, serta menekankan karakteristik trustworthy AI seperti accountable and transparent, valid and reliable, safe, secure and resilient, explainable, privacy-enhanced, dan fairness dengan harmful bias yang dikelola [4]. Bagi Agentic AI, cara berpikir ini krusial karena akar masalah hampir selalu berada pada rantai keputusan, bukan semata pada model.
Karena itu, auditability menjadi fondasi utama accountability. Organisasi tidak mungkin menetapkan tanggung jawab bila mereka tidak dapat merekonstruksi apa yang sebenarnya dilakukan agent. Agentic AI membutuhkan audit trail yang lebih kaya daripada aplikasi tradisional. Untuk setiap tindakan penting, perusahaan idealnya dapat mengetahui siapa atau proses apa yang memicu agent, versi agent yang digunakan, model yang dipakai, instruction atau prompt version, data yang dibaca, tool atau API yang dipanggil, aturan bisnis yang dievaluasi, rekomendasi yang dihasilkan, intervensi manusia yang terjadi, dan outcome akhirnya. Tanpa jejak seperti ini, penelusuran insiden akan berubah menjadi spekulasi.
Dalam konteks asuransi, kebutuhan tersebut menjadi semakin jelas. Regulator asuransi di Amerika Serikat melalui NAIC menekankan bahwa keputusan atau tindakan insurer yang dibuat atau didukung AI tetap harus mematuhi hukum dan regulasi asuransi yang berlaku, serta membutuhkan governance framework yang memadai [5]. Arah ini memperkuat tesis bahwa penggunaan AI tidak memindahkan tanggung jawab hukum dan kepatuhan dari insurer kepada vendor model, tim teknologi, atau sistem otomatis itu sendiri. Dalam underwriting, claims, maupun payment, ultimate accountability tetap melekat pada institusi dan process owner manusia yang menjalankan bisnis asuransi [5].
Dari sudut praktis, artinya RACI tradisional sering kali belum cukup untuk Agentic AI. Sebuah agent dapat melakukan puluhan langkah hanya dalam hitungan detik: membaca klaim, mengambil policy benefits, memeriksa eligibility, melakukan fraud screening, menghitung payable amount, mengubah status klaim, lalu mengirim payment instruction. Jika semua itu hanya diletakkan dalam satu kotak bernama “Claim AI System”, governance menjadi terlalu abstrak. Organisasi membutuhkan action-level accountability. Setiap tindakan kritis perlu mempunyai owner, authorization rule, threshold, evidence requirement, audit requirement, dan escalation path. Dengan begitu, governance tidak hanya menjawab siapa pemilik sistem AI, tetapi siapa pemilik setiap hak keputusan yang dijalankan oleh agent.
Prinsip berikutnya adalah pergeseran dari post-event audit menuju pre-action control. Dalam sistem tradisional, banyak kontrol dilakukan setelah transaksi terjadi melalui audit atau monitoring periodik. Pada Agentic AI, pendekatan itu sering terlambat. Jika agent memiliki akses untuk memicu pembayaran atau mengubah status polis, organisasi memerlukan pemeriksaan kebijakan sebelum tindakan dieksekusi. Secara konseptual, perusahaan perlu lapisan enforcement yang menilai apakah agent memang memiliki izin, apakah prasyarat proses telah terpenuhi, apakah nilai transaksi masih berada dalam batas otonomi, dan apakah persetujuan manusia diwajibkan. Kontrol harus terjadi sebelum tindakan menyentuh sistem kritis, bukan hanya setelah dampaknya muncul.
Di titik ini, kontrol akses menjadi isu yang sangat sentral. Karena agent dapat melakukan reasoning dan memilih tools secara dinamis, access control tidak boleh hanya ditambatkan pada akun pengguna manusia. Organisasi pada akhirnya memerlukan identitas agent yang eksplisit: setiap agent mempunyai owner, role, permission, credential, environment, version, masa berlaku, dan activity log. Prinsip least privilege menjadi wajib. Underwriting agent mungkin perlu membaca data medis dan data polis, tetapi tidak membutuhkan akses untuk menjalankan pembayaran klaim. Claim agent boleh mengakses claim system, tetapi tidak seharusnya memiliki privilege untuk mengubah customer master data atau memodifikasi konfigurasi underwriting. Dengan kata lain, agent perlu diperlakukan seperti digital employee yang identitas dan hak aksesnya dikelola secara formal.
Pendekatan semacam ini juga membantu organisasi ketika harus menghentikan kemampuan bertindak dari AI. Setiap agent seharusnya dapat dinonaktifkan, kredensialnya dapat dicabut, permission dapat diturunkan, workflow dapat dihentikan, dan versi agent yang bermasalah dapat dikarantina. Dari perspektif governance, kemampuan untuk meng-override atau mematikan agent bukan fitur tambahan, tetapi kontrol keselamatan inti. Semakin besar otonomi agent, semakin penting mekanisme penghentian yang cepat dan teruji.
Hal lain yang perlu dihindari adalah kecenderungan menyederhanakan seluruh insiden sebagai “LLM hallucination”. Pada Agentic AI, itu sering terlalu dangkal. Keputusan salah bisa berasal dari data sumber yang sudah salah, OCR yang salah baca, knowledge base yang usang, aturan underwriting yang obsolete, integrasi API yang menarik data polis yang keliru, tool selection yang salah, prompt yang ambigu, atau approval manusia yang tidak tepat. Karena Agentic AI merupakan system of systems, incident investigation harus mampu mengklasifikasikan sumber kegagalan: data failure, reasoning failure, policy failure, tool failure, integration failure, security failure, human oversight failure, atau governance failure. Klasifikasi seperti ini jauh lebih membantu daripada sekadar menyalahkan model [1][4].
Dari sisi kebijakan organisasi, pelajaran terbesarnya adalah bahwa accountability harus didesain sebelum insiden terjadi, bukan dicari setelah masalah muncul. Bila setelah terjadi kerugian perusahaan baru memperdebatkan apakah yang bertanggung jawab adalah developer, business owner, compliance, vendor model, atau manajemen, maka governance sebenarnya sudah gagal sejak awal. Sebelum sebuah Agentic AI masuk produksi, perusahaan seharusnya sudah menetapkan siapa business owner-nya, siapa technical owner-nya, siapa risk owner-nya, siapa approver untuk high-risk actions, siapa yang dapat menghentikan agent, dan siapa yang memimpin incident response [1][2][4].
Semua itu membawa kita pada kesimpulan yang sangat penting: persoalan inti Agentic AI bukan hanya intelligence, tetapi authority. Model yang sangat cerdas tetapi hanya membantu membuat draft email memiliki eksposur risiko yang relatif terbatas. Sebaliknya, agent dengan kemampuan reasoning biasa namun memiliki akses ke policy administration system, claim system, payment system, customer database, dan API eksternal dapat menimbulkan risiko operasional yang jauh lebih besar. Karena itu enterprise sebaiknya menilai Agentic AI bukan hanya dari kecanggihan modelnya, tetapi dari kombinasi intelligence, autonomy, access, financial impact, dan reversibility of action.
Semakin tinggi otonomi dan semakin sulit suatu tindakan dibatalkan, semakin kuat governance yang diperlukan. Di sinilah governance Agentic AI berbeda secara fundamental dari governance generative AI. Generative AI governance terutama berusaha mengendalikan apa yang AI katakan. Agentic AI governance harus mengendalikan apa yang AI boleh lakukan. Organisasi harus mampu menjawab dengan jelas: kewenangan apa yang diberikan kepada agent, berdasarkan kebijakan apa tindakan diizinkan, data apa yang boleh digunakan, siapa yang mengawasi, bagaimana keputusan dapat direkonstruksi, dan siapa yang tetap memegang final accountability ketika hasilnya salah [1][2][3][4][5].
Jika pertanyaan utamanya adalah, “ketika agent membuat keputusan yang menimbulkan masalah, siapa yang memiliki keputusan itu di dalam organisasi?”, maka jawaban enterprise yang paling kuat adalah sebagai berikut:
- Business owner tetap memiliki ownership atas business outcome dan kerangka keputusan bisnis.
- Technology owner bertanggung jawab atas arsitektur, integrasi, access control, observability, dan reliability sistem.
- Tim AI atau model bertanggung jawab atas perilaku model, evaluasi, prompting, grounding, dan perubahan model.
- Risk, compliance, legal, dan security memberikan kebutuhan kontrol, oversight, serta mekanisme eskalasi.
- Manajemen menetapkan risk appetite dan batas otonomi yang diizinkan untuk sistem otomatis.
Pembagian ini adalah desain governance yang paling selaras dengan sumber-sumber yang tersedia, walaupun tidak selalu dinyatakan verbatim sebagai satu formula universal [1][2][4][5]. Karena itu, ia sebaiknya dipahami sebagai rekomendasi tata kelola yang kuat dan defensible, bukan sebagai satu-satunya bentuk struktur yang wajib berlaku di semua organisasi.
Pada akhirnya, pertanyaan governance yang paling relevan di era Agentic AI bukan lagi “can we trust the AI to make this decision?” Pertanyaan yang lebih matang adalah: kewenangan apa yang benar-benar bersedia kita delegasikan kepada AI, di bawah kontrol apa, dan manusia mana yang tetap akuntabel ketika kewenangan itu dipakai. Pada titik itulah AI governance berhenti menjadi sekadar model governance, lalu berubah menjadi enterprise decision governance. Dan justru di situlah organisasi dapat memanfaatkan Agentic AI secara produktif tanpa kehilangan prinsip dasar akuntabilitas.