Risiko Eksistensial AI: Self-Training, Intelligence Explosion, dan Masa Depan Kemerdekaan Manusia

Ilustrasi AI melatih diri sendiri (Pic: Grok)

Masa depan AI bukan hanya soal efisiensi, produktivitas, atau kemudahan hidup — tapi soal keberlanjutan kontrol manusia

Jared Kaplan menyatakan bahwa antara 2027–2030 manusia akan menghadapi keputusan besar: apakah memperbolehkan AI untuk melatih dirinya sendiri dan berkembang secara otonom.  

Jika keputusan itu diambil, maka kemungkinan munculnya “intelligence explosion” — di mana AI bisa sangat cepat meningkatkan kemampuannya melampaui manusia — menjadi nyata.  

Kaplan menyebut pilihan itu sebagai “ultimate risk,” karena konsekuensinya bisa dua arah: manfaat besar (kemajuan teknologi, produktivitas, biomedis) — atau hilangnya kendali manusia atas sistem yang ciptakan.  

“Freeing [AI] to recursively self-improve is in some ways the ultimate risk, because it’s kind of like letting AI go.”  

Mekanisme Self-Training & Potensi Risiko

Bagaimana Self-Training Bisa Terjadi

• AI pertama dibuat dengan kapabilitas tinggi (misalnya hampir menyamai manusia).

• AI itu kemudian diberi tugas untuk mendesain dan “melatih” model AI baru — successor yang lebih kuat (recursive self-improvement).  

• Jika proses ini dibiarkan berkembang tanpa kontrol manusia, generasi demi generasi AI bisa muncul dengan kemampuan yang makin maju — jauh melampaui manusia.

Risiko Besar dari Skema Ini

Risiko	Penjelasan
Kehilangan Kendali	Setelah AI mendesain dirinya sendiri, manusia bisa kehilangan kemampuan memahami bagaimana AI mengambil keputusan — “black box problem” absolut.
Kecepatan Melebihi Adaptasi Sosial	Revolusi kemampuan bisa terjadi lebih cepat daripada regulasi, budaya, dan adaptasi sosial — membuat masyarakat tak sempat bersiap.
Penyalahgunaan & Sentralisasi Kekuasaan	AI super-kuat bisa disalahgunakan — untuk kekuasaan politik, perang, manipulasi, eksploitasi skala besar.
Destruksi Etika & Otonomi Manusia	Bila AI mampu menggantikan banyak aktivitas manusia (pekerjaan, keputusan, kreatifitas), manusia bisa kehilangan peran dan otonomi.

 

“Ultimate Risk” & Implikasi terhadap Keberadaan Manusia

Menurut Kaplan, keputusan ini adalah momen kritikal bagi kemanusiaan: “Once no one’s involved in the process, you don’t really know… you don’t know where you end up.”  

Jika self-train dibiarkan tanpa kontrol, kita menghadapi sistem kecerdasan yang manusia tidak bisa kontrol — konsekuensinya bisa:

• hilangnya otonomi kolektif & individu

• konsentrasi kekuasaan ekstrem

• potensi konflik eksistensial (ketika AI punya daya dan kontrol signifikan)

• degradasi peran manusia dalam produksi, pemikiran, kreativitas

Jika self-train dibatasi, maka manusia mempertahankan kendali — tetapi mungkin membayar harga: lambatnya kemajuan teknologi dan beban riset & pengembangan tetap di manusia.

Itulah dilema antara: Potensi luar biasa vs risiko eksistensial.

Rekomendasi Kebijakan & Langkah Preventif

• Pemerintah & komunitas internasional perlu debat global untuk menetapkan batas moral & hukumsebelum memberi izin self-train.

• Butuh kerangka regulasi global & transparan: audit, kill-switch, standar align­ment nilai manusia, kontrol ekspor-alokasi teknologi AI.

• Perlu pendidikan & literasi publik: agar masyarakat pahami risikonya, tidak hanya tergiur janji “kemajuan”.

• Investasi ke riset keamanan & governance AI: studi ilmiah independen tentang dampak jangka panjang, serta mekanisme kontrol yang bisa diandalkan.

Pernyataan Jared Kaplan membuka mata kita terhadap kemungkinan bahwa masa depan AI bukan hanya soal efisiensi, produktivitas, atau kemudahan hidup — tapi soal keberlanjutan kontrol manusia atas teknologi, keberlangsungan otonomi manusia, dan keberadaan manusia sebagai subjek bermoral di planet ini.

Kalau manusia memilih memberi AI kebebasan super, maka kita harus siap menanggung konsekuensi eksistensial.

Kalau kita menolak, kita juga harus siap menanggung harga kemajuan yang melambat.

Tapi satu hal jelas:

Ini bukan keputusan teknis. Ini keputusan moral. Dan itu berarti manusia — bukan korporasi, bukan algoritma — harus memutuskannya. 

Referensi:

Axios. (2025, December 5). Some AI dangers are already real, DeepMind’s Hassabis says.

https://www.axios.com/2025/12/05/ai-hassabis-agi-risks-pdoom

Fleurrozet. (2025). The ultimate risk: Should we let AI train itself by 2030? Jared Kaplan explains.

https://fleurrozet.com/article/the-ultimate-risk-should-we-let-ai-train-itself-by-2030-jared-kaplan-explains

Kaplan, J. (2025, December 2). ‘The biggest decision yet’: Allowing artificial intelligence to train itself. The Guardian.

https://www.theguardian.com/technology/ng-interactive/2025/dec/02/jared-kaplan-artificial-intelligence-train-itself

Livemint. (2025). Ultimate risk: Anthropic co-founder warns AI may design its own successor before 2030.

https://www.livemint.com/technology/tech-news/ultimate-risk-anthropic-co-founder-warns-ai-may-design-its-own-successor-says-humans-have-big-decision-to-make-befor

Magzter. (2025). Ultimate risk: AI pioneer warns of danger of humans losing control. The Guardian (reprint version).

https://www.magzter.com/stories/newspaper/The-Guardian/ULTIMATE-RISK-AI-PIONEER-WARNS-OF-DANGER-OF-HUMANS-LOSING-CONTROL

Reuters. (2025, December 3). AI companies’ safety practices fail to meet global standards, study shows.

https://www.reuters.com/business/ai-companies-safety-practices-fail-meet-global-standards-study-shows-2025-12-03

TechGig. (2025). Anthropic warns AI may design its own successor by 2030.

https://content.techgig.com/technology/anthropic-warns-ai-may-design-its-own-successor-by-2030/articleshow/125735888.cms

The Hans India. (2025). Anthropic scientist warns AI could replace most white-collar jobs within three years.

https://www.thehansindia.com/technology/tech-news/anthropic-scientist-warns-ai-could-replace-most-white-collar-jobs-within-three-years-1028264