Yann LeCun: Kita Gak Bakal Capai AGI Cuma dengan Besarin LLM

← Kembali ke Blogs

Yann LeCun: Kita Gak Bakal Capai AGI Cuma dengan Besarin LLM

Ditulis olehkukuhtw·
0 unik hari ini 0 unik 7 hari 9 unik 30 hari 133 total unik
Yann LeCun: Kita Gak Bakal Capai AGI Cuma dengan Besarin LLM
Iklan



Pernah denger gak sih kata-kata kece dari Yann LeCun, Chief AI Scientist Meta, yang bilang, “Kita tidak akan sampai ke AI selevel manusia cuma dengan membesarkan LLM… absolutely no way in hell.”? Nah, ini bener-bener jadi bahan perdebatan seru di dunia AI, terutama soal apakah nambahin ukuran model bahasa besar (Large Language Models/LLM) cukup buat nyiptain kecerdasan buatan yang setara manusia alias AGI (Artificial General Intelligence).


Jadi, apa sih si LeCun ini maksudnya? Yuk kita kulik bareng-bareng, biar gak cuma ikut-ikutan hype GPU farm dan model yang makin gede.


  • LLM cuma mesin prediksi token: Jadi LLM itu sebenernya jago banget niru bahasa dan ngambil data, tapi gagal bikin model dunia yang kausal. Artinya, LLM gak paham sebab-akibat kayak manusia, cuma nebak kata berikutnya berdasar data yang dia punya.

  • Gak ada ‘PhD digital’: LLM belum bisa bikin solusi baru yang bener-bener out of the box. Jadi, gak kayak manusia yang bisa mikir inovatif, LLM masih stuck di pola data lama.

  • Skala gak sama dengan kecerdasan: Nambah parameter model itu cuma bikin memorinya makin gede sama statistiknya makin akurat, tapi gak bikin kapasitas nalar tambah canggih.

  • AGI dalam 2 tahun? Mimpi deh! LeCun bilang, butuh terobosan besar dalam arsitektur AI, ditambah kemampuan mesin buat berinteraksi langsung sama dunia (embodiment) dan belajar terus-terusan (continuous learning).


Kalau ditarik dari data empiris, makin gede model LLM ternyata punya diminishing returns, alias hasilnya makin lama makin stagnan. Contohnya:

  • Plateau MMLU/GSM8K: Dari tahun 2020 sampai 2023, akurasi model AI melonjak drastis, tapi sekarang mulai datar mendekati batas kemampuan manusia. Ini kayaknya karena ada limitasi di data dan noise yang gak bisa diatasi cuma dengan nambah parameter.

  • OpenAI “Orion”: Bocoran dari Business Insider nunjukin kalau lompatan performa dari GPT-4 ke model Orion cuma "moderat" aja, yang jadi tanda kalau hukum skala mulai capek alias kehabisan bensin.

  • Survei 8.590 pakar AI: Median prediksi AGI ada di tahun 2060, dengan orang Asia lebih optimis (sekitar 30 tahun lagi), sedangkan di Amerika lebih skeptis (sekitar 74 tahun lagi).


Gak cuma LeCun, komunitas AI juga punya berbagai pendapat seru soal ini:

  • Geoffrey Hinton (the Godfather of AI) waspada banget, bahkan ngomong soal kemungkinan bikin komputer analog buat nahan risiko AI yang gak terkendali.

  • Demis Hassabis dari Google DeepMind lebih moderat-optimis, ngasih peluang AGI bisa tercapai 50% dalam 5-10 tahun, tapi tetep butuh inovasi besar di luar cuma skala model.

  • Sam Altman dari OpenAI super optimistis, janjiin era intelijen baru antara 2025-2029 walau performa model terbaru agak melambat.

  • Rumman Chowdhury dari Humane Intelligence kritis, ngingetin supaya jangan asal serahin proses mikir kita ke AI yang cuma mesin probabilistik.


Terus, kenapa sih nambah GPU dan parameter aja gak cukup? Nih alasannya:

  • Data Quality Wall: Data web berkualitas bersih cuma sekitar 5 petabyte, sisanya banyak duplikat dan spam yang bikin model gak belajar optimal.

  • Compute & Energi: Model sebesar 10 triliun parameter butuh daya listrik sekitar 1 gigawatt! Bayangin tuh tagihan listrik dan jejak karbonnya, jadi gak sustainable terus-terusan.

  • Algoritmik Stagnan: Transformer yang dipake LLM masih cuma ngikutin prinsip prediksi token berikutnya, walaupun ada inovasi kayak linear attention dan Mixture-of-Experts, tapi itu cuma solusi sementara.

  • Tanpa Embodiment: Model AI gak punya pengalaman sensorimotor nyata, jadi gak ngerti fisika dunia nyata dan makna dari tindakan nyata.


Untuk ngelanjutin riset AI yang lebih maju, fokusnya bakal pindah ke beberapa area menarik antara 2025-2030:

  • World-Model Learning: Bikin AI yang bisa paham sebab-akibat dan dinamika objek secara kausal.

  • Neuro-Symbolic Reasoning: Gabungin logika simbolik sama pembelajaran gradien untuk reasoning yang lebih canggih.

  • Embodied dan Reinforcement Learning Agents: AI belajar langsung lewat simulasi dunia nyata atau robot biar punya pengalaman sensorimotor.

  • Memory-Augmented Models (RAG 2.0): Kombinasi retrieval data besar sama reasoning modular biar makin pinter.

  • Analog atau Spiking Hardware: Hardware hemat energi yang diusulin Hinton buat ngatasi batasan listrik dan efisiensi komputasi digital sekarang.


Kesimpulannya, LeCun tuh bener banget: cuma nambahin ukuran model dan GPU gak otomatis bikin AI jadi jenius setara manusia. Fakta di lapangan nunjukin tren performa udah mulai datar dan ada batas yang gak bisa dilewati cuma dengan skala. Komunitas AI memang terbelah antara yang optimistis dan skeptis, tapi semuanya sepakat kalau inovasi arsitektur dan grounding ke dunia nyata itu kunci utama.


Jadi, kalau kita mau bikin “otak digital” yang bener-bener setara manusia, kita gak bisa cuma ngasih makan data dan nambah GPU aja. Kita harus ngajarin mesin buat mengalami dunia, punya pemahaman kausal, dan bisa belajar terus-menerus, kayak manusia.


Pokoknya, makin gede gak selalu makin jenius, bro! Yuk kita siap-siap ngikutin perkembangan riset AI yang bakal makin seru dan penuh inovasi di tahun-tahun depan!


Referensi video lengkap bisa cek di sini.

Summary Interaktif

Jawaban:
Yann LeCun berpendapat bahwa membesarkan ukuran LLM saja tidak cukup karena LLM hanya berfungsi sebagai mesin prediksi token yang tidak memahami sebab-akibat (kausalitas) seperti manusia. LLM tidak dapat menghasilkan solusi inovatif 'out of the box' dan peningkatan parameter hanya meningkatkan kapasitas memori dan akurasi statistik, bukan kapasitas nalar atau kecerdasan sejati. Oleh karena itu, mencapai AI selevel manusia memerlukan terobosan besar dalam arsitektur AI, kemampuan mesin untuk berinteraksi langsung dengan dunia (embodiment), dan pembelajaran berkelanjutan (continuous learning).

Jawaban:
"Diminishing returns" berarti bahwa peningkatan ukuran model LLM menghasilkan peningkatan performa yang semakin kecil seiring waktu. Misalnya, akurasi model AI pada benchmark seperti MMLU dan GSM8K melonjak drastis dari tahun 2020 sampai 2023, tetapi kemudian mulai stagnan mendekati batas kemampuan manusia. Contoh lain adalah model OpenAI "Orion" yang hanya menunjukkan peningkatan performa moderat dibandingkan GPT-4, menandakan bahwa hukum skala mulai kehilangan efektivitas.

Jawaban:
Penambahan GPU dan parameter model saja tidak cukup karena beberapa alasan: kualitas data terbatas (hanya sekitar 5 petabyte data web berkualitas tinggi, sisanya duplikat dan spam), kebutuhan energi yang sangat tinggi (model 10 triliun parameter bisa membutuhkan daya hingga 1 gigawatt yang tidak sustainable), stagnasi algoritmik karena transformator masih mengandalkan prediksi token berikutnya, dan ketiadaan embodiment sehingga AI tidak memiliki pengalaman sensorimotor nyata serta pemahaman fisika dunia nyata.

Jawaban:
Pendekatan riset AI yang menjadi fokus antara 2025-2030 meliputi: (1) World-Model Learning, yaitu mengembangkan AI yang memahami sebab-akibat dan dinamika objek secara kausal; (2) Neuro-Symbolic Reasoning, menggabungkan logika simbolik dengan pembelajaran gradien untuk reasoning yang lebih canggih; (3) Embodied dan Reinforcement Learning Agents, agar AI belajar melalui pengalaman sensorimotor di dunia nyata atau simulasi; (4) Memory-Augmented Models (RAG 2.0), kombinasi retrieval data besar dengan reasoning modular untuk meningkatkan kecerdasan; dan (5) Analog atau Spiking Hardware, hardware hemat energi yang diusulkan untuk mengatasi batasan listrik dan efisiensi komputasi digital saat ini.

Jawaban:
Pandangan komunitas AI terbelah antara optimis dan skeptis. Geoffrey Hinton waspada dan bahkan membahas kemungkinan penggunaan komputer analog untuk mengendalikan risiko AI yang tidak terkendali. Demis Hassabis cukup moderat-optimis, memperkirakan peluang AGI tercapai 50% dalam 5-10 tahun tapi membutuhkan inovasi besar. Sam Altman sangat optimistis, menjanjikan era intelijen baru antara 2025-2029 walau performa model terbaru melambat. Rumman Chowdhury kritis terhadap kecenderungan menyerahkan proses berpikir manusia kepada AI yang hanya mesin probabilistik.

Jawaban:
'Embodiment' dalam konteks AI berarti kemampuan mesin untuk berinteraksi langsung dengan dunia nyata melalui pengalaman sensorimotor, seperti yang dimiliki manusia. Hal ini penting karena tanpa embodiment, model AI hanya memiliki data statistik tanpa pengalaman fisik yang membuat mereka memahami makna tindakan nyata dan fisika dunia nyata. Menurut Yann LeCun, embodiment adalah salah satu kunci untuk mengembangkan AI yang mampu belajar terus-menerus dan memahami dunia secara kausal, yang tidak bisa dicapai hanya dengan memperbesar ukuran model.

Jawaban:
"Data Quality Wall" mengacu pada keterbatasan kualitas data yang dapat digunakan untuk melatih LLM. Dari seluruh data web, hanya sekitar 5 petabyte yang berkualitas bersih, sedangkan sisanya banyak berisi duplikat dan spam. Hal ini membatasi kemampuan model untuk belajar secara optimal karena data yang buruk atau berisik menghambat peningkatan performa, sehingga menambah ukuran model saja tidak cukup untuk meningkatkan kecerdasan.

Jawaban:
Model AI besar dengan triliunan parameter membutuhkan daya listrik yang sangat besar, sekitar 1 gigawatt, yang menyebabkan tagihan listrik sangat tinggi dan jejak karbon yang besar. Hal ini membuat pengoperasian dan pengembangan model seperti itu tidak sustainable atau tidak ramah lingkungan jika terus menerus dilakukan dengan cara yang sama.

Jawaban:
LeCun menilai bahwa hanya memperbesar ukuran model dan GPU tidak akan secara otomatis menghasilkan AI yang setara dengan kecerdasan manusia. Inovasi arsitektur diperlukan untuk memungkinkan AI memahami sebab-akibat dan memiliki kemampuan reasoning yang lebih mendalam. Grounding ke dunia nyata melalui embodiment memungkinkan AI memiliki pengalaman sensorimotor dan pemahaman fisik yang esensial untuk kecerdasan umum. Kombinasi keduanya dianggap kunci untuk mengatasi batasan performa dan mencapai AGI.

Jawaban:
Menurut survei terhadap 8.590 pakar AI, median prediksi waktu tercapainya AGI adalah tahun 2060. Namun, pakar dari Asia cenderung lebih optimis dengan prediksi sekitar 30 tahun lagi, sedangkan pakar dari Amerika lebih skeptis dengan prediksi sekitar 74 tahun lagi. Ini menunjukkan adanya perbedaan pandangan dan tingkat optimisme yang signifikan antara kedua wilayah.
Artikel lain dari penulis ini
Iklan