Kapsultekno.com - Google mengonfirmasi bahwa model AI Gemini sempat mengakses dan menerobos sistem tiga perusahaan nyata saat menjalani pengujian kemampuan keamanan siber pada Mei 2026. Insiden ini terjadi dalam evaluasi yang dilakukan perusahaan keamanan AI Irregular.

Dalam pengujian tersebut, Gemini diberikan skenario capture the flag untuk mencari informasi dari perusahaan fiktif sebagai bagian dari simulasi keamanan siber. Namun, lingkungan pengujian ternyata secara tidak sengaja memiliki akses ke internet.

Masalah muncul karena perusahaan fiktif dalam salah satu skenario memiliki nama yang sama dengan perusahaan sungguhan. Gemini kemudian mengakses sistem perusahaan nyata tersebut. Dalam satu kasus, model AI dilaporkan mencoba menebak kata sandi hingga akhirnya berhasil memperoleh akses ke sistem yang dilindungi.

Pada dua kasus lainnya, Gemini menemukan kredensial yang tersedia di repositori publik di internet. Kredensial tersebut kemudian digunakan untuk mengakses sistem perusahaan yang sebenarnya berada di luar cakupan pengujian.

Gemini Berhenti Setelah Menyadari Targetnya Nyata

Google mengatakan Gemini menghentikan tindakannya dalam ketiga kasus setelah mengetahui bahwa sistem yang diakses merupakan milik perusahaan nyata, bukan bagian dari simulasi.

Heather Adkins, Vice President of Engineering Google, mengatakan bahwa Gemini menemukan informasi publik dan menggunakan kredensial untuk mengakses situs yang diyakininya masih berada dalam cakupan pengujian.

"Peristiwa ini menyoroti pentingnya melatih model AI yang tangguh agar bertindak secara bertanggung jawab. Dalam kasus ini, model tersebut bertindak dengan tepat," tutur Heather Adkins, dikutip dari 9to5Google.

Dalam pernyataan lain kepada The Verge, Adkins menambahkan bahwa tim keamanan Google memiliki rekam jejak panjang dalam melaporkan masalah yang ditemukan pada perangkat lunak dan sistem pihak lain, bahkan untuk hal sederhana seperti kata sandi yang lemah.

"Kami memastikan ketiga entitas tersebut mengetahui hal ini dan bekerja sama dengan mitra pelatihan kami terkait perubahan yang kini telah mereka terapkan pada proses pengujian mereka. Peristiwa-peristiwa ini menyoroti pentingnya melatih model AI yang canggih agar dapat bertindak secara bertanggung jawab," terangnya.

Laporan WSJ (The Wall Street Journal) mengungkapkan bahwa dalam pengujian di mana Gemini bertindak di luar kendali, pihak Irregular "secara tidak sengaja" membiarkan akses internet tetap terbuka. Google juga telah memberi tahu pihak berwenang federal saat peretasan tersebut terjadi.

Model Gemini spesifik yang digunakan dalam pengujian itu belum dipastikan, namun waktu pelaksanaannya yakni Mei 2026 menepis kemungkinan penggunaan model-model Gemini terbaru.

Google juga memastikan ketiga perusahaan yang terdampak telah diberi tahu. Perusahaan bekerja sama dengan Irregular untuk memperbaiki prosedur pengujian agar kejadian serupa tidak kembali terjadi.

Bukan Serangan Siber yang Sedang Berlangsung

Penting dicatat bahwa insiden tersebut terjadi pada Mei 2026 dan bukan serangan yang sedang berlangsung terhadap ketiga perusahaan tersebut. Irregular memberi tahu Google mengenai kejadian tersebut pada akhir Juli, sementara Google baru mengonfirmasinya kepada publik setelah laporan The Wall Street Journal muncul pada September.

Google mengatakan tidak menganggap kejadian ini sebagai contoh model misalignment karena sistem keselamatan Gemini membuat model berhenti setelah menyadari kesalahannya. Perusahaan juga menyatakan tidak ada kerusakan yang ditimbulkan dari ketiga insiden tersebut.

Meski demikian, kejadian ini kembali menunjukkan tantangan ketika model AI diberikan kemampuan menjalankan tindakan secara mandiri dan terhubung ke internet. Sebelumnya, kasus serupa juga dikaitkan dengan pengujian model AI oleh OpenAI, Anthropic, dan Meta.