Kasus manipulasi foto secara seksual di X masif terjadi setelah muncul fitur Grok AI. Banyak perempuan yang akhirnya menjadi korban sehingga muncul ketakutan dalam menampilkan dirinya di ruang digital.

Retorika.id - Media sosial dan perkembangannya yang pesat tidak hanya membuktikan adanya bias gender, tetapi juga memperkuat fakta bahwa inequality benar-benar dibentuk dan hadir dari teknologi yang kita manfaatkan sehari-hari. Pengguna media sosial kerap kali merasa memublikasikan dokumentasi kehidupannya sebagai kegiatan pengarsipan. Namun, yang sering dilewatkan, unggahan tersebut secara otomatis menjadi data yang bisa diakses dan diolah oleh siapa pun.

Mytha Eliva Veritasia selaku dosen program studi Ilmu Komunikasi FISIP Unair memberikan pandangannya.

“Dalam cyberspace, semua hal akan menjadi data, baik itu kata, tag, gambar, video, dan sebagainya. Ketika hal-hal ini berubah menjadi data, maka ia bisa diolah. Ketika data itu akhirnya bisa diolah, maka ia menjadi sebuah materi yang tidak punya pemilik, sehingga otoritasnya dapat dikatakan menjadi milik publik,” ujarnya.

Ketika media sosial menjadi media masif utama, pengguna mulai kehilangan otoritas atas identitas digitalnya. Segala hal yang dipublikasikan telah menjadi data publik yang bisa dimanipulasi hingga dieksploitasi. Hal ini menimbulkan kebimbangan mengenai kebebasan pengguna media sosial dalam menggunakannya, terutama bagi perempuan dan anak-anak yang termasuk golongan marginal. 

“Freedom of expression tidak sama dengan visibility. Freedom dalam cyberspace tidak bisa dimaknai dengan kebebasan untuk mempublikasikan data kita sebanyak-banyaknya karena once foto kita ter-upload di media sosial, itu sudah menjadi milik orang lain juga karena kita membagikan data kita pada orang lain,” tambah Mytha. Ia juga menekankan bahwa sebagai pengguna sosial, terutama perempuan, kita memang memiliki kebebasan untuk memosting tetapi belum terlepas dari belenggu risiko eksploitasi data.

Hadirnya AI tidak hanya menggeser perspektif publik mengenai penggunaan teknologi, melainkan berimbas pada pergeseran makna dalam pergerakan sosial, dalam konteks pemberdayaan perempuan misalnya. Menurut United Nation Economic and Social Commission for Western Asia (ESCWA), pemberdayaan perempuan adalah proses di mana perempuan menjadi sadar akan hubungan kekuasaan yang tidak setara berdasarkan gender dan memperoleh suara yang lebih besar dalam bersuara, melawan ketidakadilan di ranah rumah tangga maupun masyarakat. Namun—menurut Mytha—seiring dengan kemunculan AI, pemberdayaan perempuan tidak lagi secara eksklusif berbicara mengenai kesempatan dan kesetaraan saja, melainkan juga bagaimana perempuan bisa memiliki kontrol penuh atas presensi dirinya di media sosial. Terlebih, kontrol mempertahankan posisi dirinya sebagai subjek dan bukan objek, terutama di sebuah arena yang sifatnya maskulin. 

Perempuan seharusnya secara alamiah tidak perlu merasakan kekhawatiran akan objektifikasi dirinya, termasuk di ruang-ruang siber. Sebaliknya, berdasarkan data dari UN Women, sebanyak 15–58% perempuan di dunia menjadi korban kekerasan yang difasilitasi oleh teknologi, khususnya oleh AI. Hal ini menunjukkan bahwa ruang aman perempuan di bilik-bilik siber semakin terbatas pascamaraknya penggunaan AI sebagai teknologi yang begitu masif. 

Mytha turut menyoroti teknologi dalam perspektif cyberfeminism. Grok yang merupakan AI di platform X bekerja dengan perpaduan cara pikir pencipta dan pengguna teknologi yang biasanya bersifat maskulin. 

“Jadi Grok ini adalah bentuk posthuman, dia itu adalah hasil dari perpaduan antara manusia dan mesin, dia bekerja dengan nalar manusia. Nah, manusia yang menciptakan itu biasanya bekerja dengan cara-cara maskulin,” terangnya. 

Teknologi akhirnya menjelma sebagai alat berpikir yang maskulin yang mendesak ruang aman perempuan dengan pemikiran-pemikirannya yang bias. Hal inilah yang kemudian membuat persepsi bahwa pemberdayaan perempuan di era AI tidak lagi hanya sekadar kesempatan dan kesetaraan dalam bersuara, melainkan juga menekan kontrol perempuan sebagai subjek dalam ruang siber. Menurut Mytha, kontrol ini bisa dicapai dengan meningkatkan literasi digital mengenai risiko unggahan foto dan data diri di media sosial.

Foto di Media Sosial Bukan Milik Publik

Perlu disadari bahwa mengunggah foto pribadi ke media sosial tidak secara otomatis memberi consent atau izin untuk foto tersebut dimanipulasi, dikomersialisasi, diubah dengan AI, apalagi diseksualisasi. Foto pribadi yang diunggah ke media sosial akan selalu menjadi hak sang pemilik. Hal tersebut telah tertulis dalam UU ITE pasal 26 yang menyebutkan bahwa penggunaan setiap informasi melalui media elektronik yang menyangkut data pribadi seseorang harus dilakukan atas persetujuan orang yang bersangkutan. Dengan kata lain, setiap data pribadi yang tersebar di media sosial secara otomatis mendapat perlindungan hukum dan tidak dapat digunakan sebagai pemenuhan kebutuhan pihak lain tanpa izin pemilik data, termasuk foto pribadi.

Dalam konteks kasus ini, terdapat

perlindungan hukum lain bagi korban manipulasi foto tidak senonoh yang dihasilkan oleh Grok. Hal tersebut tertera dalam UU No. 1 Tahun 2023 Pasal 407 yang berbunyi “Setiap orang yang memproduksi, membuat, memperbanyak, menggandakan, menyebarluaskan, menyiarkan, mengimpor, mengekspor, menawarkan, memperjualbelikan, menyewakan, atau menyediakan pornografi, dipidana dengan pidana penjara paling singkat 6 (enam) Bulan dan pidana penjara paling lama l0 (sepuluh) tahun atau pidana denda paling sedikit kategori IV dan pidana denda paling banyak kategori VI”.

Ketidaknyamanan yang ditimbulkan oleh fitur milik Grok semakin merajalela di jagat platform X. Perintah seperti grok make her in bikini, grok make him nude, grok remove her clothes kini menjadi kekhawatiran besar para pengguna, terutama perempuan. Meskipun terdapat opsi limitasi untuk menjadikan Grok sebagai pihak ketiga dan kolaborator dalam pengaturan akun, hal ini tidak dapat menjamin perlindungan secara penuh bagi korban dari penyalahgunaan foto pribadi. Sebab, banyak cara dapat dilakukan pelaku untuk melancarkan aksinya selama fitur Grok AI masih berjalan. Permasalahan yang dihasilkan akhirnya mengancam kebebasan berselancar di dunia maya bagi kelompok tertentu.

Meski sebelumnya pengguna diminta untuk membaca dan menyetujui terms and conditions (T&C) dari X, AI yang disediakan, dipromosikan, dan disebar dalam ekosistem X membuat tanggung jawab tidak lagi sepenuhnya berada di posisi pengguna, melainkan juga pada sistem. Hadirnya Grok dengan fitur yang tidak membatasi kemampuan pembuatan foto hingga titik tertentu turut menimbulkan sekaligus menghilangkan kebebasan bagi penggunanya. Di tahap ini, tanggung jawab atas akar permasalahan kekerasan berbasis gender online (KBGO) yang dihasilkan oleh Grok tidak hanya dibebankan pada pelaku, melainkan juga AI sebagai penyedia fitur yang tidak merestriksi kemampuan alatnya dari kemungkinan penyalahgunaan yang berimbas pada pelecehan seksual.

Kontrol dalam Melindungi Ruang Aman Pengguna

Media sosial menjadi salah satu ruang dalam mengekspresikan diri atau hanya sekadar mencari hiburan saat ini. Pemilik platform media sosial memegang kontrol dalam menetapkan pedoman yang mendukung ruang aman bagi penggunanya, yang disebut community guidelines, sehingga pengguna bisa menggunakan platform miliknya. Namun, kasus fitur Grok dalam X menunjukkan adanya kecenderungan pengabaian eksploitasi dan pelecehan, khususnya pada perempuan, yang secara tidak langsung menghambat kebebasan berekspresi pengguna.

Intan Fitranisa selaku dosen Ilmu Komunikasi FISIP Unair serta bagian dari Satgas PPKPT Unair menjelaskan bahwa media merupakan teknologi yang netral, namun kepemilikan media dengan ideologi atau kepentingan tertentu sangat berpengaruh dalam bagaimana media itu bekerja dan budaya dalam media tersebut.

“Teknologi pada dasarnya adalah netral tapi yang kemudian meletakkan atribut (fitur) itu tentu saja adalah kreatornya, bagaimana ideologi atau kepentingan ekonomi yang dipunya sama owner itu sangat mempengaruhi kultur platform media,” tuturnya. 

Konten-konten bernuansa seksual mudah sekali ditemukan di platform X. Intan berpandangan bahwa konten-konten vulgar di platform X memang sengaja dibiarkan bahkan memiliki algoritma yang tinggi. Media hidup dari keuntungan yang diperoleh dari banyaknya pengguna yang mengakses platform atau traffic. Hal tersebut terduga yang menjadi alasan pengabaian postingan bernuansa seksual yang terus berkeliaran di platform X. 

“Tentu saja semua demi kepentingan ekonomi ya. Kan semakin tinggi traffic, semakin tinggi cuan yang masuk, kan gitu. Hidupnya media kan seperti itu, mungkin kenapa Elon Musk membiarkan konten-konten porno itu hidup di situ ya banyak yang nonton mungkin soalnya,” jelas Intan.

Berbeda dengan X, konten di media sosial lain—seperti Instagram dan TikTok—yang tidak sesuai dengan community guidelines bisa terkena shadowban maupun takedown secara otomatis oleh sistem. Ada pula notice yang diberikan oleh platform sebelum pengguna mengunggah konten yang dinilai tidak sesuai. Sebelum meluncurkan fitur baru di Grok yang bisa melakukan manipulasi foto, X seharusnya memfilter terlebih dahulu prompt-prompt yang dapat memicu terganggunya ruang aman pengguna. Pemilik platform memiliki kontrol yang besar dalam mengatur guidelines serta fitur-fitur yang tersedia di platform miliknya. Intan juga menyarankan setiap platform media sosial untuk selalu memperbarui community guidelines dengan mengikuti perkembangan masyarakat demi menjamin keamanan kebebasan berekspresi pengguna. 

Regulasi yang Perlu Diterapkan 

Mencuatnya penyalahgunaan Grok AI yang menghasilkan konten seksual nonkonsensual mendorong pemerintah Indonesia untuk mengambil langkah regulatif. Melalui Kementerian Komunikasi dan Informatika (Kominfo), pemerintah dilaporkan telah memanggil perwakilan X Indonesia untuk meminta klarifikasi, serta pertanggungjawaban atas beredarnya deepfake seksual yang dibuat dengan Grok. Dalam pernyataannya, pemerintah mengancam akan melakukan pemblokiran terhadap layanan Grok apabila pihak platform tidak segera memperbaiki sistem moderasi dan pencegahan penyalahgunaan, khususnya terhadap pembuatan gambar eksplisit tanpa adanya persetujuan korban. 

Sebagai tindak lanjut, langkah pemblokiran sempat diterapkan. Namun, kebijakan ini menunjukkan keterbatasan serius dari sisi efektivitasnya. Laporan media internasional menyebutkan bahwa layanan Grok tetap dapat diakses melalui cara-cara bypass seperti penggunaan VPN, yang sebagaimana terjadi pula di Malaysia meskipun mereka telah memberlakukan larangan serupa. Fakta ini menegaskan bahwa pendekatan pemblokiran teknis semata tidak cukup untuk menghentikan produksi dan distribusi konten seksual berbasis AI, serta tidak menyentuh akar persoalan berupa lemahnya tata kelola maupun akuntabilitas penyedia teknologi.

Di tingkat global, tekanan terhadap Grok dan platform X kian meningkat. X telah memberlakukan pembatasan fitur pengeditan gambar bagi seluruh pengguna Grok sebagai respons atas kritik publik. Di Amerika Serikat, Jaksa Agung California mengirimkan surat cease and desist kepada X dan membuka penyelidikan, serta penyebaran materi seksual nonkonsensual yang dihasilkan oleh Grok. Di samping itu, Jepang, Kanada, dan Inggris juga dilaporkan telah membuka penyelidikan terhadap Grok.

Kerangka hukum pidana di Indonesia memang bisa menjerat pelaku pelecehan seksual melalui konten AI-generated yang dihasilkan tanpa consent atau persetujuan dari korban. Adapun pendekatan-pendekatan dalam kerangka hukum pidana ini dapat dilakukan secara berlapis melalui undang-undang seperti Informasi dan Transaksi Elektronik (ITE), Perlindungan Data Pribadi (PDP), dan Tindakan Pidana Kekerasan Seksual (TPKS). Undang-Undang Informasi dan Transaksi Elektronik No. 1 Tahun 2024 Pasal 27 Ayat 1 mengonfirmasi manipulasi foto vulgar hasil AI-generative dapat masuk ke dalam kategori informasi elektronik bermuatan melanggar kesusilaan. Individu yang melanggar akan dipidana penjara paling lama 6 tahun dan/atau denda maksimal Rp1 miliar. 

Dalam UU No. 27 Tahun 2022 tentang Perlindungan Data Pribadi, data biometrik yang unik seperti bentuk wajah, iris mata, dan suara merupakan data pribadi tiap individu yang dilindungi oleh UU ini. Pasal 65 Ayat 1 melarang setiap orang memperoleh atau mengumpulkan data pribadi dengan maksud untuk menguntungkan diri sendiri atau orang lain yang dapat mengakibatkan kerugian subjek data pribadi. Lebih lanjut, Pasal 65 Ayat 3 melarang setiap orang menggunakan data pribadi yang bukan miliknya. Individu yang melanggar akan dikenakan pidana penjara paling lama 5 tahun dan/atau denda paling banyak Rp5 miliar. Selain itu, dalam Pasal 20, Pengendali Data Pribadi (PDP) wajib memiliki dasar pemrosesan data yang salah satunya adalah persetujuan eksplisit dari subjek data pribadi. Pemrosesan data pribadi harus sah secara hukum dan transparan. Media sosial dan penyedia sistem AI bisa dikatakan PDP, sehingga kewajiban yang ada pada UU PDP harus dilaksanakan oleh mereka. 

Undang-Undang No. 12 Tahun 2022 tentang Tindak Pidana Kekerasan Seksual Pasal 14 menyatakan setiap orang yang tanpa hak melakukan perekaman, pengambilan gambar/tangkapan layar bermuatan seksual tanpa persetujuan, atau mentransmisikan/menyebarkan konten seksual tanpa persetujuan yang ditujukan untuk merendahkan martabat atau keinginan seksual akan dikenakan pidana penjara maksimal 4 tahun dan/atau denda Rp200 juta. Manipulasi konten seksual hasil AI-generative bisa dianggap sebagai kekerasan seksual berbasis elektronik (KSBE) yang diatur oleh UU ini, karena termasuk ke dalam menyebarkan konten seksual tanpa persetujuan meski hasil generated AI.

Namun, selain tidak mengenal konsep AI-generated/deep fake, UU di atas lebih fokus ke penyebaran konten, bukan platform atau sistem. Konten yang telanjur tersebar juga tidak dikenai kewajiban untuk di-takedown sehingga berpotensi tetap menyebar bahkan tersimpan selamanya di dunia maya. Regulasi yang ada cenderung multitafsir, tambal sulam, dan kurang komprehensif dalam mengatasi ancaman AI-generative. 

Jika dibandingkan dengan negara lain seperti China, regulasi mereka seperti Provisions on the Administration of Deep Synthesis Internet Information Services melarang penyedia dan pengguna layanan deep synthesis—termasuk AI—memproduksi, mereproduksi, menerbitkan, atau menyebarkan informasi yang merugikan hak dan kepentingan sah individu lain. Selain itu, penyedia layanan deep synthesis harus memberi tahu dan mendapat persetujuan dari individu yang informasi biometriknya digunakan. Konten hasil deep synthesis juga harus diberi label yang jelas dan dapat dikenali publik. 

Tidak hanya itu, China lewat Interim Measures for the Management of Generative Artificial Intelligence Services juga mengatur bahwa penggunaan data pribadi untuk training atau output AI harus berdasarkan persetujuan yang sah. Penyedia layanan AI-generative juga wajib melakukan review dan filter konten, mencegah output ilegal, memperbaiki model jika berisiko, dan menanggapi laporan pengguna. Regulasi terbaru adalah Measures for Labeling of AI-Generated Synthetic Content (2025) yang mewajibkan platform untuk mendeteksi metadata AI, menampilkan label, dan tetap memberikan label pada konten AI-generative meski metadatanya dihapus. Tidak seorang pun diperbolehkan untuk menghapus, menyembunyikan, dan memalsukan label AI. 

Melihat situasi di Indonesia saat ini, pemerintah sedang menyiapkan dua rancangan Peraturan Presiden (Perpres) tentang Etika dan Peta Jalan AI Nasional yang dikabarkan untuk memperkuat regulasi pemerintah terhadap penggunaan dan perkembangan AI. Namun, sepengetahuan kami, kedua rancangan Perpres tersebut tidak secara eksplisit dirancang dari urgensi banyaknya pelanggaran hak-hak asasi manusia layaknya kasus-kasus nonconsensual content deepfakes. 

Elemen-elemen masyarakat mesti mengawali proses pembuatan Perpres tersebut karena apabila hasilnya tidak menjera proses-proses pembuatan konten ilegal tersebut, permasalahan KSBE akan terus terselesaikan pada lapisan kulitnya saja, bukan seakar-akarnya. Apalagi jika proses pembuatan rancangan Perpres tersebut malah mengancam kebebasan berbicara dan berekspresi masyarakat dalam dunia maya selayaknya UU ITE telah dipergunakan. Hal terakhir yang kita butuhkan dari rancangan-rancangan Perpres ini adalah peraturan karet lainnya yang tidak mengusut tuntaskan permasalahan KSBE karena AI dan tidak memberikan keadilan pada korban kejahatan seksual. 

Secara keseluruhan, regulasi yang diterapkan negara-negara di atas sudah jauh lebih preventif dan relatif adil karena kewajiban tidak dibebankan kepada user saja tetapi juga pada sistem, platform, dan penyedia layanan AI. Cengkeraman pemerintah, hukum, dan aparat-aparatnya dalam meregulasi AI memang sulit dalam segi sumber dayanya sehingga tidak heran ketika pemerintah sulit untuk meregulasi dunia maya. Namun, ini bukan suatu alasan bagi pemerintah untuk terlambat dalam memberikan keadilan pada korban-korban KSBE. Pemerintah sebaiknya segera membentuk dan mengesahkan regulasi yang menargetkan dalam memberantas kekerasan seksual sampai ke akar-akarnya.

Referensi:

China. Cyberspace Administration; Ministry of Industry and Information Technology; Ministry of Public Security; State Administration of Radio and Television. (2025, March 7). Measures for Labeling of AI-Generated Synthetic Content [????????????????]. Promulgated; effective September 1, 2025. http://www.cac.gov.cn/2025-03/14/c_1743654684782215.htm

China. Cyberspace Administration of China; Ministry of Industry and Information Technology; Ministry of Public Security; State Administration of Radio and Television. (2022, January 1). Provisions on the Administration of Deep Synthesis Internet Information Services. (Effective January 1, 2022). http://www.cac.gov.cn/2022-12/11/c_1672221949354811.htm

China. Cyberspace Administration of China; Ministry of Industry and Information Technology; Ministry of Public Security; State Administration of Radio and Television. (2023, October 16). Interim Measures for the Management of Generative Artificial Intelligence Services. Promulgated. (Effective upon promulgation). http://www.cac.gov.cn/2023-07/13/c_1690898327029107.htm

Dushi, D., Berdufi, N., & Karagianni, A. (2025). The legal framework and legal gaps for AI-generated child sexual abuse material. Computer Law & Security Review, 59(106205). https://doi.org/10.1016/j.clsr.2025.106205 

Mediana, C. (2026, January 13). Tahun Ini, Pemerintah Akan Merilis Dua Perpres soal Etika dan Peta Jalan AI Nasional. Kompas.Id. https://www.kompas.id/artikel/program-perpres-2026-ditetapkan-dua-rancangan-atur-etika-dan-peta-jalan-ai-nasional 

Syahrani, D. F., Primananda, M. A., Paramesti, N. Z., Zalifah, Y. K., & Nugroho, A. A. (2025). Media Hukum Indonesia (MHI) Analisis Yuridis Terhadap Non-Consensual AI-Generated Sexual Content Sebagai Digital Voyeurism dalam Hukum Pidana Indonesia. Media Hukum Indonesia, 4(1), 1–11. https://doi.org/10.5281/zenodo.17810678 

UNESCWA. (n.d.). Women's empowerment. United Nations Economic and Social Commission for Western Asia. Retrieved January 26, 2026, from https://www.unescwa.org/sd-glossary/women%E2%80%99s-empowerment

UN Women. (2025, November 18). AI-powered online abuse: How AI is amplifying violence against women and what can stop it. UN Women. Retrieved January 26, 2026, from https://www.unwomen.org/en/articles/faqs/ai-powered-online-abuse-how-ai-is-amplifying-violence-against-women-and-what-can-stop-it

U.S. Congress. (2025, May 19). TAKE IT DOWN Act (Public Law 119-12). U.S. Government Publishing Office. https://www.govinfo.gov/app/details/COMPS-18158

Penulis: Tim Litbang Retorika

Editor: Claudya Liana

Share: 

BACA JUGA