Robots.txt untuk Crawler AI, GPTBot, OAI-SearchBot, dan Google-Extended
Robots.txt crawler AI adalah aturan di berkas robots.txt yang menentukan crawler milik perusahaan AI mana yang boleh mengakses situs Anda. Keputusannya bukan hitam putih: memblokir semua crawler AI bisa mencegah situs dipakai melatih model, tetapi juga bisa menghilangkan peluang tampil di jawaban pencarian AI.
Pertanyaan yang banyak dicari, seperti apakah GPTBot menghormati robots.txt, hanya bisa dijawab bila Anda tahu fungsi tiap crawler. Bagian berikut merujuk dokumentasi resmi OpenAI dan Google.
Tiga Crawler OpenAI dan Fungsinya
OpenAI menjelaskan di dokumentasinya bahwa mereka punya beberapa crawler dengan tugas berbeda. OAI-SearchBot dipakai untuk fitur pencarian ChatGPT. GPTBot dipakai untuk pengumpulan data pelatihan model. ChatGPT-User bekerja ketika pengguna meminta ChatGPT membuka halaman, dan tidak dipakai untuk pencarian umum.
Yang paling penting: setiap pengaturan robots.txt bersifat independen. Memblokir GPTBot tidak otomatis memblokir OAI-SearchBot, dan sebaliknya. OpenAI juga menyebut perubahan butuh sekitar 24 jam untuk diterapkan pada sistem pencarian mereka.

| Crawler | Fungsi | Kendali lewat robots.txt |
|---|---|---|
| OAI-SearchBot | Menampilkan situs di pencarian ChatGPT | Ya, dan diatur sendiri |
| GPTBot | Mengumpulkan data pelatihan model | Ya, dan diatur sendiri |
| ChatGPT-User | Mengakses halaman atas permintaan pengguna | Aturan robots.txt mungkin tidak berlaku |
OpenAI mengingatkan bahwa situs yang menutup OAI-SearchBot masih bisa muncul sebagai tautan navigasi. Mereka juga menerbitkan daftar alamat IP crawler di openai.com untuk keperluan verifikasi.
Google-Extended Bukan Crawler Pencarian
Google-Extended adalah token robots.txt mandiri. Menurut dokumentasi Google, token ini mengatur pemakaian konten untuk melatih model Gemini mendatang dan untuk grounding di aplikasi Gemini serta Vertex AI. Ia tidak memengaruhi masuknya situs ke Google Search dan bukan sinyal peringkat.
Token ini tidak punya string user agent HTTP tersendiri. Crawling tetap dilakukan dengan user agent Google yang sudah ada, dan Google-Extended hanya menentukan boleh atau tidaknya data dipakai untuk tujuan tersebut. Jadi memblokirnya tidak membuat situs hilang dari hasil pencarian Google.
Untuk fitur AI di Search, kontrolnya lain. Google menyebut nosnippet, data-nosnippet, max-snippet, dan noindex, yang juga memengaruhi tampilan di hasil biasa. Rincian ada di AI Overview Google.
Memilih Sikap untuk Bisnis Anda
Dalam mengatur robots.txt crawler AI, tidak ada pilihan yang benar untuk semua orang. Bisnis jasa yang ingin ditemukan calon pelanggan lewat ChatGPT mungkin perlu mengizinkan OAI-SearchBot. Penerbit yang kontennya adalah produk utama mungkin ingin membatasi pelatihan model.

Ingat bahwa kemunculan tidak dijamin. FAQ OpenAI untuk penerbit menyatakan tidak ada jaminan sebuah situs masuk hasil pencarian mereka. Untuk membuat halaman tidak muncul, mereka menyarankan meta tag noindex, bukan robots.txt saja. Strateginya dalam konteks yang lebih luas ada di generative engine optimization.
Cara Menulis dan Menguji Aturannya
Untuk robots.txt crawler AI, berkas berada di akar domain. Tulis satu blok per crawler, dengan baris user-agent diikuti allow atau disallow. Misalnya, untuk membatasi GPTBot tetapi mengizinkan OAI-SearchBot, buat dua blok terpisah: satu menolak GPTBot untuk seluruh situs, satu membiarkan OAI-SearchBot mengakses semuanya.
Setelah menyimpan, buka alamat berkas di peramban dan pastikan isinya tampil sebagai teks. Salah ketik satu karakter bisa membuat aturan tidak berlaku. Cek juga lapisan lain, karena firewall atau CDN bisa memblokir crawler tanpa terlihat di robots.txt, dan hal ini berlawanan dengan niat Anda bila ingin dikutip.
Perhatikan tiga jebakan
Pertama, robots.txt bersifat permintaan, bukan pagar teknis. Crawler yang patuh akan menghormatinya, sedangkan yang tidak patuh bisa mengabaikannya. Kedua, ChatGPT-User bisa tidak terikat aturan karena bertindak atas nama pengguna. Ketiga, memblokir crawler pencari bisa menghilangkan peluang tampil.
Dasar pengecekan teknis ada di technical SEO, sedangkan berkas usulan lain dibahas di llms.txt.
Memeriksa Apakah Crawler Benar-benar Datang
Setelah aturan dipasang, lihat log server untuk memastikan hasilnya. Cari baris yang memuat nama GPTBot, OAI-SearchBot, atau ChatGPT-User pada kolom user agent. Bila crawler yang seharusnya diblokir masih terlihat mengakses halaman, periksa apakah permintaannya benar berasal dari OpenAI.
OpenAI menerbitkan daftar alamat IP untuk masing-masing crawler, yaitu searchbot.json, gptbot.json, dan chatgpt-user.json di openai.com. Cocokkan alamat di log dengan daftar itu. Permintaan yang memakai nama crawler tetapi datang dari alamat lain kemungkinan besar penyamaran dan sebaiknya ditangani lewat firewall, bukan robots.txt crawler AI.
Jika situs Anda berada di hosting bersama dan log sulit diakses, tanyakan ke penyedia hosting. Pengelolaan hosting yang rapi memudahkan semua pekerjaan teknis di atas, dan pilihan hosting dibahas di artikel tentang hosting di blog ini.
Contoh Keputusan
Misalkan sebuah konsultan pajak ingin dikenal lewat jawaban AI, tetapi tidak ingin artikelnya dipakai melatih model. Ia mengizinkan OAI-SearchBot, memblokir GPTBot, dan mengatur Google-Extended sesuai sikapnya. Lalu tiap bulan ia menanyakan pertanyaan yang sama di beberapa mesin AI dan mencatat apakah situsnya disebut. Contoh ini hanya andai-andai, dan hasilnya tidak bisa dijamin.
Bila Anda belum yakin pengaturan mana yang cocok, jasa SEO Faveworks dapat memeriksa robots.txt dan pengaturan server sekaligus.
FAQ
Apakah GPTBot mematuhi robots.txt?
OpenAI menyatakan GPTBot dapat diatur lewat robots.txt dan pengaturannya independen dari crawler lain. Aturan di robots.txt bersifat permintaan, jadi pantau juga log server.
Apa bedanya GPTBot dan OAI-SearchBot?
GPTBot untuk pengumpulan data pelatihan model, sedangkan OAI-SearchBot untuk pencarian ChatGPT. Keduanya diatur sendiri-sendiri.
Bagaimana cara memblokir GPTBot?
Tambahkan blok user-agent GPTBot dengan disallow di robots.txt. Lakukan terpisah dari OAI-SearchBot bila Anda tetap ingin tampil di pencarian ChatGPT.
Apakah memblokir Google-Extended memengaruhi peringkat?
Tidak. Menurut Google, Google-Extended tidak memengaruhi masuk atau peringkat di Google Search.
Apakah ChatGPT-User terikat robots.txt?
OpenAI menyebut aturan robots.txt mungkin tidak berlaku untuk ChatGPT-User karena ia bertindak atas permintaan pengguna.
Berapa lama perubahan berlaku?
OpenAI menyebut sekitar 24 jam bagi sistem pencarian mereka untuk menyesuaikan.