Web sitesi sahipleri, içeriklerinin yapay zekâ modellerini eğitmek için kullanılmasını istemediklerini yakında tek bir ayarla birden fazla şirkete bildirebilecek. The Verge’ün Search Engine Roundtable’a dayanarak aktardığına göre OpenAI, Google, Microsoft ve Anthropic, yayıncıların yapay zekâ eğitimi tercihlerini ortak bir sinyalle belirtmesini sağlayan yeni bir yöntemi benimseyeceklerini açıkladı.
Her şirkete ayrı ayrı ayar dönemi bitiyor
Bugün bir site sahibi içeriğinin yapay zekâ eğitiminde kullanılmasını istemiyorsa, bunu her şirketin kendi tarayıcısı için robots.txt dosyasında ayrı ayrı belirtmek zorunda. Yeni yaklaşım bu dağınıklığı ortadan kaldırmayı amaçlıyor. Önerilen ortak “policy token” (politika belirteci), sitelerin hangi tarayıcının neyi tarayabileceğini uzun süredir bildirdiği robots.txt dosyasının içinde yer alacak.
Sinyal, Anthropic’te standartlardan sorumlu teknik lider Kevin Kelley tarafından İnternet Mühendisliği Görev Gücü’ne (IETF) taslak olarak sunuldu. IETF’te yayımlanan taslağa göre yöntem, robots.txt’ye yeni bir komut ya da sözdizimi eklemiyor. Bunun yerine User-Agent satırında __usage_ai-training adlı bir belirteç kullanılıyor. Taslaktaki örnek şöyle:
User-Agent: __usage_ai-trainingDisallow: /(tüm sayfalar için yapay zekâ eğitimine karşı tercih)Allow: /press-kit/(yalnızca bu klasör için eğitime izin)
Taslak, bu belirtecin bir tarama komutu olmadığını, yalnızca içeriğin nasıl kullanılacağına dair bir tercihi ifade ettiğini vurguluyor. Yani site sahipleri isterlerse tarayıcıları yine kendi adlarıyla ayrıca engelleyebilecek. Belirteci tanımayan eski sistemler ise dosyayı eskisi gibi okumaya devam edecek. Taslağın henüz kesinleşmiş bir standart değil, IETF’te tartışılan bir çalışma belgesi olduğunu da not etmek gerekiyor.
Kim, ne zaman destekleyecek?
The Verge’e göre dört şirket de bu ortak belirteçle karşılaştıklarında yapay zekâ tarayıcılarının siteye erişimini kısıtlayacaklarını söylüyor. Ancak takvim şirketten şirkete değişiyor:
- Anthropic sinyali şimdiden benimsedi.
- Google ve Microsoft desteği gelecek yıl sunmayı planlıyor.
- OpenAI ise “önümüzdeki aylarda” uygulamaya alacağını belirtiyor.
Microsoft, yayıncılara yapay zekâ eğitiminin yanı sıra “grounding” adı verilen, modelin yanıt verirken doğrulanmış kaynaklara yönlendirilmesi sürecinden de ayrı ayrı çıkma imkânı sunacağını, sitelerin tercihleri ne olursa olsun Bing arama sonuçlarında görünmeye devam edeceğini açıkladı. Meta iletişim sorumlusu Andy Stone da ortak sinyale destek verdi, ancak Meta’nın bu sinyale uyup uymayacağını söylemedi.
Yayıncılar için ne anlama geliyor?
Duyuru, yapay zekâ tarayıcılarının siteleri giderek daha yoğun biçimde taramasından şikâyet eden yayıncılar için önemli bir adım. Bugüne kadar bu soruna karşı tarayıcılardan ücret almayı sağlayan Really Simple Licensing (RSL) gibi girişimler ortaya çıkmış, Cloudflare ise yapay zekâ tarayıcılarını varsayılan olarak engellemeye başlamıştı. Ortak sinyal yaygınlaşırsa, site sahipleri tek bir kuralla birden çok yapay zekâ şirketine tercihlerini iletebilecek.
Fiyat: Ücretsiz (robots.txt dosyasına eklenen bir kural)
Çıkış: Anthropic’te şimdi, Google ve Microsoft’ta 2027’de, OpenAI’da önümüzdeki aylarda
Kaynak: The Verge, IETF (taslak metin)
Görsel: Temsilî görsel (kaanozler.com)