Nedir.Org *
Sponsorlu Bağlantılar
admin

X-Robots-Tag Nedir

Sponsorlu Bağlantılar
Sponsorlu Bağlantılar

Resim Ekle Dosya Ekle Video Ekle Soru Sor Bilgi Ekle

X-Robots-Tag HTTP üst bilgisini kullanma


X-Robots-Tag, belirli bir URL'ye ilişkin HTTP üst bilgisi yanıtının bir öğesi olarak kullanılabilir. Bir robots meta etiketinde kullanılabilecek tüm yönergeler, bir X-Robots-Tag olarak da belirtilebilir. Tarayıcılara bir sayfayı dizine eklememelerini bildiren bir X-Robots-Tag üst bilgisinin yer aldığı bir HTTP yanıtı örneğini burada görebilirsiniz:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT (…)
X-Robots-Tag: noindex (…)

Birden çok X-Robots-Tag üst bilgisini HTTP yanıtında birleştirebilir veya virgülle ayrılmış bir yönerge listesi belirtebilirsiniz. Bir noarchive X-Robots-Tag üst bilgisinin bir unavailable_after X-Robots-Tag üst bilgisiyle birleştirildiği bir HTTP üst bilgisi yanıtı örneğini burada görebilirsiniz.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT (…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST (…)

X-Robots-Tag, isteğe bağlı olarak yönergelerden önce bir kullanıcı aracısı (user agent) belirtebilir. Örneğin, aşağıdaki X-Robots-Tag HTTP üst bilgileri grubu, bir sayfanın farklı arama motorlarının, arama sonuçlarında gösterilmesine koşullu olarak izin vermek için kullanılabilir:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT (…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow (…)

Kullanıcı aracısı (user-agent) belirtilmeyen yönergeler tüm tarayıcılar için geçerli olur. Aşağıdaki bölümde, birleşik yönergelerin nasıl işleneceği gösterilmektedir. Ne ad ne de belirtilen değerler, büyük/küçük harfe duyarlı değildir.

X-Robots-Tag üst bilgisinin Apache ile pratik uygulaması


X-Robots-Tag üst bilgisini, Apache tabanlı web sunucularında varsayılan olarak bulunan .htaccess ve httpd.conf dosyalarını kullanarak bir sitenin HTTP yanıtlarına ekleyebilirsiniz. HTTP yanıtlarıyla bir X-Robots-Tag üst bilgisi kullanmanın faydası, bir site genelinde uygulanacak tarama yönergelerini belirtebilmenizdir. Düzenli ifadelerin desteklenmesi, çok esneklik sağlar.

Örneğin, bir sitenin tamamındaki tüm .PDF dosyalarına ilişkin HTTP yanıtına noindex, nofollow X-Robots-Tag üst bilgisi eklemek için, sitenin root .htaccess dosyasına veya httpd.conf dosyasına aşağıdaki snippet'i ekleyin:


Header set X-Robots-Tag "noindex, nofollow"


Robots meta etiketlerini kullanmanın imkansız olduğu resim dosyaları gibi HTML dışı dosyalar için, X-Robots-Tag üst bilgisini kullanabilirsiniz. Site genelinde resim dosyalarına (.png, .jpeg, .jpg, .gif) bir noindex X-Robots-Tag yönergesi eklemeye ilişkin bir örneği burada görebilirsiniz:


Header set X-Robots-Tag "noindex"

X-Robots-Tag Resimleri

X-Robots-Tag Sunumları

X-Robots-Tag Soru & Cevap

Bu yazı hakkında ilk soru soran sen ol..

X-Robots-Tag Ek Bilgileri

  • 1
    3 ay önce

    Robots meta etiketi ve X-Robots-Tag HTTP üst bilgisi spesifikasyonları




    İçindekiler
    Özet
    Robots meta etiketini kullanma
    X-Robots-Tag HTTP üst bilgisini kullanma
    Geçerli dizine ekleme ve sunma yönergeleri
    Birleşik dizine ekleme ve sunma yönergelerini işleme
    X-Robots-Tag üst bilgisinin Apache ile pratik uygulaması
    Taramayı dizine ekleme/sunma yönergeleriyle birleştirme



    Özet


    Bu dokümanda, Google'ın sayfa düzeyindeki dizine ekleme ayarlarını nasıl işlediği ayrıntılı bir şekilde anlatılmaktadır. Sayfa düzeyindeki dizine ekleme ayarları, Google'ın içeriği arama sonuçları aracılığıyla nasıl kullanıma sunacağını kontrol etmenize olanak sağlar. (X)HTML sayfalarına veya bir HTTP üst bilgisine bir meta etiket ekleyerek bunları belirtebilirsiniz.
    Not: Bu ayarların, yalnızca tarayıcıların bu ayarları içeren sayfalara erişimine izin verilirse okunabileceğini ve uygulanabileceğini unutmayın.
     
     

    Robots meta etiketini kullanma


    Robots meta etiketi, tek bir sayfanın dizine nasıl eklenmesi ve arama sonuçlarında
    kullanıcılara nasıl sunulması gerektiğini kontrol etmek için ayrıntılı, sayfaya özel bir yaklaşım kullanabilmenizi sağlar. Robots meta etiketini belirli bir sayfanın <head> bölümüne şu şekilde yerleştirin:
     
    <!DOCTYPE html>
    <html><head>
    <meta name="robots" content="noindex" />
    (…)
    </head>
    <body>(…)</body>
    </html>

    Yukarıdaki örnekte yer alan robots meta etiketi, tüm arama motorlarına sayfayı arama sonuçlarında göstermemelerini bildirir. name özelliğinin değeri (robots), yönergenin tüm tarayıcılar için geçerli olduğunu belirtir. Belirli bir tarayıcıya yönelik yönerge vermek için nameözelliğinin robots değerini, ele almakta olduğunuz tarayıcının adıyla değiştirin. Belirli tarayıcılar, kullanıcı aracıları (user-agents) olarak da bilinir (bir tarayıcı, bir sayfayı istemek için kendi kullanıcı aracısını kullanır). Google'ın standart web tarayıcısının kullanıcı aracısının adı Googlebot'tur. Yalnızca Googlebot'un sayfanızı taramasını engellemek için, etiketi aşağıdaki şekilde güncelleyin:
     
    <meta name="googlebot" content="noindex" />

    Bu etiket artık, Google'a (diğer arama motorlarına değil) bu sayfayı web arama sonuçlarında göstermemesini bildirmektedir. Hem name hem de content özelliği büyük/küçük harfe duyarlı değildir.
    Arama motorlarının, farklı özellikler veya amaçlar için farklı tarayıcıları olabilir. Google tarayıcılarının tam listesini inceleyin. Örneğin, bir sayfayı Google'ın web arama sonuçlarında göstermek, ancak Google News'da göstermemek için aşağıdaki meta etiketi kullanın:
     
    <meta name="googlebot-news" content="noindex" />

    Birden çok tarayıcıyı bağımsız olarak belirtmeniz gerekiyorsa birden çok robots meta etiketi kullanabilirsiniz:
     
    <meta name="googlebot" content="noindex">
    <meta name="googlebot-news" content="nosnippet">

    Tarayıcılarımız, birbiriyle rekabet eden yönergelerle karşılaşırsa bulduğumuz en kısıtlayıcı yönergeyi kullanırız.
     

    X-Robots-Tag HTTP üst bilgisini kullanma


    X-Robots-Tag, belirli bir URL'ye ilişkin HTTP üst bilgisi yanıtının bir öğesi olarak kullanılabilir. Bir robots meta etiketinde kullanılabilecek tüm yönergeler, bir X-Robots-Tagolarak da belirtilebilir. Tarayıcılara bir sayfayı dizine eklememelerini bildiren bir X-Robots-Tag üst bilgisinin yer aldığı bir HTTP yanıtı örneğini burada görebilirsiniz:
     
    HTTP/1.1 200 OK
    Date: Tue, 25 May 2010 21:42:43 GMT
    (…)
    X-Robots-Tag: noindex
    (…)

    Birden çok X-Robots-Tag üst bilgisini HTTP yanıtında birleştirebilir veya virgülle ayrılmış bir yönerge listesi belirtebilirsiniz. Bir noarchive X-Robots-Tag üst bilgisinin bir unavailable_after X-Robots-Tag üst bilgisiyle birleştirildiği bir HTTP üst bilgisi yanıtı örneğini burada görebilirsiniz.
     
    HTTP/1.1 200 OK
    Date: Tue, 25 May 2010 21:42:43 GMT
    (…)
    X-Robots-Tag: noarchive
    X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST

    (…)

    X-Robots-Tag, isteğe bağlı olarak yönergelerden önce bir kullanıcı aracısı (user agent) belirtebilir. Örneğin, aşağıdaki X-Robots-Tag HTTP üst bilgileri grubu, bir sayfanın farklı arama motorlarının, arama sonuçlarında gösterilmesine koşullu olarak izin vermek için kullanılabilir:
     
    HTTP/1.1 200 OK
    Date: Tue, 25 May 2010 21:42:43 GMT
    (…)
    X-Robots-Tag: googlebot: nofollow
    X-Robots-Tag: otherbot: noindex, nofollow

    (…)

    Kullanıcı aracısı (user-agent) belirtilmeyen yönergeler tüm tarayıcılar için geçerli olur. Aşağıdaki bölümde, birleşik yönergelerin nasıl işleneceği gösterilmektedir. Ne ad ne de belirtilen değerler, büyük/küçük harfe duyarlı değildir.
     

    Geçerli dizine ekleme ve sunma yönergeleri


    Dizine eklemeyi ve sunmayı kontrol etmek için, robots meta etiketi ve X-Robots-Tag ile birlikte kullanılabilecek birkaç başka yönerge daha vardır. Her bir değer belirli bir yönergeyi temsil eder. Aşağıdaki tabloda, Google'ın kullandığı tüm yönergeler ve anlamları gösterilmektedir. Not: Diğer arama motoru tarayıcıları, bu yönergeleri aynı şekilde işlemeyebilir. Birden çok yönerge, virgülle ayrılmış bir listede birleştirilebilir (birleşik yönergelerin nasıl işlendiğini görmek için aşağıdaki bilgilere bakın). Bu yönergeler büyük/küçük harfe duyarlı değildir.




    Yönerge
    Anlamı


    all
    Dizine ekleme veya sunmaya ilişkin herhangi bir kısıtlama yok. Not: Bu yönerge, varsayılan değerdir ve açık olarak yazılmasının herhangi bir etkisi olmaz.


    noindex
    Arama sonuçlarında, bu sayfayı ve "Önbelleğe alınmış" bir bağlantısını gösterme.


    nofollow
    Bu sayfadaki bağlantıları izleme


    none
    noindex, nofollow yönergesiyle eşdeğerdir


    noarchive
    Arama sonuçlarında "Önbelleğe alınmış" bir bağlantı gösterme.


    nosnippet
    Arama sonuçlarında bu sayfaya ilişkin bir snippet gösterme.


    noodp
    Bu sayfayla ilgili olarak gösterilen başlıklar veya snippet'ler için Open Directory projesindeki meta verileri kullanma.


    notranslate
    Arama sonuçlarında bu sayfanın çevirisini sunma.


    noimageindex
    Bu sayfadaki görselleri dizine ekleme.


    unavailable_after: [RFC-850 date/time]
    Belirtilen tarihten/saatten sonra arama sonuçlarında bu sayfayı gösterme. Tarih/saat değeri, RFC 850 biçiminde belirtilmelidir.




    Robots.txt dosyası (veya dosyanın olmaması) bir sayfayı tarama izni sağladıktan sonra, bir robots meta etiketi veya X-Robots-Tag üst bilgisinde izin özel olarak reddedilmedikçe, varsayılan olarak sayfalar taranabilecek, dizine eklenebilecek, arşivlenebilecek şekilde işlenir ve içeriğinin arama sonuçlarında gösterilen snippet'lerde kullanılması onaylanmış olur.
     

    Birleşik dizine ekleme ve sunma yönergelerini işleme


    Robots meta etiketi yönergelerini virgüllerle birleştirerek birden çok yönerge içeren bir talimat oluşturabilirsiniz. Web tarayıcılarına sayfayı dizine eklememelerini ve sayfadaki bağlantıların hiçbirini taramamalarını bildiren bir robots meta etiketi örneğini burada görebilirsiniz:
     
    <meta name="robots" content="noindex, nofollow">

    Farklı yönergelerle birlikte birden çok tarayıcının belirtildiği durumlarda arama motoru, negatif yönergelerin toplamını kullanır. Örneğin:
     
    <meta name="robots" content="nofollow">
    <meta name="googlebot" content="noindex">

    Bu meta etiketleri içeren sayfa, Googlebot tarafından tarandığında, bir noindex, nofollowyönergesi içeriyormuş gibi yorumlanır.
     

    X-Robots-Tag üst bilgisinin Apache ile pratik uygulaması


    X-Robots-Tag üst bilgisini, Apache tabanlı web sunucularında varsayılan olarak bulunan .htaccess ve httpd.conf dosyalarını kullanarak bir sitenin HTTP yanıtlarına ekleyebilirsiniz. HTTP yanıtlarıyla bir X-Robots-Tag üst bilgisi kullanmanın faydası, bir site genelinde uygulanacak tarama yönergelerini belirtebilmenizdir. Düzenli ifadelerin desteklenmesi, çok esneklik sağlar.
    Örneğin, bir sitenin tamamındaki tüm .PDF dosyalarına ilişkin HTTP yanıtına noindex, nofollow X-Robots-Tag üst bilgisi eklemek için, sitenin root .htaccess dosyasına veya httpd.conf dosyasına aşağıdaki snippet'i ekleyin:
     
    <Files ~ ".pdf$">
    Header set X-Robots-Tag "noindex, nofollow"
    </Files>

    Robots meta etiketlerini kullanmanın imkansız olduğu resim dosyaları gibi HTML dışı dosyalar için, X-Robots-Tag üst bilgisini kullanabilirsiniz. Site genelinde resim dosyalarına (.png, .jpeg, .jpg, .gif) bir noindex X-Robots-Tag yönergesi eklemeye ilişkin bir örneği burada görebilirsiniz:
     
    <Files ~ ".(png|jpe?g|gif)$">
    Header set X-Robots-Tag "noindex"
    </Files>

     

    Taramayı dizine ekleme/sunma yönergeleriyle birleştirme


    Robots meta etiketleri ve X-Robots-Tag HTTP üst bilgileri, bir URL tarandığında keşfedilir. Bir sayfanın taranması robots.txt dosyası aracılığıyla reddedilirse dizine ekleme veya sunma yönergeleriyle ilgili bilgiler bulunamaz, dolayısıyla yoksayılır. Dizine ekleme veya sunma yönergelerinin izlenmesi gerekiyorsa bu yönergeleri içeren URL'lerin taranması reddedilemez

  • 0
    2 ay önce


    Geleneksel olarak, robots.txthangi sayfaların, klasörlerin, alt alanların veya diğer içerik arama motorlarının taranmasına izin verileceğini yönetmek için sunucunuzda bir dosya kullanırsınız . Fakat X-Robots-Tag HTTP üstbilgisi gibi bir şeyin de olduğunu biliyor muydunuz? Burada, olasılıkların neler olduğunu ve bunun blogunuz için nasıl daha iyi bir seçenek olabileceğini tartışacağız.

    Hızlı recap: robots.txt


    Devam etmeden önce, bir robots.txtdosyanın ne yaptığına bakalım . Özetle, ne yapar arama motorları söylemek değil , web sitenizin belirli bir sayfa, dosya veya dizin sürün.
    Bunu kullanarak, hem siz hem de Google gibi arama motorlarına yardımcı olur. Web sitenizin belirli, önemsiz alanlarına erişim sağlayarak , tarama bütçenizi kaydedebilir ve sunucunuzdaki yükü azaltabilirsiniz.
    robots.txtWeb sitenizin tamamını arama motorları için gizlemek için dosyayı kullanmanın kesinlikle tavsiye edilmediğini lütfen unutmayın .

    X-Robots-Tag'a merhaba de.


    2007'de Google , X-Robots-Tag yönergesine destek eklediklerini açıkladı . Bunun anlamı sadece bir robots.txtdosya aracılığıyla arama motorlarına erişimi kısıtlayamamakla kalmadı , aynı zamanda bir HTTP yanıtının üstbilgileri içinde çeşitli robot.txt ile ilgili direktifleri programlı olarak ayarlayabilmekti . Şimdi, “Ama bunun yerine robotlar meta etiketini kullanamıyorum mu?” Diye düşünebilirsiniz . Cevap Evet. Ve hayır. HTML ile yazılmış belirli bir sayfanın programsal olarak engellenmesini planlıyorsanız, meta etiketi kullanmak yeterli olmalıdır. Ancak, taramayı engellemeyi planlıyorsanız, bir görüntü söyleyelim, daha sonra kodda bunu yapmak için HTTP yanıt yaklaşımını kullanabilirsiniz. Web sitenize ek HTML eklemek istemiyorsanız, her zaman ikinci yöntemi kullanabilirsiniz.

    X-Robots-Tag yönergeleri


    Sebastian'ın 2008'de açıkladığı gibi , iki farklı yönerge vardır: tarayıcı direktifleri ve dizin belirleyicileri. Aşağıdaki farkı kısaca açıklayacağım.


     





    Paletli direktifler


    robots.txtDosya sadece bunlar ya gitmelerine izin verilmez arama motorları söyler sözde 'paletli direktifleri' içerir. Kullanarak






    1
    Allow






    yönerge, arama motorlarının taranmasına izin verilen yerleri belirtebilirsiniz.






    1
    Disallow






    tam tersini yapar. Ek olarak,






    1
    Sitemap






    Arama motorlarına yardımcı olmak ve web sitenizi daha hızlı taramak için direktif.
    Belirli bir arama motoruna yönelik direktifleri ince ayar yapmak da mümkündür.






    1
    User-agent






    diğer direktiflerle birlikte direktif.
    Sebastian'ın başka bir gönderide dikkat çektiği ve tam olarak açıkladığı gibi , sayfalar bunları açıkça tanımlamakla birlikte, buna işaret eden yeterli bağlantı olması durumunda arama sonuçlarında görünebilir.






    1
    Disallow






    direktif. Bu temelde istiyorsanız anlamına gelir gerçekten arama motorlarından bir şey gizlemek aramayı kullanarak insanlardan dolayısıyla ve, robots.txtyetmiyor.

    Diziner yönergeleri


    Dizinleyici yönergeleri, sayfa başına ve / veya öğe başına belirlenen yönergelerdir. Temmuz 2007'ye kadar iki yönerge vardı: mikroformat rel = ”nofollow” , yani bu link otorite / PageRank ve Meta Robots etiketinigeçmemelidir .
    Meta Robots etiketi ile, arama motorlarının arama sonuçlarından uzak tutmak istediğiniz sayfaları göstermesini gerçekten engelleyebilirsiniz. Aynı sonuç X-Robots-Tag HTTP başlığı ile sağlanabilir. Daha önce açıklandığı gibi , X-Robots-Tag, belirli dosya (türlerin) endekslenmesini kontrol edebilmenizi sağlayarak size daha fazla esneklik sağlar.

    X-Robots-Tag'in örnek kullanımları


    Teori her şeyden iyidir, ama vahşi doğada X-Robot-Tag'i nasıl kullanabileceğinizi görelim! 
    Arama motorlarının PHP ile oluşturduğunuz dosyaları göstermesini önlemek istiyorsanız, aşağıdakileri header.php dosyasının başına ekleyebilirsiniz:






    1
    header("X-Robots-Tag: noindex", true);






    Bu, arama motorlarının bu sayfalardaki bağlantıları takip etmesini engellemez. Bunu yapmak isterseniz, önceki örneği aşağıdaki gibi değiştirin:






    1
    header("X-Robots-Tag: noindex, nofollow", true);






    Şimdi, PHP'de bu yöntemi kullanmanın yararları olsa da, büyük olasılıkla belirli dosya türlerini engellemek isteyeceksiniz. Daha pratik bir yaklaşım, X-Robots-Tag'i Apache sunucu yapılandırmanıza veya bir .htaccess dosyasına eklemektir . 
    Bazı .doc dosyalarının da bulunduğu bir web sitesi çalıştırdığınızı düşünün, ancak arama motorlarının belirli bir nedenden dolayı bu dosya türünü dizine eklemesini istemezsiniz. Apache sunucularında, aşağıdaki satırı yapılandırma / a .htaccess dosyasına eklemelisiniz:






    1
    <FilesMatch ".doc$">








    2
    Header set X-Robots-Tag "noindex, noarchive, nosnippet"








    3
    </FilesMatch>






    Ya da bunu hem .doc hem de .pdf dosyaları için yapmak isterseniz:






    1
    <FilesMatch ".(doc|pdf)$">








    2
    Header set X-Robots-Tag "noindex, noarchive, nosnippet"








    3
    </FilesMatch>






    Apache yerine Nginx çalıştırıyorsanız, sunucu yapılandırmasına aşağıdakini ekleyerek benzer bir sonuç alabilirsiniz:






    1
    location ~* .(doc|pdf)$ {








    2
        add_header  X-Robots-Tag "noindex, noarchive, nosnippet";








    3
    }






    Robots.txt dosyasının arama sonuçlarında görünebileceği durumlar var . Önceki yöntemin değiştirilmesini kullanarak, bunun web sitenize olmasını engelleyebilirsiniz:






    1
    <FilesMatch "robots.txt">








    2
    Header set X-Robots-Tag "noindex"








    3
    </FilesMatch>






    Ve Nginx’te:






    1
    location = robots.txt {








    2
        add_header  X-Robots-Tag "noindex";








    3
    }






    Sonuç


    Yukarıdaki örneklere göre görebileceğiniz gibi, X-Robots-Tag HTTP üstbilgisi çok güçlü bir araçtır. Sitenizi kazara ilk kez engelleyen ilk siz olmayacağınız için dikkatli ve dikkatli kullanın. Yine de, nasıl kullanılacağını biliyorsanız, alet takımınıza mükemmel bir ektir


Sende Bilgi Ekle

Bu yazının geliştirilmesine yardımcı ol.

Sponsorlu Bağlantılar
Yazı İşlemleri
İlgili Yazılar
01 | AMP
02 | Google
03 | X-Robots-Tag
Sen de Ekle

Sende, bu sayfaya

içerik ekleyerek

katkıda bulunabilirsin.

(Resim, sunum, video, soru, yorum ekle..)

Bir şey Unutmadın mı ?

Bizi sonra tekrar bulmak için sitemizi aşağıdan beğenmelisin