Robots.txt Dosyası Nedir? Nasıl Oluşturulur?

Robots.txt dosyası webmaster’lar tarafından, arama motorlarının web sitenizde nasıl gezineceklerini göstermek için oluşturduğumuz bir metin dosyasıdır. Robots.txt dosyası sitemizde hayati bir öneme sahiptir. Arama motoru botlarının öncelikli olarak, göz attığı ve yönlendirmelerine göre hareket ettiği bu dosya ile indekslenmesini istemediğimiz sayfaları veya klasörleri belirterek sitemizi taratmaya başlamadan evvel bir yol haritası çizebiliriz. Bu açıdan robots.txt dosyası site içi SEO çalışmalarında olmazsa olmazlardandır.

Robots.txt Dosyası Nedir? Nasıl Oluşturulur?

Bu küçük dosya sayesinde sitemizden veri çalmaya çalışan birçok yazılıma da karşı koyabiliriz. Bazı arama motorlarını dilersek hiç sokmamak adına engelleyebiliriz.

Arama motorlarının sitemizi indekslemelerini, neden engellemek isteyelim? diye sorar gibisiniz. Gerektiği dönemler olur mutlaka, buda sitemiz adına önemli bir durum haline gelir.

Bu sebepleri gelin birlikte bakalım.

Hangi durumlarda botları engellemek en doğru davranıştır.

• Mesela bazen sitemizde bulunan sayfaların, dosyaların veya subdomain gibi demo çalışmalarımız olabilir. Bu tip durumlarda arama motorlarının çalışmalarımızı taramasına, aramalarda göstermemesi için engelleyebiliriz.
• Yeni web siteleri tasarım aşamasındayken özellikle çok işimize yarayan bir harekettir. Bu durumlarda engelleyebiliriz. Ben özellikle SEO çalışmaları yapacağım müşterilerimin sitelerini yaparken, bu tip en baştan engellemelerde bulunuyorum. Olur olmaz sayfaları tarayıp indekslemesin diye.
• Yönlendirme sayfalarımızı txt dosyası ile yapabiliriz.
• 404 hata sayfaları gibi sayfaları veya içeriği çok düşük olan ama sitede olması gereken sayfaların indekslenmesini engellemek isteyebiliriz.
• Zararlı gördüğümüz yazılımları da engelleme amaçlı kullanabiliriz.

Robots.txt  Dosyası Nasıl Oluşturulur?

Robots.txt dosyasını oluştururken user-agent ile yapıyı  kurarken engellenmek isteyen botlar belirtilir. Şu “ * ” şekliyle tanımlama yapıldığı taktir de mevcutta bulunan sitenizin tüm dizinleri botlara uygun anlamı taşır.

Örnekler:

Tüm arama motorlarının tüm içerikten engellemek için

User-agent: *

Disallow: /

Bu dizimi bir robots.txt dosyası içerisinde kullanırsanız, tüm arama motorlarının botlarını web sitenizin anasayfa dahil tamamını taramaması konusunda engellemiş olursunuz.

Tüm arama motorlarının tüm içeriğe erişmesine izin verme

User-agent: *

Disallow:

Bu dizim ise tüm arama motorlarının sitenizin tamamını taramalarına indekslemelerine izin vermiş olursunuz.

Belirli arama motorlarını sitenizdeki belirli sayfaları engellemek için

User-agent: Bingbot

Disallow: /seo/seo-nedir.html

Bu dizim işlemini gerçekleştirirseniz seouzmani.web.tr/seo/seo-nedir.html adresinde bulunan sayfayı Bing arama motorunun botlarına bu sayfayı taramaması hususunu bildirir.

Belirli bir arama botunu belirli klasörleri taramasını engelleme

User-agent: Googlebot

Disallow: /deneme/

Bu işlem ise, yalnızca Google’ın botlarını seouzmani.web.tr/deneme/ URL dizisinde bulunan içeriği taramamasını söylemektedir.

 WordPress siteleri için en uygun Robots.txt dosyası

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.seouzmani.web.tr/sitemap.xml

WordPress’de bulunan yorumları arama motorları tarafından engelleme

User-agent: *

Disallow: /comments/feed/

Neden Robots.txt Dosyasını Kullanmalıyım?

Birçok temel bilgi ve yönergelerin nasıl yapılacağını ve ne işe yaradıklarını biliyorsunuz.  Şimdi şöyle bir durumda vardır. Robots.txt dosyası web sitenizin olmazsa olmaz bir unsuru değildir.  Eğer bu dosya olmadığından web siteniz gene aynı şekilde düzgün çalışacak ve arama motoru sıralamalarında iyi bir yer edinebilirsiniz. Bunun olmaması sitenizin sıra kaybına neden olmaz.

Reddetme işlemi yapmadan önce beni dinleyin derim.

Çokta olumlu yanları vardır. Nelermiş bunlar birlikte bakalım, şöyle: ·

• Özel Klasörler ve Sayfalarınız: Arama motorları botları sitenizde bulunan özel klasörleri veya sayfaları bulmaları çok daha zorlaşacaktır. Veya siz bunları engellemesini, dizine eklenmesi istemeyebilirsiniz. Bu işlemi ancak robots.txt dosyasıyla en doğru şekilde  ve kolay çözebilirsiniz. Böylelikle bu sorun saniyeler için de kalkmış olur ve çalışmalarınıza kaldığınız yerden devam edebilirsiniz.
• Site kaynaklarınızı Kontrol Altında Tutun: Arama motoru botları sitenizde her gezindiğinde, bant genişliğini ve diğer sunucu kaynaklarını tüketir. Tonlarca içeriğe ve çok sayıda sayfaya sahip siteler için, örneğin e-ticaret siteleri, binlerce sayfaya sahip olabilir ve bu kaynaklar çok hızlı bir şekilde boşaltılabilir. Robotların bireysel komut dosyalarına ve resimlere erişmesini zorlaştırmak için robots.txt dosyasını kullanabilirsiniz. Böylelikle Gerçek ziyaretçiler için değerli kaynaklarınızı korumuş olursunuz.

Doğal olarak, arama motorlarının web sitenizdeki en önemli sayfalara giden yollarını bulmasını isteyeceksiniz. Belirli sayfaların kibarca kordon altına alınmasıyla, hangi sayfaların araştırmacıların önüne yerleştirileceğini denetleyebilirsiniz

Sitenizin Robots.txt Dosyası Nerede Bulunur?

Eğer robots.txt dosyanızın olup olmadığına nereden bakarım? Sorusuna yanıt: Basitçe web sitenizin ana domain ismini yazın ve ardından /robots.txt URL’si ekleyin. Örneğin: Web sitemizin robots.txt URL’si seouzmani.web.tr/robots.txt adresinden görebilirsiniz. Aynı şekilde kendi sitenize de bu şekilde dosyanıza erişebilirsiniz.

FTP alanından dosyanızı indirmek için kök dizin içerisinde bulabilirsiniz. Plesk panellerde ftp erişim sağladıktan sonra httpsdocs klasörünün içerisindedir.

Her Şey Bittikten Sonra Robots.txt  Dosyasını Test Edin

Her şeyin düzenli ve doğru çalıştığından emin olmak için dosyanızı Google gözünden test edin.

Google  Webmaster araçlarının bir parçası ücretsiz olarak sunduğu robots.txt test aracı sağlamaktadır.

Öncelikle linke tıklamadan önce web sitenizin Google Webmaster Tools’una giriş yapınız.

• Ardından aşağıda bulunan linke tıklayarak test aracına erişim sağlayabilirsiniz.

https://www.google.com/webmasters/tools/robots-testing-tool?hl=tr&siteUrl

Kutuda zaten bir kod varsa, silin ve yeni robots.txt dosyanızla değiştirin.

• Ekranın sağ alt kısmındaki “Test” düğmesine tıklayın.

Google Webmster Tools Dosya Gönder

• “Test” işlemi sonrası “İzin Verildi” olarak yeşil yandığı taktirde robots.txt dosyanız geçerli ve doğru anlamını taşır.

Google Webmaster Tools Robot.txt Geçerli

Son olarak, burada oluşturduğunuz robots.txt dosyasını indirin ve ardından FTP alanındaki kök dizininize yükleyiniz.  Artık güçlü bir dosyayla siteniz donanımlı olmuş olup, arama görünürlüğünüzde bunu hissedeceksiniz.