1. Ana Sayfa
  2. Webmaster
  3. 7 Soruda Seo Uyumlu Robots.txt Kullanımı ve Kodları
Trendlerdeki Yazı

7 Soruda Seo Uyumlu Robots.txt Kullanımı ve Kodları

Robots.txt dosyası nedir? Hangi kodlar ne işe yarar? Wordpress için en uygun robots.txt dosyası nasıl oluşturulur? Tüm soruların cevabı bu listemizde…

7 Soruda Seo Uyumlu Robots.txt Kullanımı ve Kodları

Arama motoru robotları sitemize ziyarete geldiklerinde onlara yol gösterip kılavuzluk edecek yegane aracımız olan robots.txt dosyası… (bkz. cümleye başlayıp sonunu getirememek) Bu listemizde sitemizin arama motorlarındaki durumunu şekillendirecek robots.txt dosyasını, tüm detaylarıyla bir üroloji uzmanı titizliğiyle ele aldık.

Listemizden Başlıklar:

1- robots.txt Nedir?
2- robots.txt Dosyası Nerede Bulunmalıdır?
3- robots.txt Dosyası Nasıl Oluşturulur?
4- robots.txt Dosyası İçin Hangi Kodlar Ne İşe Yarar?
5- robots.txt Engelleme Kodları
___A. Sitenin Tamamının İndekslenmesini Engelleme
___B. Sitenin Bir Kısmını Engelleme
___C. Belirli Türdeki Dosyaları Engelleme
___D. Belirli Kelimelerle Başlayan Dizinleri Engelleme
___E. Engellenen Bir Dizindeki Dosyaya İzin Verme
___F. Site Haritasını Tanımlama
6- WordPress İçin En Uygun robots.txt Dosyası Nasıl Olmalıdır?
7- robots.txt Dosyası İçin Nelere Dikkat Etmek Gerekir?


1- robots.txt Nedir?

Google, Yandex, Bing gibi bir çok arama motoru belirli aralıklarla sitemizi ziyarete gelirler. Bu ziyaret örümcek veya böcek denilen bot yazılımlarla yapılır. Bu botlar sayesinde site içeriğimiz arama motorlarınca arama dizinlerine eklenir. robots.txt, bu botlara nelerin dizine eklenip eklenmeyeceği konusunda kılavuzluk eden bir dosyadır.

Arama motorları tarafından indekslenmesini istemediğimiz içeriği robots.txt dosyası sayesinde botlara bildiririz. Fakat bazı robotlar bu durumu takmayabilir. Bu nedenle bu dosyaya tamamen güvenmemek gerekir. robots.txt dosyası kullanmak, içeriğin yayınlanmasını engellemek için değil, arama sonuçlarını en iyilemek için kullanmak daha mantıklıdır.

2- robots.txt Dosyası Nerede Bulunmalıdır?

Bu dosya sitemizin ana dizininde (kök dizin) bulunmalıdır. Sizin ana dizininiz harici alt dizinlerinizde de siteleriniz mevcutsa, o sitelere de ayrıca robots.txt dosyası oluşturmanız gerekir. Bu dosya da alt domaininizin bulunduğu alt klasörde bulunması gerekir. Yani “32byte.org” için ayrı “forum.32byte.org” gibi sub domaine kurulan siteleriniz için ayrı robots.txt dosyanız olması gerekir.

3- robots.txt Dosyası Nasıl Oluşturulur?

Dosyamızı herhangi bir metin editörü kullanarak oluşturabilirsiniz. Bilgisayarınızda bulunan “Not Defteri” uygulamasıyla bir metin belgesi oluşturup ismini “robots.txt” yapmanız yeterli.

Masaüstüne sağ tıklayıp “Yeni>Metin Belgesi” yolunu takip ediyoruz. Oluşan metin belgesinin ismini “robots” olarak belirliyoruz. Dosya uzantısının “txt” olmasına dikkat ediyoruz.

Örnek Robots.txt

4- robots.txt Dosyası İçin Hangi Kodlar Ne İşe Yarar?

Bu dosya için 3 temel kod bulunuyor: User-agent, Disallow, Allow. Şimdi bu temel kodların ne işe yaradıklarına bakalım.

User-agent: Sitemizi ziyaret eden botu, bu kod karşısına tanımlıyoruz. Eğer tüm botları tanımlamak istersek bu kod karşısına yıldız (*) işareti koymamız yeterli. Örnek:

User-agent: *

Eğer belirlediğimiz bir bot tanımlamak istersek bu kod karşısına botun ismini yazıyoruz. Bu botları “Robot Veritabanı”ndan öğrenebiliriz. Robot veritabanı adresi: http://www.robotstxt.org/db.html Örnek kullanım:

User-agent: Googlebot

Disallow: İndekslenmesini istemediğiniz dizin ya da dosyalar için bu kodu kullanıyoruz. Misal sunucunuza “ozeldosyalar” adıyla bir klasör oluşturdunuz. Örnek kullanım:

Disallow: /ozeldosyalar/

Allow: İndekslenmesine izin verdiğimiz dizin ya da dosyalar için de bu komutu kullanıyoruz. Engellediğimiz bir dizinin altındaki sadece belirlediğimiz dosyaya izin vermek için bu kod kullanılabilir. Mesela oluşturduğumuz ve indekslenmesini engellediğimiz “ozeldosyalar” dizini içindeki “patates.php” dosyasının indekslenmesine izin vermek istiyoruz. Kullanacağımız kod kalıbı:

Allow: /ozeldosyalar/patates.php

5- robots.txt Engelleme Kodları

orumcek-karikaturBurada sitenizdeki belirli dizinleri, dosyaları engellemek için kullanılan kalıp kodları hizmetinize sunuyoruz. “User-agent” komutunun mantığını anladığınızı varsayarak bu kodu her seferinde yazmayacağız.

A. Sitenin Tamamının İndekslenmesini  Engelleme

Siteniz kurulum aşamasındaysa ya da gizli işler çeviriyorsanız aşağıdaki kodu kullanabilirsiniz. Bu kodlar tüm içeriği, tüm botlar için engeller.

User-agent: *
Disallow: /

Siz tüm botlar için değil de sadece belirli botlar için engellenmesini istiyorsanız aşağıdaki kodları kullanın.

User-agent: bot-ismi
Disallow: /

B. Sitenin Bir Kısmını Engelleme

Site içeriğinde oluşturduğunuz alt dizini engellemek için bu kodları kullanabilirsiniz.

Disallow: /klasör-ismi/

Ana dizininizde bulunan bir web sayfasını engellemek için de aşağıdaki kodlar kullanılabilir:

Disallow: /sayfa-ismi.php

Alt dizinde bulunan bir sayfayı engellemek için de:

Disallow: /klasör-ismi/sayfa-ismi.php

C. Belirli Türdeki Dosyaları Engelleme

Mesela sitenizdeki “css” uzantılı dosyalarınızın indekslenmesini istemiyorsanız bu kodları kullanabilirsiniz.

Disallow: /*.css$

Bu koddaki “.css” yazan yeri engellemek istediğiniz diğer dosyaların uzantılarına göre düzenleyerek tekrar tekrar yazabilirsiniz.

Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.docx$

gibi…

D. Belirli Kelimelerle Başlayan Dizinleri Engelleme

Mesela “girme” kelimesiyle başlayan bir kaç alt dizin oluşturdunuz (girmelan, girmeit, girmeseneoglum… gibi) Bu kelimeyle başlayan tüm alt dizinleri engellemek için de aşağıdaki kodları kullanabilirsiniz.

Disallow: /girme*/

E. Engellenen Bir Dizindeki Dosyaya İzin Verme

Bir dizininizin indekslenmesini engellediniz fakat o dizin içindeki bir dosyanın indekslenmesine izin vermek istiyorsunuz. O da kolay. Yalnız burada dikkat etmeniz gereken botların öncelikle “Allow” komutunu işlemesi. Botlar önce izin verilen içeriğe bakar, sonra yasaklılara bakar. Bu komutun bir üst satıra gelmesine dikkat edin.

Allow: /klasör-ismi/dosya-ismi.php
Disallow: /klasör-ismi

Yani önce izin verdiğimiz dosyayı tanımlayıp sonra engellemek istediğimiz üst dizini tanımlamamız gerekiyor.

F. Site Haritasını Tanımlama

Sunucunuzdaki hangi dosyanın site haritanız olduğunu botlara bildirmeniz gerekiyor. Aşağıdaki kodu robots.txt dosyanızın en başına yazın. Site haritasını nasıl oluşturacağınızı bilmiyorsanız sizi buraya alalım: 6 Soruda Sitemap Oluşturma ve Google XML Sitemap Kullanımı

Sitemap: http://www.siteismi.com/sitemap.xml

6- WordPress İçin En Uygun robots.txt Dosyası Nasıl Olmalıdır?

Arama motorları dizinlerinde yakışıklı görünmek için Worpdress sitemiz için düzgün bir robots.txt dosyası oluşturmak gerekir. Botlar, içerikte ne var ne yoksa dizine eklediği için dizin başlıklarında “32byte.org/tag/kitipiyoz” gibi çirkin görünümlerle karşılaşabiliriz. WordPress sitemiz için css dosyaları, etiketler, arşiv sayfaları gibi içeriklerin indekslenmesine gerek yok.

Bunun için sizi uğraştırmayalım. WordPress için en uygun, SEO dostu robots.txt için aşağıdaki kodları kullanabilir ya da alttaki butona tıklayarak hazır dosyayı indirip ana dizininize atabilirsiniz. “Sitemap” kısmını düzenlemeyi unutmayın.

Sitemap: http://www.siteismi.com/sitemap.xml

User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: /*?
User-agent: duggmirror
Disallow: /
User-agent: ia_archiver
Disallow: /

7- robots.txt Dosyası İçin Nelere Dikkat Etmek Gerekir?

  • Bu dosyaya başka bir ad vermeyin, uzantısını değiştirmeyin.
  • Dosyanın ana dizininizde olduğuna emin olun.
  • Büyük – küçük harflere dikkat edin. Mesela engellemek istediğiniz dizin ismi “Patlican”olarak yazılmışsa kodlarda tanımlarken “/patlican/” olarak değil “/Patlican/” olarak yazmaya dikkat edin.
  • Boşluklara dikkat edin. “Disallow:/patlican/” yanlış bir kullanımdır. İki noktadan sonra boşluk vermeniz gerekir: “Disallow: /patlican/
  • Dosyanın yazma izni (chmod değeri) 644 olmasına dikkat edin.

Merak Edenler için Google Beyfendi Hazretleri’nin robots.txt dosyası: http://www.google.com/robots.txt
Bu da Facebook Enişte’nin: https://www.facebook.com/robots.txt
Youtube’unki: https://www.youtube.com/robots.txt

Bunlar gibi merak ettiğiniz sitenin linkinin sonuna “/robots.txt” getirirerek robots.txt dosyalarının içeriklerini görebilirsiniz.


robots.txt konusunda bizim anlatacaklarımız bitti. Tükendik. Bu konuda eksiğimiz gediğimiz varsa, konuyla ilgili sormak istediğiniz sorular olursa, parmak kaldırmadan yorum kısmına yazabilirsiniz.

Yorum Yap

Yazar Hakkında

Samet KARACAN

Owner # wordpress, web güvenlik, sistem yönetimine dair ~

Yorum Yap