Robots.txt
.webp)
Robots.txt Nedir - Tanım
Robots.txt - SEO (Arama Motoru Optimizasyonu) bağlamında kullanılan, web tarayıcılarına belirli dosyalar ve kaç sayfanın dizine eklenip hangilerinin eklenmemesi gerektiği konusunda rehberlik sağlayan bir metin dosyasıdır. Robots Exclusion Protocol standardının bir parçasıdır.
Robots.txt dosyasının kullanımı?
Robots.txt dosyası bir web sitesinin sunucusuna yerleştirilir ve www.domena.pl/robots.txt adresinden herkese açıktır. Arama motoru tarayıcıları belirli bir web sitesini indekslemeye başlamadan önce robots.txt dosyasına bakarlar. Bu dosyanın çeşitli kullanımları vardır, örneğin:
Erişimi kontrol etme: Robots.txt dosyası, web sitesi yöneticilerinin arama motoru robotları için belirli giriş sayfalarına erişimi engellemesine olanak tanır. Bu, tüm sitenin belirli bölümleri hassas veriler içeriyorsa yararlı olabilir.
Yinelenen içerikten kaçınma: Bir sitede aynı içeriğe yönlendiren farklı URL varyantları varsa, robots.txt dosyası yöneticilerin yinelenen içerik sorunlarını önlemek için istenmeyen varyantları dizinlemenin dışında bırakmasına olanak tanır.
İndeksleme sıklığını yönetme: Robots.txt dosyası, arama motoru robotlarının sitenizi hangi sıklıkta ziyaret etmesi gerektiğini kontrol etmenizi sağlar.
Robots.txt dosyasının arama motoru robotları için bir yaptırım değil, yalnızca bir öneri olduğunu unutmamak gerekir. Bazı web robotları dosyadaki kuralları görmezden gelebilir, bu nedenle web sayfalarındaki içeriğin erişilebilirliğini kontrol etmek için HTTP başlıkları veya noindex meta etiketleri gibi ek yöntemler de vardır.
Robots txt dosyası nasıl görünmelidir?
Robots.txt dosyası, sunucunuzdaki web sitenizin kök dizinine yerleştirilmesi gereken bir metin dosyasıdır. İşte basit bir robots.txt dosyası örneği:
Kullanıcı aracısı: *
Disallow: /özel/
Disallow: /temp/
Disallow: /cgi-bin/
Yukarıdaki örnekte:
Kullanıcı aracıları: * bu talimatların tüm arama motoru robotları için geçerli olduğu anlamına gelir.
Disallow: /private/ 'özel' dizinin engellenmesi ve arama motoru botlarının sayfaları indekslememesi gerektiği anlamına gelir.
Disallow: /temp/ "temp" dizininin de engellenmesi gerektiği anlamına gelir.
Disallow: /cgi-bin/, 'cgi-bin' dizininin de engellenmesi gerektiği anlamına gelir.
Bir robots.txt dosyası oluştururken, sitenizin önemli bölümlerine erişimi yanlışlıkla engellemekten kaçınmak için bunu dikkatli bir şekilde yapmak ve dikkatli olmak önemlidir. Aşağıda bir robots.txt dosyası oluşturmak için bazı ipuçları verilmiştir:
Robots.txt dosyasının tam olarak olması gerektiği gibi adlandırıldığından emin olun: "robots.txt".
Dosyanın https://www.nazwadomeny.com/robots.txt adresinde bulunması tavsiye edilir.
Belirli dizinleri veya dosyaları engellemek için Disallow talimatları içeren birkaç satır ekleyebilirsiniz.
Dosyaya açıklamalar eklemek için # sembolü ile başlayan yorumları kullanabilirsiniz.
Robots.txt dosyası nasıl düzenlenir?
Robots.txt dosyanızı düzenlemek için aşağıdaki adımları uygulayın:
Sunucuda oturum açın: Sitenin sahibi veya yöneticisiyseniz, robots.txt dosyasını barındıran giriş sayfasına gitmeniz gerekecektir. Bu, barındırma kontrol paneline erişmeyi veya Dosya Aktarım Protokolü (FTP) aracılığıyla sunucuya erişmeyi gerektirebilir.
Robots.txt dosyasını bulun: Robots.txt dosyasının sunucuda bulunduğu dizine gidin. Bu genellikle sitenin kök dizinidir, ancak bir alt dizinde de saklanıyor olabilir.
Robots.txt dosyasını düzenleyin: Bir metin düzenleyici kullanarak robots.txt dosyasını açın. Notepad (Windows için) veya TextEdit (Mac için) gibi herhangi bir metin düzenleyici kullanabilirsiniz.
Değişiklikleri yapın: Robots.txt dosyasında User-agent, Disallow, Allow gibi çeşitli direktifler olabilir. Değişiklik yapmak için beklenen sonuca göre dosyadaki ilgili satırları ekleyin veya çıkarın.
Dosyayı kaydedin: Robots.txt dosyasında değişiklik yaptıktan sonra, orijinal adını koruyarak kaydedin.
Dosyayı sunucuya yükleyin: FTP kullanıyorsanız, güncellenmiş robots.txt dosyasını sunucuya geri yüklemek için bir FTP istemcisi kullanın. Önceki dosyanın üzerine yazdığınızdan ve doğru dizine kaydettiğinizden emin olun.
Sözdizimini kontrol edin: Robots.txt dosyası sunucuya yüklendikten sonra, herhangi bir hata olmadığından emin olmak için sözdizimini kontrol edin. Bu, çevrimiçi araçlar veya arama motorları tarafından sağlanan web yöneticisi araçlarında bulunan araçlar kullanılarak yapılabilir.
Yanlış değişiklikler arama motoru robotlarının siteyi indeksleme şeklini etkileyebileceğinden robots.txt dosyasını düzenlerken dikkatli olmak önemlidir.
