Xenforo robots.txt dosyasını otomatik olarak bünyesinde barındırmaz daha doğrusu hiç bir sistem bünyesinde barındırmaz. Bu yüzden arama motorlarının botları sitemizi daha iyi taraması için robots.txt oluştururuz.
Robots.txt nedir ?
robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı’nı kullanır.
Xenforo için Google dostu robots.txt
User-agent: Mediapartners-Google Allow: User-agent: ia_archiver Allow: User-agent: duggmirror Disallow: / User-agent: * Disallow: /find-new/ Disallow: /account/ Disallow: /attachments/ Disallow: /conversations/ Disallow: /goto/ Disallow: /login/ Disallow: /admin.php Disallow: /search/ Allow: / Sitemap: http://siteisminiz.com/sitemap.php |
Router Filter kullandım ne yapacağım ?
Bu durumda url’nin her halini girmeniz gerekiyor.
Disallow: /account/ Disallow: /hesap/ |
Robots.txt hakkında daha fazla bilgi edinmek için tıklayınız.
Merhaba,
Emin olmak için soruyorum. Rota filtresi kullanıldığında robot.txt dosyası şu şekilde mi olacak?
Disallow: /find-new/ = Disallow: /yeni-bul/”
Disallow: /account/ = Disallow: /hesap/”
Yoksa İngilizce kısımları silip yerini rota filtresinde kullanıdığımız Türkçe karşılıklarımı yerleştireceğiz.
Disallow: /yeni-bul/” gibi..
Hem ingilizce hem Türkçe ekleseniz daha yararlı olur. Türkçeye çevirdiğiniz için %100 Türkçesi eklenecek.
Cevabınız için teşekkürler,
Düzenlemeyi şu şekilde yaptım. Rica etsem kontrol edebilir misiniz?
User-agent: *
Crawl-Delay: 20
User-agent: Mediapartners-Google
Allow:
User-agent: ia_archiver
Allow:
User-agent: duggmirror
Disallow: /
User-agent: *
Disallow: /account/ = Disallow: /hesap/”
Disallow: /find-new/ = Disallow: /yeni-bul/”
Disallow: /account/ = Disallow: /hesap/”
Disallow: /attachments/ = Disallow: /eklentiler/”
Disallow: /conversations/
Disallow: /goto/ = Disallow: /git/”
Disallow: /login/
Disallow: /admin.php
Disallow: /search/ = Disallow: /arama/”
Allow: /
Sitemap: http://osxinfo.net/sitemap.php
Disallow: /account/ = Disallow: /hesap/” ( yan yana olmayacaklar)
Disallow: /account/
Disallow: /hesap/
Düzeltme: İlk iki satır koymadım:
User-agent: *
Crawl-Delay: 20
Teşekkür ederim. Cevabınız üzerine Robot.txt dosyasını yeniden düzenledim.
Yardımcı olabildiğime sevindim. Sitenizi incelemiş bulundum link yapınızda küçük bir sorun var düzeltmeniz sizin açınızdan iyi olacaktır.
bolum/os-x-info-kuetuephanesi.10/ >>> bolum/os-x-info-kutuphanesi.10/
Anlatımınız için teşekkür ederim