Robots.txt webmasterlerin botları sitelerine çekebilmeleri için en kolay yöntemlerden bi tanesidir.bazı arkadaşlar bu robots.txt dosyasını oluşturmakta zorlanırlar.En kolay yoldan robots.txt oluşturacağınız bir site adresinizi sizlerle paylaşmak istiyorum. Listede seçmek istediğiniz botların karşısındaki Allowed seçeneğini işaretleyin.. Yasak koymak istediğiniz klasörleride alt kısımdaki kutucuklarda ayarlayabilirsiniz.