Tarayıcılara hangi sayfaların taranacağını söyleyen dosya.
robots.txt, sitenin kökündeki, arama motoru tarayıcılarına hangi bölümlerin taranıp taranmayacağını bildiren dosyadır. Yönetim ve API yolları genelde burada tarama dışı bırakılır.