Το robots.txt είναι αρχείο κειμένου στη ρίζα ενός ιστότοπου, στη διεύθυνση /robots.txt, που δίνει οδηγίες στα προγράμματα ανίχνευσης ως προς ποιες διαδρομές επιτρέπεται ή δεν επιτρέπεται να επισκεφθούν. Ακολουθεί το πρωτόκολλο Robots Exclusion. Δεν είναι μηχανισμός ασφαλείας: ένα αρχείο που έχει αποκλειστεί από το robots.txt μπορεί να παραμένει προσβάσιμο αν κάποιος γνωρίζει την ακριβή διεύθυνση. Μπορεί επίσης να υποδεικνύει τη θέση του sitemap και, ανάλογα με τα συγκεκριμένα bots, να επηρεάζει ανιχνευτές μηχανών αναζήτησης ή ανιχνευτές τεχνητής νοημοσύνης.
SEO
Τι είναι το robots.txt
Οδηγίες για προγράμματα ανίχνευσης