Plik robots.txt przekazuje robotom wyszukiwarek informację, które strony mogą indeksować. Wskazują ścieżki, którymi roboty mogą, bądź nie mogą iść.
Zadaniem pliku robots.txt nie jest ukrywanie stron, do tego służą inne sposoby na wyindeksowywanie.
https://developers.google.com/search/docs/advanced/robots/intro
Dokładne wytyczne Google o tym jak stworzyć plik robots.txt
https://developers.google.com/search/docs/advanced/robots/create-robots-txt
Najprostszy plik robots.txt tworzymy w katalogu głównym witryny. Znajdziemy go pod adresem domena.pl/robots.txt
.
Zapisujemy w nim poniższe reguły:
User-agent: *
Allow: /
Sitemap: http://www.example.com/sitemap.xml
Mówi on, że wszyscy klienci (w domyśle roboty wyszukiwarek) mogą indeksować całą witrynę (*) . Jeżeli nie chcemy by strona była indeksowana to umieszczamy regułę „Disallow”. W odnośniku tworzenie pliku robots są zamieszczone inne przydatne reguły z których warto skorzystać.