Robots.txt

Robots.txt — это текстовый файл, предназначенный для ограничения доступа поисковым роботам к содержимому на сервере. Дополняет собой стандарт Sitemaps и располагается в корне сайта. В случае с несколькими поддоменами — в корневом каталоге каждого из них.

Применяемый для выборочного управления индексирования того или иного ресурса, какой файл содержит в себе различные инструкции для различных поисковиков. С их помощью можно задавать файлы, каталоги или страницы порталов, которые временно не подлежат индексации. Дополнительно robots.txt помогает определить место расположения файла, а также подвсказывает, какие страницы необходимо проиндексировать изначально.