Robots.txt

Robots.txt     Поисковые системы не должны видеть лишних деталей на вашем сайте. В частности, от них следует скрывать конфиденциальную информацию зарегистрированных пользователей, удаленные и дублированные страницы, а также различные «технические» директории. Для выполнения всех подобных операций надобно использовать специальный файл – robots.txt.

     Robots.txt – это файл, который дает информацию поисковым роботам о том, какие составные части не следует заносить в индекс. Именно поэтому robots.txt и обладает подобным наименованием. Его местоположение – корневая папка сайта, куда и забредает поисковик перед тем, как начать работу над конкретным сайтом. Если файл robots.txt не обнаружен, то в индекс будут занесены абсолютно все файлы, что часто является нежелательным. Поэтому, сразу же после того, как вы поместили сайт в Сети, необходимо добавить к нему файл robots.txt и уже только потом осуществлять регистрацию в поисковиках. Ведь легче заранее убрать из обзора ненужные файлы и папки, нежели потом, после их индексации, устранять неприятные последствия.

     Главный инструмент при заполнении файла robots.txt – это параметр Disallow, ведь именно он и определяет запрет для индексации какой-либо папки или же файла. Также вы должны всегда указывать на поисковика, которому предписываете данные действия – User-agent. Если вы хотите распространить команду на все поисковики, то нужно применять знак звездочки. К примеру, если вы решили закрыть путь для всех роботов в папку users, находящуюся в корневой папке сайта, то следует прописать следующую комбинацию: User-agent: *Disallow: /users.

     В отдельных случаях вы можете открывать из закрытой папки определенные директории. К примеру, вы можете закрыть в корневой папке абсолютно все элементы от индексации Яндексом, кроме папки admin. User-agent: YandexAllow: /adminDissalow: /.

     В принципе, это и есть главные команды, которых вам будет вполне достаточно для разработки robots.txt. Старайтесь внимательно соблюдать синтаксис, поскольку, если он будет прописан неправильно, то поисковик не сможет разобрать то, на что вы ему указываете. Для того чтобы запомнить собственные настройки, на всякий случай можно применять комментирование. Для этого нужно применять знак решетки. Лучше всего начинать комментарии с новой строки и после них в этой строке уже не прописывать основных команд.

С Уважением, Сергей Курников

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *