Как создать и проверить robots.txt?
Попадание сайта в индекс популярных поисковых систем – важное требование его нормальной работы. Однако далеко не всегда целесообразно индексировать весь сайт целиком – точнее, открывать доступ к его отдельным разделам и страницам может даже быть небезопасно для «здоровья» площадки. Отсюда возникает необходимость управления процессом индексации, которую производят поисковые роботы. Владельцы площадок хот и имеют в этом процессе роль наблюдателя, всё же могут сказать своё решающее слово и повлиять на ход индексации страниц своего сайта. Для этого существует специальный инструмент воздействия – файл robots.txt.
Что такое robots.txt?
По сути, robots.txt – это текстовый файл, который имеет самый обычный вид, но выполняет довольно специфические функции, важнейшей из которых является регулирование процесса индексации. Для того чтобы проверить robots.txt на наличие его в нужном месте и в нужное время, достаточно просто заглянуть в корневую директорию сайта, где он должен находиться с самого момента создания площадки. Этот файл позволяет превратить процесс индексации из неуправляемого действа во вполне контролируемый процесс. Чтобы получить возможность оказания решающего воздействия на процесс индексации, необходимо проверить robots.txt – есть ли он в корневой папке сайта, а также правильно ли он настроен. Посредством данного файла можно обратиться ко всем поисковым системам одновременно или к одной или нескольким из них с настоятельными рекомендациями относительно порядка индексации конкретного сайта. В частности, владелец площадки может отдать команду поисковикам не индексировать определённые разделы сайта. Например, это могут быть страницы, на которых размещена техническая информация или конфиденциальные данные о компании, её клиентах, контрагентах, деловых партнёрах и так далее. Попадание такой информации в сеть может вызвать большой скандал, который может не оставить камня на камне от доброй репутации компании, а затем – и от самой компании. Которую придётся закрыть.
Чтобы убедиться в надлежащем состоянии файла, необходимо проверить robots.txt с помощью специальных сервисов поисковых систем. Если файл правильно настроен, то он должен скрывать все те разделы и страницы, на которых хранится информация, не предназначенная для огласки. И, напротив, в поисковой выдаче должны участвовать те разделы, которые предназначены для пользователей. Однако управление процессом индексации – это далеко не единственная стратегически важная задача, стоящая перед файлом robots.txt. Помимо того, что он позволяет скрывать от индексации весь сайт или определённый его раздел, с его помощью можно указать поисковику, какое именно зеркало сайта следует выводить пользователям. Эта функция актуальная для тех сайтов, которые имеют несколько зеркал. Впрочем, если учесть, что любой сайт имеет, как минимум, два зеркала (с www и без), то соответствующая директива файла robots.txt нужна для всех площадок без исключения. Если не отметить, какой из зеркал является главным, то поисковик будет выводить все зеркала одновременно, что является нежелательным, поскольку в таком случае аудитория и показатели сайта будут рассредоточены по нескольким площадкам. Ещё одна важная функция robots.txt – это указание пути к месту расположения файла карты сайта, которая помогает поисковикам ориентироваться на площадках со сложной структурой.
Создание и проверка robots.txt
Далеко не все сайты имеют файл robots.txt. Это может быть связано с разными причинами – начиная от халатности веб-мастера, который создавал сайт, и заканчивая удалением некорректно настроенного файла. Если по тем или иным причинам файл robots.txt отсутствует, в чём можно удостовериться, заглянув в корневой каталог сайта, то его необходимо создать и настроить правильным образом. Для создания файла robots.txt не нужно иметь глубокие знания и специальное программное обеспечение – достаточно воспользоваться обыкновенным Блокнотом или иным текстовым редактором, который позволяет создавать файлы с нужным расширением. Новый файл необходимо назвать строго robots.txt, не допустив ни единой ошибки при написании, не заменяя латинские буквы кириллицей и не меняя регистра. Если в написании имени файла будут допущены ошибки, то поисковик его не узнает и пройдёт мимо. Следующим важным этапом является настройка файла robots.txt, под которой понимают прописывание в нём конкретных команд для поисковых роботов. Существует множество различных директив, с помощью которых можно распорядиться о порядке индексации сайта, указать на локацию карты сайта, основного зеркала и так далее. После заполнения файла необходимо проверить правильность его настройки. Для этого можно воспользоваться, к примеру, сервисом Яндекс.Вебмастер, под названием Анализ robots.txt. Чтобы выявить все допущенные ошибки, достаточно просто ввести доменное имя проверяемого сайта.
