По умолчанию Вордпресс автоматически создает файл robots.txt для любого сайта. Но тут есть ряд нюансов. Во-первых, пользователь не знает, где находится robots.txt в Wordpress. Во-вторых, не сможет его отредактировать.
Стандартный файл мало кому подходит по настройкам, поэтому его обязательно нужно редактировать, указав, какие директории следует закрыть от индексации, а какие оставить доступными для поисковиков. И для этого необходимо знать все о файле robots.txt в wordpress: где его найти, как его настроить и т.д. Рассмотрим данный вопрос подробнее.
Проверяем наличие файла robots.txt
Итак, система Wordpress автоматически создает виртуальный файл robots.txt. Но есть исключения. И перед тем как его искать, необходимо удостовериться, что он существует.
Самый простой способ это проверить – дописать к адресу сайта строчку /robots.txt. Должно получиться примерно так:
https://wordpress-school.com.ua/robots.txt
Если данный файл есть, то откроется новая страница примерно с таким содержанием:
В файле robots.txt указано несколько строчек, поэтому он считается некорректным. Его нужно изменить, подробно указав, что можно индексировать, а что – нельзя. Но виртуальный файл отредактировать не получится, нужно создавать его физическую версию на хостинге.
Разумеется, предварительно нужно понять, где в сайте на Wordpress лежит файл robots.txt, ведь новый файл должен находиться там же, где и предыдущий. В противном случае поисковики его не найдут и посчитают, что его попросту нет (что считается критической ошибкой при продвижении сайта).
Где найти и как работать с файлом robots.txt?
Файл robots.txt лежит в корневой директории сайта. Открыть его можно разными способами.
Первый – через панель управления хостингом. В данном случае нужно перейти по пути: www/адрес_сайта.
- wp-admin;
- wp-content;
- wp-includes.
И ниже находятся различные файлы, в том числе и robots.txt.
Второй способ – с помощью FTP-клиента, установленного на компьютере. Например, через программу Filezilla.
- заходите на хостинг с помощью Filezilla;
- открываете папки www/адрес_сайта;
- находите файл robots.txt.
Выделив его и нажав правую кнопку мыши, вы можете его отредактировать. Либо создать новый, если файл отсутствует.
Третий способ – с помощью специальных плагинов Wordpress (Yoast SEO или All in One SEO).
Они выполняют множество полезных функций, в том числе умеют создавать файл robots.txt для сайта на Wordpress. Данный вариант очень прост и отлично подходит начинающим пользователям. Достаточно установить подходящий плагин и отредактировать содержимое файла robots.txt сайта на Wordpress.
Не надо заходить в панель управления хостинга или ставить на компьютер FTP-клиент. Плюс не придется разбираться, где искать файл в Wordpress (SEO плагин сам создаст файл в нужном месте и сохранит изменения).
И последний вариант – проконсультироваться с менеджерами компании, у которой заказывали хостинг сайта.
Это уже самая крайняя мера, которая выручит тех, кто совершенно не разбирается в том, как зайти в панель управления или поставить SEO плагин. Менеджеры помогут разобраться в данном вопросе и подробно объяснят, где найти и как правильно настроить файл robots.txt для вашего сайта.
Читайте также: Как создать интернет-магазин на Wordpress?
Понравилась статья? Расскажите о ней друзьям: 
