За замовчуванням Wordpress автоматично створює файл robots.txt для будь-якого сайту. Але тут є ряд нюансів. По-перше, користувач не знає, де знаходиться robots.txt в Wordpress. По-друге, не зможе його відредагувати.
Стандартний файл мало кому підходить по налаштуванню, тому його обов'язково потрібно редагувати, вказавши, які директорії слід закрити від індексації, а які залишити доступними для пошукових систем. І для цього необхідно знати все про файл robots.txt в wordpress: де він знаходиться, як його налаштувати і т.д. Розглянемо це питання докладніше.
Перевіряємо наявність файлу robots.txt
Отже, система Wordpress автоматично створює віртуальний файл robots.txt. Але є винятки. І перед тим як його шукати, необхідно упевнитися, що він існує.
Найпростіший спосіб це перевірити – дописати до адреси сайту рядок /robots.txt. Має вийти приблизно так:
https://wordpress-school.com.ua/robots.txt
Якщо даний файл є, то відкриється нова сторінка приблизно з таким змістом:
У файлі robots.txt вказано кілька рядків, тому він вважається некоректним. Його потрібно змінити, детально вказавши, що можна індексувати, а що – не можна. Але віртуальний файл відредагувати не вийде, потрібно створювати його фізичну версію на хостингу.
Звісно, тут заздалегідь треба розібратися, як і де в сайті на Wordpress знайти robots.txt, адже новий файл повинен знаходитися там же, де і попередній. В іншому випадку пошуковики його не знайдуть і будуть вважати, що його просто немає (що вважається критичною помилкою при просуванні сайту).
Де знайти і як працювати з файлом robots.txt?
Файл robots.txt лежить в кореневій директорії сайту. Відкрити його можна різними способами.
Перший – через панель управління хостингом. В даному випадку потрібно перейти по шляху: www/адреса_сайту.
- wp-admin;
- wp-content;
- wp-includes.
І нижче знаходяться різні файли, в тому числі robots.txt.
Другий спосіб – за допомогою FTP-клієнта, встановленого на комп'ютері. Наприклад, через програму Filezilla.
- заходите на хостинг за допомогою Filezilla;
- відкриваєте папки www/адреса_сайту;
- знаходите файл robots.txt.
Виділивши його і натиснувши праву кнопку миші, ви можете його відредагувати. Або створити новий, якщо файл відсутній.
Третій спосіб – за допомогою спеціальних плагінів Wordpress (Yoast SEO або All in One SEO).
Вони виконують безліч корисних функцій, в тому числі вміють створювати файл robots.txt для сайту на Wordpress. Даний варіант дуже простий і добре підходить новачкам. Потрібно лише встановити відповідний плагін і відредагувати вміст файлу robots.txt сайта на Wordpress.
Не треба заходити в панель управління хостингу або ставити на комп'ютер FTP-клієнт. Плюс не доведеться розбиратися, де шукати файл в Wordpress (SEO плагін сам створить файл в потрібному місці і збереже зміни).
І останній варіант – проконсультуватися з менеджерами компанії, у якої замовляли хостинг сайту.
Це вже крайня міра, яка виручить тих, хто зовсім не розбирається в тому, як зайти в панель управління або поставити SEO плагін. Менеджери допоможуть розібратися в даному питанні і докладно пояснять, де знайти та як коректно налаштувати файл robots.txt для вашого сайту.
Читайте також: Як створити інтернет-магазин на Wordpress?
Сподобалася стаття? Розкажіть про неї друзям: 
