Do zarządzania indeksowaniem strony przez systemy wyszukiwania można używać pliku robots.txt i sitemap. Dzięki nim możesz przekazać wyszukiwarce informacje o stronach swojej witryny, zabronić lub wręcz przeciwnie, zezwolić im na indeksowanie konkretnych stron.
Oprócz tych opcji można używać również specjalnego tagu, który w zależności od specyfiki może być stosowany na różnego rodzaju stronach. W artykule opowiemy o metatagu robots, który może być stosowany wspólnie z plikiem robots.txt i pozwala zarządzać indeksowaniem zarówno według wzoru, jak i indywidualnie dla każdej strony.
Co to jest metatag robots
Pomimo wszystkich zalet pliku robots.txt, ma on jedną wadę: nie może całkowicie usunąć z wyników już zaindeksowanej strony. Dlatego nawet po wskazaniu w nim strony, może ona być odnaleziona, ale przy tym brakować będzie informacji służbowej na jej temat (na przykład, description). Zamiast tego użytkownicy zobaczą komentarz „opis strony jest niedostępny z powodu ograniczeń w pliku robots.txt”. W rzeczywistości plik jest wygodny do początkowego całkowitego ukrycia strony, jednak nie można go bardziej precyzyjnie skonfigurować.
Jednocześnie metatag robots pozwala na bardziej elastyczne ustawienie indeksowania dzięki wskazaniu odpowiednich wartości w polu content:
Przy tym w pierwszej kolejności w metatagu określa się w ogóle możliwość indeksowania konkretnej strony, a dopiero potem wymienia się zasady dla robotów wyszukiwarek dotyczące działań z treścią na niej i informacjami.
Aby zostały one poprawnie odczytane przez roboty wyszukiwarek, w atrybucie content (“ххххххххх”) można wskazać takie dyrektywy:
- index/noindex – indeksowanie dozwolone/zabronione;
- follow/nofollow – indeksacja linków umieszczonych na stronie, dozwolona/zabroniona;
- all/none – pełna indeksacja całej strony dozwolona/zabroniona;
- noimageindex – zabronione indeksowanie jakichkolwiek obrazów umieszczonych na stronie;
- noarchive – zabronione wyświetlanie w wyszukiwarce linków „Zachowana kopia”, pozwalających na oglądanie kopii strony w pamięci podręcznej Google lub Yandex;
- nosnippet – zabronione wyświetlanie w wynikach wyszukiwania snippetów opisujących zawartość strony;
- noodp – polecenie informujące bota Google, że nie może brać informacji do snippetu z katalogu DMOZ.
Jak używać metatagu robots
Wartość follow/nofollow pozwala przechodzić/nie podążać za linkami. Index/noindex określa możliwość sprawdzenia zawartości na stronie. Ogólny tag rel=nofollow może całkowicie zablokować robotowi wyszukiwarki możliwość skanowania wszystkich dostępnych na stronie linków. Wszystkie te wartości są używane w różnych kombinacjach w celu poprawy procesu optymalizacji wyszukiwania.
W zależności od tego, co jest potrzebne (aby robot indeksował, ale nie przechodził, lub przechodził po linkach bez skanowania treści), można kolejno ustawić różne wartości. W szczególności, zezwolenie na indeksowanie z zakazem przechodzenia po linkach może być konieczne w przypadku przedstawicielstw dużej marki. Każdy sklep ma swoją reputację, która nie zawsze jest idealna i odpowiada promowanym zasadom głównego biznesu. W takich przypadkach ustawia się specjalny metatag, w którym kolejno wskazuje się wartości „index, nofollow”. W ten sposób zakładka z przedstawicielstwami będzie dostępna robotowi wyszukiwarek do skanowania, jednak po konkretnych linkach nie będzie mógł podążać.
Metatag jest również wygodny, ponieważ stosując go, można starannie ustawić skomplikowane indeksowanie. Wyraża się to w zamykaniu przed robotami wyszukiwarek niektórych linków i określaniu scenariuszy działań dla innych. Oprócz powyżej wymienionych przykładów tagów, istnieją również inne wartości, które pozwalają w różny sposób robotowi współdziałać z treścią strony.
Czym różni się metatag robots od pliku robots.txt
W przeciwieństwie do pliku robots.txt, tag meta robots jest bardziej aktualny w kontekście użycia do programowania działań systemów wyszukiwania w odniesieniu do linków. Tam, gdzie pierwszy działa bardziej prosto i dotyczy praktycznie całej strony, drugi daje możliwość osobnego zamknięcia jej części, dostosowania określonej logiki działań. Przy tym można pracować osobno nad każdym obiektem lub ustawić szablony dla pakietów stron.
Jednocześnie, jeśli strona jest zamknięta od razu przez metatag i plik, wyszukiwarka automatycznie będzie traktować zasady właśnie ostatniego jako główne. Z tego powodu, w przypadku konieczności otwarcia indeksowania przez tag, ważne jest, aby sprawdzić, czy w pliku strona również była dostępna do indeksowania. Wtedy robot poprawnie wykona zadany scenariusz.
Czy publikacja była pouczająca? Podziel się nią w mediach społecznościowych i dołącz do naszego kanału Telegram. Przypominamy, że możesz zamówić tani hosting w firmie hostingowej CityHost. W sprawach technicznych skontaktuj się z czatem online lub telefonicznie ☎️ 0 800 219 220.
Podobał Ci się artykuł? Powiedz o nim znajomym: 
