Podczas tworzenia strony na hostingu należy ją zamknąć przed indeksowaniem, w przeciwnym razie nieoptymalizowana treść i duplikaty stron natychmiast trafią do wyników wyszukiwania. Należy również zadbać o zamknięcie zasobów internetowych przed użytkownikami, ponieważ przechodząc na pustą stronę, natychmiast odejdą, co później negatywnie wpłynie na ranking.
W tym artykule opowiemy, jak ukryć stronę na czas rozwoju, a także podamy krok po kroku instrukcję zamykania zasobów internetowych za pomocą narzędzi na hostingu Cityhost.
Jak ukryć stronę podczas rozwoju za pomocą robots.txt
Plik robots.txt — dokument tekstowy, który ma na celu kontrolowanie zachowania robotów wyszukiwarek (crawlerów) podczas skanowania projektu internetowego. Odwiedzają ten plik w pierwszej kolejności, po czym stosują się do zapisanych wskazówek (dyrektyw): na przykład, niektóre części zasobów internetowych skanują, a inne — ignorują.
Możesz użyć standardowych wskazówek do częściowego lub całkowitego zamknięcia strony podczas rozwoju. Aby prawidłowo zamknąć zasoby internetowe przed indeksowaniem, należy znać podstawowe dyrektywy robots.txt:
-
User-agent — określa jednego lub grupę robotów, które powinny przestrzegać zapisanych wskazówek;
-
Disallow — zabrania indeksowania określonych stron lub całych katalogów;
-
Allow — pozwala na indeksowanie stron lub katalogów, abyś mógł dokładniej zarządzać dostępem robotów do poszczególnych informacji na stronie;
-
Sitemap — wskazuje ścieżkę do pliku XML Sitemap (zawiera listę wszystkich dostępnych stron), pomagając robotom wyszukiwarek skuteczniej indeksować zasoby internetowe.
Opierając się na powyższych dyrektywach, możesz bez problemu zamknąć stronę przed wyszukiwarką, używając następującego zestawienia wskazówek:
User-agent: *
Disallow: /
W podanym przykładzie symbol «*» po «User-agent» wskazuje, że dyrektywy «Disallow» mają zastosowanie do wszystkich robotów. Wskazanie «Disallow: /» oznacza, że wszystkie strony i katalogi na zasobach internetowych są zabronione do indeksowania.
Wielu użytkowników zadaje pytanie, jak ukryć stronę przed indeksowaniem, pozostawiając dostęp do jednej wyszukiwarki. W tym celu rozważmy następujący przykład:
User-agent: *
Disallow: /
User-agent: Google
Allow: /
W tym przypadku indeksacja będzie dostępna tylko dla robotów Google. Możesz wskazać dowolną inną wyszukiwarkę, wstawiając jej nazwę zamiast Google.
Jeszcze jedna przydatna dyrektywa:
User-agent: *
Disallow: /
Allow: /$
Taka dyrektywa pozwala zamknąć projekt internetowy przed indeksowaniem, pozostawiając dostępną stronę główną. Jest to szczególnie przydatne dla nowych zasobów internetowych, ponieważ możesz spokojnie konfigurować projekt, a wyszukiwarki dowiedzą się o jego istnieniu, co sprawi, że szybciej zacznie zdobywać zaufanie.
Przeczytaj także: Jak zwiększyć autorytet domeny: sprawdzenie i poprawa wskaźnika DA
Jak ukryć stronę na czas rozwoju na poziomie serwera
Zamknięcie strony przed indeksowaniem za pomocą robots.txt — najczęściej stosowana, ale nie stuprocentowa metoda. Daje tylko wskazówki, a to, czy będą one przestrzegane, decyduje konkretna wyszukiwarka. W niektórych przypadkach wyszukiwarki ignorują zakazy, indeksując wszystkie dane. Zdarza się to rzadko, ale narażanie młodego projektu na takie ryzyko jest niezwykle niepożądane.
Zalecamy dodatkowe zamknięcie danych przed wyszukiwarkami na poziomie serwera. W tym celu użyj pliku .htaccess, umieszczonego w głównym katalogu zasobów internetowych (jeśli dokument nie istnieje — stwórz go). Należy dodać następującą linię:
Options -Indexes
Możesz również dodać do pliku specjalny kod, który zabrania skanowania określonym robotom. Na przykład, rozważmy, jak zamknąć stronę przed wyszukiwarką Google. Dodaj do pliku .htaccess następującą dyrektywę:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} UserAgentName [NC]
RewriteRule .* - [F,L]
Zamiast UserAgentName wstaw nazwę bota — dla Google jest to Googlebot.
Kombinując dwa sposoby, uzyskasz maksymalny efekt: robots.txt zapewni całkowite zamknięcie strony, a .htaccess — dodatkowy poziom bezpieczeństwa. Jedyną wadą jest to, że będziesz musiał samodzielnie edytować ważne pliki zasobów internetowych, co oznacza, że istnieje choćby minimalne ryzyko ich uszkodzenia.
Jak ukryć stronę na WordPressie
A teraz przyjrzyjmy się algorytmowi zamykania danych dla stron stworzonych na popularnym CMS WordPress. Samą procedurę można podzielić na dwa etapy: zamknięcie danych przed robotami wyszukiwarek i ustawienie banera dla odwiedzających.
Jak zabronić indeksowania strony na WordPressie
Twórcy znanego systemu zarządzania stronami WordPress przewidzieli możliwość ukrycia danych przed crawlerami, maksymalnie upraszczając proces.
W panelu zarządzania przejdź do sekcji «Ustawienia» — «Czytanie», wybierz «Poproś wyszukiwarki o nieindeksowanie strony» i kliknij «Zapisz zmiany».
System samodzielnie edytuje plik robots.txt, a Ty musisz pamiętać, aby odznaczyć tę opcję przed uruchomieniem projektu. Jeśli używasz wtyczki Yoast SEO, to takie przypomnienie będzie się pojawiać za każdym razem, gdy wejdziesz do panelu zarządzania.
Przy okazji, wtyczka Yoast SEO jest wygodna do zamykania poszczególnych stron przed indeksowaniem. Wystarczy otworzyć wpis (stronę) do edycji i znaleźć zakładkę «Zaawansowane». W punkcie «Zezwól wyszukiwarkom na wyświetlanie wpisu w wynikach wyszukiwania» wybierz «Nie». Możesz również wskazać, czy roboty mają śledzić linki w tym wpisie, a z rozwijanego menu «Zaawansowane ustawienia Meta Robots» wybrać opcję «nie indeksować obrazów».
Zgadzam się, znacznie wygodniej jest zaznaczyć jedną opcję w ogólnych ustawieniach, niż samodzielnie edytować plik robots.txt. Problem w tym, że nie wszystkie systemy zarządzania pozwalają tak łatwo ukryć dane przed wyszukiwarkami. Ale tutaj z pomocą przychodzi funkcjonalność Cityhost, którą omówimy dalej, a teraz nauczmy się ustawiać informacyjny baner na WordPressie.
Przeczytaj także: Jak zabezpieczyć stronę na WordPressie i nie stać się ofiarą luk w otwartym kodzie
Jak zamknąć stronę na WordPressie dla odwiedzających
Maintenance — jeden z najpopularniejszych wtyczek WordPress, który pozwala łatwo zainstalować i skonfigurować baner zastępczy. Możesz ustawić tło, pozostawić wiadomości i dane kontaktowe, dzięki czemu podczas rozwoju strony nie stracisz potencjalnych klientów.
Aby zainstalować wtyczkę Maintenance, wykonaj następujące kroki:
-
W panelu zarządzania przejdź do zakładki «Wtyczki».
-
Kliknij «Dodaj nową».
-
Naciśnij przycisk instalacji obok potrzebnej wtyczki (pierwsza na liście).
-
Aktywuj rozszerzenie.
Teraz baner jest aktywny, wystarczy go skonfigurować według własnych upodobań. Wystarczy przejść do zakładki Maintenance, a następnie zmienić nazwę strony, tytuł, opis, tekst w stopce, dodać logo i tło oraz nawet własny kod CSS. Możesz również ustawić identyfikator Google Analytics, aby uzyskać informacje o odwiedzających podczas rozwoju zasobów internetowych.
Wtyczka ma wersję PRO, ale darmowa w zupełności wystarcza do podstawowej konfiguracji strony głównej.
Jak ukryć stronę podczas rozwoju za pomocą narzędzi Cityhost
Bez fałszywej skromności powiemy, że Cityhost oferuje ogromną ilość narzędzi do pracy ze stronami. Na przykład wśród opcji panelu zarządzania znajduje się możliwość zamknięcia strony przed crawlerami bardzo prostymi metodami oraz zainstalowania banera zastępczego na samej stronie.
Jak zablokować stronę przed wyszukiwarkami
Za pomocą narzędzi panelu zarządzania można łatwo zablokować roboty wyszukiwarek według user-agent, nie edytując kodu strony.
-
Otwórz panel cp.cityhost.ua i przejdź do zarządzania hostingiem.
-
W ustawieniach potrzebnego projektu wybierz «Bezpieczeństwo».
-
Kliknij «Edytuj» obok punktu «Zablokowane User-Agents».
-
W nowym oknie wprowadź listę robotów wyszukiwarek, na przykład GoogleBot, YandexBot, BingBot, SlurpBot (wyszukiwanie Yahoo).
Możesz również dodać dowolnego złośliwego bota, którego celem jest zbieranie statystyk dla osób trzecich, parsowanie cen produktów i usług, odkrywanie ukrytych stron, luk w zabezpieczeniach itp. A niektóre złośliwe boty w ogóle tworzą nadmierne obciążenie dla zasobów internetowych, zmniejszając prędkość ładowania stron.
Jak zainstalować baner zastępczy
Na Cityhost można również łatwo zamknąć stronę przed odwiedzającymi, instalując baner zastępczy:
-
Zaloguj się do panelu zarządzania stroną na hostingu.
-
Naciśnij przycisk «Edytuj» obok funkcji «Tryb konserwacji».
-
W liście wybierz «Włącz».
Możesz od razu dodać adresy IP osób, którym zezwolono na dostęp do zasobów internetowych. To niezwykle przydatna funkcja, jeśli nad projektem pracuje jednocześnie kilka osób, na przykład klient, tester, menedżer treści.
Jak sprawdzić, czy udało się ukryć stronę na czas rozwoju
W artykule opisaliśmy skuteczne sposoby zamykania strony podczas rozwoju zarówno przed odwiedzającymi, jak i przed crawlerami. Z banerem nigdy nie ma problemów, ponieważ można go natychmiast zainstalować za pomocą wtyczki lub narzędzi Cityhost. Aby sprawdzić, wystarczy wpisać adres zasobów internetowych w pasku wyszukiwania i zobaczyć wynik (zalecamy wchodzić przez nową kartę w trybie incognito).
Ogólny proces zamykania danych przed robotami wyszukiwarek również jest prosty, ale ostateczny wynik zależy od crawlerów. W niektórych przypadkach mogą one po prostu zignorować zakazy, decydując się na zindeksowanie zasobów internetowych. Dlatego należy okresowo sprawdzać, czy udało się zamknąć stronę przed indeksowaniem, a można to zrobić za pomocą:
-
operatora wyszukiwania — wpisz w pasku adresu site:https:// + URL Twojego zasobu, a następnie zobacz, jakie strony są w wynikach;
-
konsoli wyszukiwania — procedura zależy od konkretnego systemu. Na przykład, sprawdzenie witryny w wynikach Google odbywa się przez Google Search Console. Po prostu logujesz się do usługi, wybierasz «Sprawdzenie URL» i wstawiasz adres zasobów internetowych;
-
rozszerzenia do przeglądarki — użyj dowolnej aplikacji do szybkiej analizy strony. Na przykład, zainstaluj i aktywuj RDS Bar, a następnie przejdź do projektu i zobacz informacje o nim.
Idealny wynik: w wynikach nie ma ani jednej strony Twojej strony! Ale ten wynik jest idealny, oczywiście, podczas rozwoju projektu. Gdy tylko będzie gotowy, ponownie zezwól robotom wyszukiwarek na analizowanie stron i wyświetlanie ich w wynikach. Jeśli potrzebujesz pomocy w zamykaniu zasobów internetowych lub innych ustawieniach na naszym panelu zarządzania, skontaktuj się z pomocą techniczną Cityhost, a nasi specjaliści przeprowadzą profesjonalną konsultację.
Przeczytaj także: Wsparcie techniczne Cityhost.ua - jak to działa
Podobał Ci się artykuł? Powiedz o nim znajomym: 
