Robots.txt Editor

Opis

Robots.txt to wizualny edytor plików Robot Exclusion Files i oprogramowanie do analizowania logów. Umożliwia użytkownikowi szybkie i łatwe tworzenie plików robots.txt wymaganych do poinstruowania robotów-pająków wyszukiwarek, które są częścią witryny sieci Web, aby nie były indeksowane i nie można było ich przeszukiwać przez ogół sieci Web, a następnie identyfikować roboty-pająki, które nie są trzymaj się tych instrukcji. Program umożliwia użytkownikowi zalogowanie się na jego FTP lub lokalnym serwerze sieciowym, a następnie wybranie dokumentów i katalogów, których nie można przeszukiwać. Za pomocą tego programu będziesz mógł wizualnie wygenerować standardowe w branży pliki robots.txt; identyfikować złośliwe i niechciane pająki i blokować je w swojej witrynie; kieruj roboty wyszukiwarek na odpowiednie strony dla witryn wielojęzycznych; trzymaj pająki z dala od wrażliwych i prywatnych obszarów swojej witryny; śledzić wizyty pająków i nie tylko. Bezpłatne aktualizacje i uaktualnienia programu bez ograniczeń czasowych; nieograniczona liczba stron internetowych do pracy.