Robots.txt
Материал из Викиреальностя
(перенаправлено с «Robots txt»)
Robots.txt — специальный технический файл, содержащий правила для поисковых роботов, с помощью которого можно запрещать индексацию определенных страниц или всего сайта в целом.
Содержание |
[править] Правила
- Файл может размещаться только на сервере.
- Он должен лежать в корне сайта.
- Малейшее нарушение синтаксиса ведет к некорректности файла, которое может негативно сказаться на индексации.
- В robots.txt есть как несколько стандартных директив, так и несколько «расширенных», поддерживаемых только поисковиками.
[править] Пример
Подобный вариант позволяет полностью запретить индексацию сайта любым поисковикам:
User-agent: * Disallow: /
А этот вариант запретит индексацию папки admin сайта.
User-agent: * Disallow: /admin/
Дополненный вариант поможет указать поисковикам, какое зеркало сайта является основным.
User-agent: * Disallow: /admin/ Host: www.sait.ru
[править] Интересные факты
Кроме robots.txt у Google есть и файл humans.txt, которым компания пытается показать, что Google — это не только боты и алгоритмы.[1]
В файле robots.txt у Youtube содержится юмористический комментарий:
# Created in the distant future (the year 2000) after
# the robotic uprising of the mid 90's which wiped out all humans.
(«Создано в далеком будущем (2000 год), после восстания роботов в середине 90-х, которое уничтожило всё человечество»).[2]
[править] См. также
[править] Примечания
[править] Ссылки
| Robots.txt относится к теме «SEO» |