Привет всем посетителям сайта
дизайн студии galactic-cat.ru, сегодня я поделюсь с вами полезной инфой, о том,
как правильно создать файл robots.txt, ведь без него нам тяжело раскрутить сайт, и он помогает поисковикам быстрее увидеть ваш сайт и добавить его на индексацию.
Как создать файл robots.txt
В файле robots.txt нужно указывать параметры индексирования своего сайта для всех роботов поисковых систем сразу или для каждой поисковой системы по отдельности.
Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt.
Как сделать файл robots.txt
Сделать файл robots.txt очень просто – создаете обычный текстовый документ, называете его robots, не ошибитесь в регистре букв или в самих буквах, название должно быть именно такое. Если не планируете запрещать индексирование страниц сайта, можно созданный файл оставить пустым. Если планируете – просто заполняете документ в соответствии с принятыми в 1994 году общими стандартами. После этого необходимо загрузить файл в корневой каталог вашего сайта, чтобы файл открывался по ссылке http://www.site.ru/robots.txt . Всё.
Что закрывать от индексации в файле robot.txt?
Вообще от индексации рекомендуется закрыть все страницы с не уникальным контентом, страницы с результатами поиска по сайту, страницы авторизации и другие технические страницы, которые не должны участвовать в поисковой выдаче. Но на разных движках свои нюансы, например если у вас есть на сайте прайс-лист товаров, то лучше его открыть.
Правила заполнения файла robots.txt
Итак, в файле robots.txt каждая команда или директива должна прописываться отдельной строкой. Число команд не ограничено.
Директива user-agent
Первое, с чего следует начать заполнение файла – указать, для какого робота будут команды, для этого пишем в первой строчке:если ваши инструкции предназначены для роботов Яндекса:
User-agent: yandex
для роботов Google:
User-agent: googlebot
для всех роботов без исключения:
User-agent: *
Директива Disallow и Allow
Команда
Disallow запрещает роботу индексировать тот или иной файл или папку. Например, запрещает индексировать файлы данной папки:
Disallow: /cgi-bin/
запрещает индексировать данный файл:
Disallow: /company.html
запрет на индексацию всего сайта:
Disallow: /
Проверьте ваш сайт – это одна из частых причин не индексирования сайта!
Важно! Неправильно указывать несколько директив в одной строчке:
Disallow: /cgi-bin/ /cell/ /bot/
Директива
Allow наоборот – снимает запрет на индексацию некоторых файлов. Пример ее использования:
User-agent: Yandex
Allow: /cgi-bin
Disallow: /
Такая запись в файле
запрещает скачивать роботу Яндекса все, кроме страниц, начинающихся
с '/cgi-bin'. Поэтому если вы хотите что то открыть, лучше вначале прописывайте директиву
Allow, а за ней уже все остальное, что хотите закрыть.
Важно! Если в файле указали директиву, но не указали параметры для нее, значения будут такие:
запрета на индексацию сайта нет:
Disallow:
весь сайт запрещен к индексации:
Allow:
Директива sitemap
Если у вас есть карта сайта (а она должна быть обязательно) в формате
sitemaps.xml, укажите путь к ней в специальной директиве
Sitemap (если файлов несколько, укажите все):
Sitemap: http://site.ru/struct/sitemaps1.xml
Sitemap: http://site.ru/struct/sitemaps2.xml
Директива Host
Данная запись используется роботами Яндекса. Определите и укажите в директиве Host главное зеркало вашего сайта:Host: www.site.ru
Часто начинающие вебмастера забывают, что сайт с www и без (www.site.ru и site.ru) являются зеркалами друг друга. Поэтому обязательно укажите, какой адрес является приоритетным с www или без.
Директива
Host не гарантирует выбор указанного главного зеркала, но
Яндекс учитывает ее с высоким приоритетом.
Пример заполнения robots.txt
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /language/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Host: ваш_сайт.ru
Sitemap: http://ваш_сайт.ru/struct/sitemaps.xml
Проверка файла robots.txt
Для проверки получившегося файла можно воспользоваться Яндекс.Вебмастером.
