Webbell » FAQ по WordPress » Как должен выглядеть файл robots.txt для корректной индексации сайта поисковыми ботами?
Правила Контакты Чтение RSS

Как должен выглядеть файл robots.txt для корректной индексации сайта поисковыми ботами?

У нас вы можете скачать бесплатно Как должен выглядеть файл robots.txt для корректной индексации сайта поисковыми ботами? .

Не пропустите комментарии к Как должен выглядеть файл robots.txt для корректной индексации сайта поисковыми ботами?.
Данный материал предоставлен сайтом Webbell.ru исключительно в ознакомительных целях. Администрация не несет ответственности за его содержимое.
Разработчики рекомендуют оформлять файл примерно следующим образом:

User-agent: *Disallow: /cgi-binDisallow: /wp-adminDisallow: /wp-includesDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /trackbackDisallow: /feedDisallow: /commentsDisallow: /category/*/*Disallow: */trackbackDisallow: */feedDisallow: */commentsDisallow: /*?*Disallow: /*?Allow: /wp-content/uploads# Google ImageUser-agent: Googlebot-ImageDisallow:Allow: /*# Google AdSenseUser-agent: Mediapartners-Google*Disallow:Allow: /*# Internet Archiver Wayback MachineUser-agent: ia_archiverDisallow: /# digg mirrorUser-agent: duggmirrorDisallow: /


Как видите, в файле закрываются от индексации все служебные директории, и наоборот, открывается доступ для ботов Google Image, Google Adsense, Digg и Internet Archiver Wayback Machine.

В наших реалиях полезно будет также добавить следующие две строчки:

User-agent: YandexCrawl-delay: 5


Они позволят вашему сайту избежать избыточной нагрузки на хостинг, которую порой любят давать поисковые боты Яндекса.

Также можно добавить ещё одну строчку:

Disallow: /tag


Таким образом вы запретите индексировать страницы с тегами и, соответственно, избавитесь от дублирования контента на сайте.

Файл robots.txt размещается строго в корневой папке сайта (т.е. он должен быть доступен по адресу http://www.название_сайта.ru/robots.txt).


Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь.
Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.

«    Май 2018    »
ПнВтСрЧтПтСбВс
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
 
Яндекс Апдейты
↓ Апдейты Яndex тИЦ
18.11.2017 ←Последний
04.11.2017
16.08.2017
↓ Апдейты выдачи Яndexa
20.05.2018 ←Последний
18.05.2018
16.05.2018
↓ Апдейты ЯКаталога
16.01.2018 ←Последний
20.12.2017
15.12.2017
Мы рекомендуем
Заработай на сайте!
Gogetlinks-Биржа вечных ссылок для сайтов с Тиц
Getgoodlinks-Биржа вечных ссылок для сайтов с PR


Опрос на портале

Сколько у вас сайтов?

Больше 20 сайтов
От 10 до 20 сайтов
От 5 до 10 сайтов
От 1 до 5 сайтов
Нету сайтов

Наш архив
Облако тегов
ajax, Build, DataLife, dle, dle 9.0, dle 9.2, Engine, Final, Google, Opera, Release, RSS, WordPress, адаптация, административная панель, бесплатно, виджет, Игровой, кино, комментарии, модуль, новости, Новый, Оригинал, парсер, парсер поисковых систем yandex google рассылка комментариев по DLE Joomla Community спаммер раскрутк, Переходы, плагин wordpress, сайта, сайтов, сбор данных телефонов адресов email контактов потенциальные клиенты BlackSpider универсальный сборщи, тема, тематики, универсальный, хак, хак wordpress, Шаблон, шаблона, Яндекс

Показать все теги
Последние комментарии
Популярные файлы

Информация!
Уважаемый посетитель! Присоединяйтесь к нам
в Твиттере.