Настройка robots.txt

Rabotadomaonlain.ru продолжает знакомить Вас  с   методами по оптимизации блога.

Не маловажным для поисковой системы Яндекс является настройка robots.txt.

robots.txt — это файл в котором, вводится запрет на индексацию конкретных разделов блога.

Делается это для того, что бы повысить рейтинг блога в поисковой системе Яндекс.

Для Гугла таким файлом является Sitemap (карта сайта для поисковиков).

Посмотрим как  выглядит robots.txt без настройки. Вводим его адрес. У всех без исключения сайтов он находится по адресу : наименование сайта/robots.txt

Вот как выглядел robots.txt без настройки на моем блоге.

2012 04 21 175933 thumb Настройка robots.txt

Смотрим замечания от Яндекса на сервисе Веб-мастер.

2012 04 21 181429 thumb Настройка robots.txt

Чтобы устранить замечания  необходима настройка robots.txt

Воспользуемся советом Владимира Дручина — автора курса “Киберсант – Блоггер”.

Вот как он предлагает настроить robots.txt:

User-agent: YandexBlog
Disallow:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: */trackback/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/uploads/

Host: rabotadomaonlain.ru

Sitemap: http://rabotadomaonlain.ru /sitemap.xml

Больше информации о настройке robots.txt любознательные могут узнать на сайте http://robotstxt.org.ru

2012 04 21 191941 thumb Настройка robots.txt

Создайте текстовый файл с расширением txt. Скопируйте туда текст, содержащийся в цитате, либо скачайте по ссылке в конце статьи.

Поменяйте адрес моего блога и домена  на свой (заменить только то, что выделено красным шрифтом). Сохраняем файл и закрываем его.

Далее идем на хостинг в “Управление” – “Файловый менеджер”.

2012 04 21 193231 thumb Настройка robots.txt

Выбираем нужный домен. Входим в него.

2012 04 21 193456 thumb Настройка robots.txt

Спускаемся вниз к загрузчику файлов (на хостинге Джино он внизу)

2012 04 21 193529 thumb Настройка robots.txt

Выбираем,  созданный на своем компьютере, файл robots.txt и загружаем его.

2012 04 21 193643 thumb Настройка robots.txt

Проверяем появился ли  robots.txt в корневой папке.  Ага, вот он.

2012 04 21 193743 thumb Настройка robots.txt

А вот и сообщение о том, что загрузка robots.txt завершена.

2012 04 21 193808 thumb Настройка robots.txt

Теперь проверим на блоге. Отлично!

2012 04 21 193931 thumb Настройка robots.txt

 И посмотрим изменения в настройке robots.txt на сервисе Веб-мастер в  Яндексе.

2012 04 21 194053 thumb Настройка robots.txt

Ну вот и всё, настройка robots.txt завершена. Теперь остается только наблюдать как отразится настройка robots.txt на результаты индексации Яндексом.

Скачать урок по настройке robots.txt .

Скачать файл robots.txt .

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

*

*

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Получать статьи по почте!

введите свой е-mail :

Рекомендую!

купить кассовый аппарат для ооо - смотрите информацию у нас