Создание, анализ, оптимизация сайтов

продвижение, маркетинг, менеджмент….

robots.txt для WordPress

robots-txtНадоели ошибки при индексации, попробую все-таки прописать правильный robots.txt для WordPress. Основные ошибки появляются при индексации feed, rss лент, /xmlrpc.php?rsd... при этом сообщая что «Формат документа не поддерживается». Особенно многочислены ошибки когда есть возможность подписаться на ленту комментариев отдельного поста, на отдельный тег или отдельную рубрику.Всего проще воспользоваться поиском и найти готовый для своих нужд файл:

User-agent: *
Disallow: /cgi-bin
# запрещаем индексацию системных папок
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
# запрещаем индексацию страницы входа и регистрации
Disallow: /wp-login.php
Disallow: /wp-register.php
# запрещаем индексацию трекбеков

Disallow: /trackback
Disallow: */trackback
Disallow: /xmlrpc.php
# запрещаем индексацию архива автора
Disallow: /author*
# запрещаем индексацию постраничных комментариев
Disallow: */comments
Disallow: */comment-page*
# запрещаем индексацию результатов поиска и другого возможного «мусора»
Disallow: /*?*
Disallow: /*?
# разрешаем индексацию вложений, особо мнительным можно запретить папку wp-content целиком
Allow: /wp-content/uploads

User-agent: yandex
Disallow: /cgi-bin
# запрещаем индексацию системных папок
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
# запрещаем индексацию архива автора
Disallow: /author*
# запрещаем индексацию страницы входа и регистрации
Disallow: /wp-login.php
Disallow: /wp-register.php
# запрещаем индексацию трекбеков, rss-ленты
Disallow: /trackback
Disallow: /feed
Disallow: /rss
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: /xmlrpc.php
# запрещаем индексацию постраничных комментариев
Disallow: */comments
Disallow: */comment-page*
# запрещаем индексацию результатов поиска и другого возможного «мусора»
Disallow: /*?*
Disallow: /*?
# разрешаем индексацию вложений, особо мнительным можно запретить папку wp-content целиком
Allow: /wp-content/uploads
# прописываем директиву Host
Host: mysite.ru

User-agent: Googlebot-Image
Allow: /
# разрешаем индексировать изображения

User-agent: YandexBlog
Allow: /
# разрешаем индексировать rss-ленту

Чтобы проверить правильность обработки яшей, можно воспользоваться сервисом Яндекса «вебмастер» -> «Анализ robots.txt»

Рубрика: Индексация

Темы:

7 комментариев

  1. На счет этой строки для Яши:

    Disallow: */feed

    Не советовал бы ее юзать из-за нее выкинули из индексации все мои записи, теперь не знаю когда вернут!=/

    • Не думаю, из-за этого не выкинет из индекса весь сайт, нужно сначала посмотреть весь код ваш роботс.тхт. Строчка Disallow: */feed лишь сообщает о конкретных страницах-папке. Если конечно у вас все страницы заканчиваются feed то конечно выкинет все.

  2. Скажите, если я тупо скопирую ваш пример этого файла и создам себе, правильно будет? Русские надписи нужно убирать?

  3. Глупости! А ведь кто-то же прочтет поверит этому бреду))

    Во-первых:

    Disallow: /feed

    Disallow: /rss

    RSS очень благополучно помогает с индексацией!

    Во-вторых: необходимо добавить запись для яндекса с началом

    User-agent: Yandex

    и

    Host: sitename.ru в конце

    3) Самое смешное, что команды Allow вообще не существует:)

    Есть Disallow и точка!

    В общем флаг вам в руки с вашим robots.txt

    • обсуждала данную тему полгода назад здесь clubs.ya.ru/4611686018427...&maxt=1262293199 менять что-то на сайте все руки не доходят.

      п.с.

      Disallow: /feed

      Disallow: /rss

      согласна — для индексации, к сожалению яша не понимает ни фид ни рсс. только яндекс.блог, по этому, как вы и указали, но наверно и не заметили что стоят правила отдельно для бота Яши, где и название бота указано, и желаемый хост в конце (что явно не является обязательным).

  4. Недавно начал пользоваться Я.Вебмастер и обнаружил, что Яндекс не может распознать кодировку РСС лент. Прочитал статью. С запретами все понятно, но это какое-то половинчато решение, из разряда — если не замечать проблему, то ее нет. А нельзя ли сделать так, чтобы кодировки РСС распознавались яшей, и жить с ним душа в душу?

  5. Валерий пишите на почту расскажу как это сделать

Ответить


Или использовать стандартную форму:

Я не робот.