Проблема на сайте: Яндекс индексирует еще не опубликованные страницы (черновики). Они висят в вебмастере со статусом "ошибка 404".
Что можно сделать? Подскажите, как править robots.txt
2 4354
Еще записи по теме
- Вывод названия сайта и краткого описания сайта в шапке в дефолтном шаблоне?
- Почему не отображаются css-стили сайта?
- Как уменьшить количество запросов в базу данных?
- Возникла ошибка с PHP функцией mktime
- Как сделать уникальные метаописания и заголовки у страниц с пагинацией?
- Как выводить последние статьи для каждой активной рубрики?
- Есть ли влияние плагина «Mobile Theme» на рейтинг в поисковых системах?
Наверно особого правила для robots.txt для этой ситуации придумать не получится - эти страницы выглядят как обычные, да и будут обычными после публикации (а адреса останутся прежними).
Поэтому предлагаю всё таки бороться не с последствиями, а с причиной. Чтобы Яндекс узнал об этих страницах он должен где-то увидеть ссылки на них (сам по себе он ничего не придумывает - не научен). Вопрос - где Яндекс нашёл ссылки?
У меня есть три версии:
1. Ссылки просачиваются в файл sitemap.xml. Вы проверяли - в нём точно нет ссылок на неопубликованные записи?
2. Если есть страница с адресом /sitemap, то возможно на ней какой-то сбой - надо проверить, нет ли на ней ссылок?
3. Если на сайте есть виджет "будущих публикаций", то при неправильной настройке он мог вполне показать ссылки на пока не существующие страницы. Вроде это не ваш случай.
Ну и остаётся вариант, что вы сами реализовали в шаблоне вывод ссылок на несуществующие страницы (например, в како-нибудь виджете или юните) и не заметили. Чтобы попытаться найти эту "дыру" нужно взять программу сканер сайтов (типа Xenu Links) и натравить её на ваш сайт, чтобы она составила список всех страниц и составила граф внутренних ссылок. Возможно это прояснит причину появления ненужных ссылок в отчёте Яндекс.Вебмастера.
Спасибо за рекомендации. Маленькая поправка: страницы не черновики (draft), а в статусе отложенной публикации (publish). Буду разбираться.
Еще один момент. Сайт регулярно спамят порно каментами + регистрируются пользователи и в своих профилях ставят спамные ссылки. Хотя комментарии висят не опубликованые (на модерации) и спамных пользователей регулярно удаляю, получил санкции в Яндексе за спамный контент (понижение в выдаче и ноль трафика). Значит, яндекс как-то видит эти неопубликованные комментарии?
P.S. Запретил комментирование на сайте, удалил все комментарии и пользователей - яндекс тут же снял санкции.
P.P.S. С гуглом подобных проблем никогда не возникало. Трафик только в гору.