Проблема на сайте: Яндекс индексирует еще не опубликованные страницы (черновики). Они висят в вебмастере со статусом "ошибка 404".
Что можно сделать? Подскажите, как править robots.txt
2 4229
Еще записи по теме
- Адаптированные изображения в Слайдере - SlidesJs
- Как реализовать вывод миниатюр публикации на главной странице???
- Как реализовать запрет индексации отдельной категории сайта для Роскомнадзора?
- Version 100 - в системе зашита Яндекс метрика - как убрать этот код?
- Как сделать собрать шаблон от bootstrap на MaxSite CMS
- Как добавить свои стили и JS в MaxSite CMS?
- Где взять пример кода для type_foreach файла?
Наверно особого правила для robots.txt для этой ситуации придумать не получится - эти страницы выглядят как обычные, да и будут обычными после публикации (а адреса останутся прежними).
Поэтому предлагаю всё таки бороться не с последствиями, а с причиной. Чтобы Яндекс узнал об этих страницах он должен где-то увидеть ссылки на них (сам по себе он ничего не придумывает - не научен). Вопрос - где Яндекс нашёл ссылки?
У меня есть три версии:
1. Ссылки просачиваются в файл sitemap.xml. Вы проверяли - в нём точно нет ссылок на неопубликованные записи?
2. Если есть страница с адресом /sitemap, то возможно на ней какой-то сбой - надо проверить, нет ли на ней ссылок?
3. Если на сайте есть виджет "будущих публикаций", то при неправильной настройке он мог вполне показать ссылки на пока не существующие страницы. Вроде это не ваш случай.
Ну и остаётся вариант, что вы сами реализовали в шаблоне вывод ссылок на несуществующие страницы (например, в како-нибудь виджете или юните) и не заметили. Чтобы попытаться найти эту "дыру" нужно взять программу сканер сайтов (типа Xenu Links) и натравить её на ваш сайт, чтобы она составила список всех страниц и составила граф внутренних ссылок. Возможно это прояснит причину появления ненужных ссылок в отчёте Яндекс.Вебмастера.
Спасибо за рекомендации. Маленькая поправка: страницы не черновики (draft), а в статусе отложенной публикации (publish). Буду разбираться.
Еще один момент. Сайт регулярно спамят порно каментами + регистрируются пользователи и в своих профилях ставят спамные ссылки. Хотя комментарии висят не опубликованые (на модерации) и спамных пользователей регулярно удаляю, получил санкции в Яндексе за спамный контент (понижение в выдаче и ноль трафика). Значит, яндекс как-то видит эти неопубликованные комментарии?
P.S. Запретил комментирование на сайте, удалил все комментарии и пользователей - яндекс тут же снял санкции.
P.P.S. С гуглом подобных проблем никогда не возникало. Трафик только в гору.