YmersY: Всего лишь миф который ходит по форуму. Поменяйте URLы на морду сайта, пользы больше будет.
Похоже, что не миф. Пока не шарахнул из блога с PR=4 ссылкой на внутряк, бот дергал только главную. Хотя на морду ссылок 30 закуплено в течение 1.5 месяцев + 3 штуки в блогах + скромный сквознячок - не было никакой реакции. Пойдет ли бот дальше, сейчас выясняется, пока непохоже.
Всего лишь миф который ходит по форуму. Поменяйте URLы на морду сайта, пользы больше будет.
Похоже, что не миф. Пока не шарахнул из блога с PR=4 ссылкой на внутряк, бот дергал только главную. Хотя на морду ссылок 30 закуплено в течение 1.5 месяцев + 3 штуки в блогах + скромный сквознячок - не было никакой реакции. Пойдет ли бот дальше, сейчас выясняется, пока непохоже.
- укажите урл "проблемного" сайта.
Тут раздел "Частные вопросы".
Возьмите фрагмент 4-5 слов текста, суньте в кавычки и проверьте в Яндексе с другим регионом (213 или 225). Должен быть.
Можно попробовать на этих страницах отдавать 404-й HTTP код
А робот об этом узнает? Или чтобы проверить код он может временно нарушить запрет в robots.txt ?
Что-то я сомневаюсь.
не зашли и не проиндексировали страницу?
Насчет "не зашли", смотрите свои логи.
А насчет "не проиндексировали" - а что там индексировать на пустом сайте?
Zorgy13, обратите внимание на п.3.1 Правил форума.
Просто так сунуть ссылку, если она не иллюстрирует ваше высказывание, нельзя.
Рискуете поймать 2 штрафных очка, а то и все 8.
Больше предупреждений не будет.
Смотря на какую страницу у вас стоят ссылки внутри сайта, на /pol или на /pol/
На главной странице нет, а где-то может и есть.
Трудно самому потыкать по ссылкам?
Сорри, прозевал про видимую страницу.
Да, правильно.
Disallow: /pol/
Попробуйте почитать help.yandex.ru, здесь без этого нельзя.