Запретил, потому что это ссылки внешнего редиректа. А так как мне не хочется, чтобы эти ссылки были в списке проиндексированных страниц, я запретил гуглу это делать.
По вашим словам запретить гуглу вносить определенные страницы в базу никак нельзя, кроме как скриптом определять, кто заходит на сайт и если это гугл-бот, то выводить без ссылок... Я правильно вас понял?
Мне кажется, что такой подход не может быть правильным, должен быть какой-то более простой вариант, который поможет в решении данной проблемы. Данная проблема не является одиночной, практически на каждом сайте есть ссылки, которые желательно закрывать от гугла и других поисковых систем, поэтому должны быть средства "лечения данной болезни, без хирургического вмешательства".
Кстати, не ответили на вопрос, есть ли лимит на индексацию у гугла.
Interitus, вы правы, гугл не стал индексировать полностью страницы, которые ему запрещено было индексировать, но все же хотелось, чтобы он вообще эти ссылки не учитывал при индексации страниц, так как каждая данная ссылка считается как проиндексированная страница. Он пишет что проиндексировал 2000 страниц, хотя большая часть из них - это пустые ссылки не имеющие никакого информационного содержания.
Еще возникает вопрос, есть ли у гугла лимит на количество проиндексированных страниц сайта? Очень не хотелось бы достичь этого лимита из-за того, что гугл прочитал сотни тысяч ссылок, которые ему читать запрещали.
Можно ли как-то обойти это?
