будет ли гугл считать ссылки со страниц , которые закрыты для ботов через robots.txt

123av
На сайте с 29.06.2004
Offline
168
434

будет ли гугл считать ссылки со страниц , которые закрыты для ботов через robots.txt ?

S
На сайте с 21.01.2009
Offline
2
#1
123av:
будет ли гугл считать ссылки со страниц , которые закрыты для ботов через robots.txt ?

не будет! :(

WA
На сайте с 06.10.2007
Offline
48
#2

Одно вижу по своим сайтам точно, даже если страница закрыта в роботсе.тхт про ее существование Гугль знает и показывает ее в проиндексированных страницах в дополнительных результатах как урл. Так что не исключено, что он ее прекрасно сканирует и если там есть косячки какие, с удовольствием их примет во внимание.

U
На сайте с 31.01.2009
Offline
45
#3

Тоже самое - вебмастерстулс говорит, что URL запрещен для сканирования через robots.txt, однако все профили пользователей, которые никому не нужны кроме этих самых пользователей, прекрасно сидят в поисковой выдаче - а у яндекса вроде все нормально

пришлось из профилей юзеров убрать строчку "Website" 😂😂

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий