у меня нет ни одного сайта с проиндексированной 404, видел только пример 404 стр яндекса, проиндексированной (вернее просто в выдаче) гуглом с пометкой запрещено в роботсе и т.д. и т.п., но она у него в роботсе была запрещена к сканированию - сдался я короче, пойду работать :)
не увидит, но индексировать ее же не будет
эээ, как 200 то?
отсюда - https://support.google.com/webmasters/answer/93641?hl=ru
ну как не понимаю? на несуществующие стр стоят ссылки, эти несуществующие стр должны отдавать 404 ошибку, что бы их не было в индексе - как то так - или я действительно где то запутался?
отдавать 404 и в роботсе не запрещать доступ к 404 странице, можно для надежности метатег в нее сунуть, иначе как-то так будет - https://www.google.ru/search?q=yandex+404.html
выкинет страницы из индекса - тут вопрос только времени т.к. бот должен заново просканировать страницы и увидеть метатег, соответственно говорим о страницах в коде, которых нет критических ошибок - для примера если метатег дублируется бот его, скорее всего, не воспримет как директиву
- https://support.google.com/webmasters/answer/93710?hl=ru
единственное но - на страницу с метатегом не должно быть запрета в роботсе, чтобы бот мог ее просканировать
Disallow: *#
😂 нет, ничего не добавляй, - погугли хеш в урл
тут посмотри http://www.w3schools.com/css3/css3_transitions.asp
#respond#comments#comment#more
этого
#
domain.ru/ololo.html?replytocom=2#respond
никак - в файле wp-includes/default-filters.php в 219 строке уже прописан запрет
if ( isset( $_GET['replytocom'] ) ) add_action( 'wp_head', 'wp_no_robots' );
на подобных страницах в коде должен быть тег -
<meta name='robots' content='noindex,nofollow' />
<link rel="canonical" href="http://domain.ru/ololo.html" />
добавлю только - необходимо не путать функции роботса и метатегов для гугла - т.е. чтобы все прокатило и мусора не было в индексе - следует не запрещать в роботсе подобные страницы (роботс запрещает сканирование для гугла, но не индексирование - и если стр раньше была проиндексирована он будет держать ее в индексе с пометкой запрещено в роботсе и т.д. и т.п.) а вот метатег поможет избавиться от мусора - но бот должен его прочитать, а следовательно с стр не должно быть запретов в роботсе - как то так короче, надеюсь, что поймешь))
