у меня нет ни одного сайта с проиндексированной 404, видел только пример 404 стр яндекса, проиндексированной (вернее просто в выдаче) гуглом с пометкой запрещено в роботсе и т.д. и т.п., но она у него в роботсе была запрещена к сканированию - сдался я короче, пойду работать :)
Какой бы красивой и полезной не была ваша страница 404, вероятнее всего, вы не захотите, чтобы она отображалась в результатах поиска Google. Чтобы исключить индексирование страниц 404 поисковыми системами, например Google, убедитесь в том, что при запросе несуществующей страницы ваш веб-сервер возвращает действительный код статуса HTTP 404
burunduk: sok3535, вы не понимаете, проблема в том что у вас нет таких страниц, вообще нет и ни когда не было!
например: www.yandex.ru/forum/?=porno-redaktor отдаёт 404
не запрещена в роботс
ну как не понимаю? на несуществующие стр стоят ссылки, эти несуществующие стр должны отдавать 404 ошибку, что бы их не было в индексе - как то так - или я действительно где то запутался?
burunduk: это один вопрос ;)
что делать если на вас ссылаются кучей мусорных ссылок на несуществующие страницы?
открывать их для индексации и прописывать мету noindex
или отдавать 404 и запрещать в роботсе общим правилом
burunduk: только вот ни слова, про не учёт данной страницы в доменных факторах
как отреагирует гоша если таких страниц будет очень много?
и на них будут вести порно анкоры? :)
выкинет страницы из индекса - тут вопрос только времени т.к. бот должен заново просканировать страницы и увидеть метатег, соответственно говорим о страницах в коде, которых нет критических ошибок - для примера если метатег дублируется бот его, скорее всего, не воспримет как директиву
Знайка: Есть роботс: Здесь вроде все ясно. Но как быть с якорями? Например, как запретить:
#respond #comments #comment #more
этого
#
мало?))
Знайка:
И еще, как прописать запрет для такого:
domain.ru/ololo.html?replytocom=2#respond
никак - в файле wp-includes/default-filters.php в 219 строке уже прописан запрет
if ( isset( $_GET['replytocom'] ) ) add_action( 'wp_head', 'wp_no_robots' );
на подобных страницах в коде должен быть тег -
<meta name='robots' content='noindex,nofollow' />
- но на самом деле это, например, для гугла немного не верно - в справке рекомендуют не запрещать к индексированию страницы с идентификаторами, а ставить на них каноникал ведущий на страницу, которая должна быть в индексе - т.е. пример - урл domain.ru/ololo.html?replytocom=2#respond и на нем должен быть каноникал
добавлю только - необходимо не путать функции роботса и метатегов для гугла - т.е. чтобы все прокатило и мусора не было в индексе - следует не запрещать в роботсе подобные страницы (роботс запрещает сканирование для гугла, но не индексирование - и если стр раньше была проиндексирована он будет держать ее в индексе с пометкой запрещено в роботсе и т.д. и т.п.) а вот метатег поможет избавиться от мусора - но бот должен его прочитать, а следовательно с стр не должно быть запретов в роботсе - как то так короче, надеюсь, что поймешь))
но в поиске оставит/добавит :)
у меня нет ни одного сайта с проиндексированной 404, видел только пример 404 стр яндекса, проиндексированной (вернее просто в выдаче) гуглом с пометкой запрещено в роботсе и т.д. и т.п., но она у него в роботсе была запрещена к сканированию - сдался я короче, пойду работать :)
тогда меты не увидит :)
не увидит, но индексировать ее же не будет
с точки зрения гугла нет
т.е. ответ должен быть 200 :)
эээ, как 200 то?
отсюда - https://support.google.com/webmasters/answer/93641?hl=ru
sok3535, вы не понимаете, проблема в том что у вас нет таких страниц, вообще нет и ни когда не было!
например: www.yandex.ru/forum/?=porno-redaktor
отдаёт 404
не запрещена в роботс
ну как не понимаю? на несуществующие стр стоят ссылки, эти несуществующие стр должны отдавать 404 ошибку, что бы их не было в индексе - как то так - или я действительно где то запутался?
это один вопрос ;)
что делать если на вас ссылаются кучей мусорных ссылок на несуществующие страницы?
открывать их для индексации и прописывать мету noindex
или отдавать 404 и запрещать в роботсе общим правилом
отдавать 404 и в роботсе не запрещать доступ к 404 странице, можно для надежности метатег в нее сунуть, иначе как-то так будет - https://www.google.ru/search?q=yandex+404.html
только вот ни слова, про не учёт данной страницы в доменных факторах
как отреагирует гоша если таких страниц будет очень много?
и на них будут вести порно анкоры? :)
выкинет страницы из индекса - тут вопрос только времени т.к. бот должен заново просканировать страницы и увидеть метатег, соответственно говорим о страницах в коде, которых нет критических ошибок - для примера если метатег дублируется бот его, скорее всего, не воспримет как директиву
- https://support.google.com/webmasters/answer/93710?hl=ru
единственное но - на страницу с метатегом не должно быть запрета в роботсе, чтобы бот мог ее просканировать
Получается, в роботсе это так должно выглядеть:
😂 нет, ничего не добавляй, - погугли хеш в урл
тут посмотри http://www.w3schools.com/css3/css3_transitions.asp
Есть роботс:
Здесь вроде все ясно. Но как быть с якорями? Например, как запретить:
этого
мало?))И еще, как прописать запрет для такого:
никак - в файле wp-includes/default-filters.php в 219 строке уже прописан запрет
на подобных страницах в коде должен быть тег -
- но на самом деле это, например, для гугла немного не верно - в справке рекомендуют не запрещать к индексированию страницы с идентификаторами, а ставить на них каноникал ведущий на страницу, которая должна быть в индексе - т.е. пример - урл domain.ru/ololo.html?replytocom=2#respond и на нем должен быть каноникал с этим легко справляется all in one seo packдобавлю только - необходимо не путать функции роботса и метатегов для гугла - т.е. чтобы все прокатило и мусора не было в индексе - следует не запрещать в роботсе подобные страницы (роботс запрещает сканирование для гугла, но не индексирование - и если стр раньше была проиндексирована он будет держать ее в индексе с пометкой запрещено в роботсе и т.д. и т.п.) а вот метатег поможет избавиться от мусора - но бот должен его прочитать, а следовательно с стр не должно быть запретов в роботсе - как то так короче, надеюсь, что поймешь))