Про доступность (ответ 200) по всем возможным роботсам (при 301 по остальным урлам) по вашей сцылке нету (см. процитированное в #6).
Да и сплошной 200 ОК
http://yandex.ru/robots.txt
https://yandex.ru/robots.txt
http://www.yandex.ru/robots.txt
https://www.yandex.ru/robots.txt (при 301 по некоторым зеркалам при запросе не-robots.txt)
не то что у гула (идущего по 301 и в случае с /robots.txt )
с доменной зоной .yandex как-то неправильно
https://www.yandex/robots.txt
http://www.yandex/robots.txt
Она не ваша.
А китам не устоять в сознании, испорченном повальной грамотностью.
И всё посыпалось... и падает со скоростью около 30км/с
// дальнейшее увеличение скорости — по мере осознания скорости солнечной системы...
Но с тех пор, как вебмастеры забыли про папки/ с index.html в них,
каноны тоже стали разными
www.google.ru/search?q=site%3Awww.bdbd.ru%2Fseo
www.google.ru/search?q=site%3Aseo-dream.ru%2Fstati
реальным правилом оказалось что-то другое. Например единообразие (хоть для страниц с контентом, хоть для разделов)
Но и на голом апче вы можете переиначить урлы как хотите.
Вот такие урлы
http://slash.500mb.net/w//
http://slash.500mb.net/w///
даже по сцылкам с этого форума...
не помню чтобы оказывались в индексе более, чем на несколько дней. Это уже не помню сколько лет.
Тогда ещё я пользовался ЯВМ... и пытался добавлять в аддурилку, и отвечало типа «уже проиндексирован»... почему моей версией и стало предположение о не-учёте хвостового / при проверке уже-проиндексированного перед принятием решения об индексации очередного/
А это
slash.500mb.net/w/
проиндексилось только после закрывания в robots.txt
slash.500mb.net/w
Ну можно попытаться закрыть slash.500mb.net/w/
Кому интересно проверяйте пищеварение этих вымирающих динозавров...
Если верить Людкевичу (поиск фразы выше)... то ваш вопрос не о том.
Да и как вы его будете поправлять?.. вот если бы автоматом.
А так Яндексу не важен первоисточник, Поиск по заголовку:
https://www.yandex.ru/yandsearch?text=%D0%BB%D0%B5%D0%B3%D0%B5%D0%BD%D0%B4%D1%8B+%D0%B8+%D0%BC%D0%B8%D1%84%D1%8B+%D1%80%D0%BE%D1%81%D1%81%D0%B8%D0%B9%D1%81%D0%BA%D0%B8%D1%85+%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80%D0%BE%D0%B2
в Гугле хотя бы в ТОП10 есть хоть какая-то левая сцылка на techart.ru
https://www.google.ru/search?q=%D0%BB%D0%B5%D0%B3%D0%B5%D0%BD%D0%B4%D1%8B+%D0%B8+%D0%BC%D0%B8%D1%84%D1%8B+%D1%80%D0%BE%D1%81%D1%81%D0%B8%D0%B9%D1%81%D0%BA%D0%B8%D1%85+%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80%D0%BE%D0%B2
(но сама статья у них 404, умерло это ваше SEO, и ладно)
И ещё чтобы очень успокаивал.
Ведь антивирус не замечает вируса, которого не знает.
Ну а теперь осталось без редиректа показать учёт слеша (и ДО индексации).
А то мне ЯВМ тоже чего-то говорил...
Из канонов. Которые ботам не интересны. Делать можно как угодно...
Где первоисточник https://www.yandex.ru/yandsearch?text=%D1%84%D0%B8%D0%BB%D1%8C%D1%82%D1%80%D0%B0%D1%86%D0%B8%D1%8F+%D0%BF%D1%80%D0%BE%D0%B8%D1%81%D1%85%D0%BE%D0%B4%D0%B8%D1%82+%D0%BD%D0%B5%D0%BF%D0%BE%D1%81%D1%80%D0%B5%D0%B4%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE+%D0%BD%D0%B0+%D1%8D%D1%82%D0%B0%D0%BF%D0%B5+%D1%84%D0%BE%D1%80%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F+%D0%B2%D1%8B%D0%B4%D0%B0%D1%87%D0%B8
А как он вообще их сравнивает?
И с site:
и в ЯВМ... всё было по-разному.
Но по цитате можно было найти конкретную страницу. Просто весь список получить не получалось... даже с &rd=0
И даже вроде бы униКальная перелинковка между такими страницами как-то сказывалась.
Единственное, в чём призналась Я.ТП:
А в Гугле с &filter=0 можно попытаться увидеть всех.
ps Но заставить почувствовать в запросе слеш... не получалось.
Щас толкование конституционного гугла закажем.
Поздно жрать эту падаль.
Нет.
Страница выдачи ... не существует отдельно от деловых интересов СКР, прикидывающихся поисковиками. Прочитайте все коменты покойника... а то душке на том свете не очень.
Если выдача не будет приносить (эквивалент) денег, создатели это поправят.
А так ещё можно подозревать учёт перелинковки
https://www.yandex.ru/yandsearch?text=%22%D0%BC%D1%8B%D1%81%D0%BB%D1%8F+%D0%BF%D1%80%D0%BE%D0%BB%D0%B8%D0%BD%D0%BA%D0%BE%D0%B2%D0%B0%D1%82%D1%8C+%D0%B2%D0%BD%D1%83%D1%82%D1%80%D1%8F%D0%BA+%D1%85%D0%B8%D0%BF%D0%BF%D0%B5%D1%80%D1%81%D1%86%D1%8B%D0%BB%D0%BA%D0%B0%D0%BC%D0%B8%22
https://www.google.ru/search?q=%22%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%BD%D0%B5%D0%BD%D1%8C%D0%BA%D0%B0%D1%8F+%D0%BC%D1%8B%D1%81%D0%BB%D1%8F+%E2%80%94+%D0%BF%D1%80%D0%BE%D0%BB%D0%B8%D0%BD%D0%BA%D0%BE%D0%B2%D0%B0%D1%82%D1%8C+%D0%B2%D0%BD%D1%83%D1%82%D1%80%D1%8F%D0%BA+%D1%85%D0%B8%D0%BF%D0%BF%D0%B5%D1%80%D1%81%D1%86%D1%8B%D0%BB%D0%BA%D0%B0%D0%BC%D0%B8+%D1%81+%D1%83%D0%BD%D0%B8%D0%BA%D0%B0%D0%BB%D0%AC%D0%BD%D1%8B%D0%BC%D0%B8+%D0%B0%D0%BD%D0%BA%D0%BE%D1%80%D0%B0%D0%BC%D0%B8%22&newwindow=1&hl=ru&prmd=ivns&filter=0
Но если вы налинкуете списки поисковых запросов...
