При чем тут 404? Боту просто будет запрещено индексировать такой урл - майдомен.ру/index.html и все.
Если он времено появляется в индекс, значит гдето всплыват на сайте. Слабовероятно, чтоб ссылались таким видом. Хотя проверить стоит. Если есть - значит редирект. Здесь четкой позиции нету.
Два каталога это не страшно. :)
Для гугла и яндекса sitemap можно загрузить в панель вебмастера, для остальных ботов указываем в роботс.тхт - Sitemap: http://domen.ru/sitemap.xml
Закройте одиночные теги br и img, и добрая половина ошибок исчезнет.
Лучше наращивать бэки постепено, за резкое увелечение есть риск вылетить.
А что за метатеги, спамные?..
Элементарно - http://ru.wikipedia.org/wiki/XRumer
Они ее не обходят, просто регятся по шаблону, как и любой юзер.
Горы дрожат, люди трепещат... Яндекс преподносит сюрпризы. Зато в этой статье(только что искал, топ-2) объясняется, что nofollow плохо.
Инфа не новая. У гугла вес по ссылкам в nofollow передается, только он утекает в никуда. Не факт, что у яндекса тоже самое.
ага, и еще 500 сцылок для него прикупил, чтоб сразу АГС 😂
При чем тут 404? Боту просто будет запрещено индексировать такой урл - майдомен.ру/index.html и все.
Если он времено появляется в индекс, значит гдето всплыват на сайте. Слабовероятно, чтоб ссылались таким видом. Хотя проверить стоит. Если есть - значит редирект. Здесь четкой позиции нету.
ТС, все правельно. "*" - там даже не к чему, потому как он и так по умолчанию предусматривается.
http://help.yandex.ru/webmaster/?id=996567#996572