а еще и анкор-лист разбавит ☝ :)
а тут смотреть не пробовал? :)
Каюсь, ошибся урлом
из ПС копировал, да промахнулся :)
свой предыдущий пост исправил - показывает беки
Проблема не в том, что хост должен идти после юзерагента - а в том что что перед хостом идет пустая конструкция (которая ничего не делает)
Если дисалоу пустой (как в примере ТС) то не стоит его и писать, боты спотыкаются о пустые конструкции.
качаем и смотрим, анализируем
если бы полистали форум вглубь, то нашли бы не один способ и не одни сервис.
проверил сайты которые 100% знаю под фильтром (мало уникального контента), "пессимизированные" сайты везде разные цифры приблизительно равные количеству страниц но 404 нигде не видел.
имхо, фак прикреплен, а вопросы все равно задают :)
301 работает как для яндекса так и для остальных
P.S. и все равно будут спрашивать про редирект, за последнюю неделю я 3 раза разжевывал это каждый раз в новом топике, новички элементарно не желают даже этот раздел просмотреть на пару страниц в глубь.
запрос по странам (через прокси)
украина
германия
россия
имхо: и какой правильный? :D
для желающих дальше переживать либо пытаться анализировать
выбираем страну и смотрим на разных фронтах :D
сейчас из украины и сша разное показывают