T.R.O.N: acid_r, Указывает, но робот не перечитывает роботс.тхт постоянно.
Робот за проход, забирает часть сайта. ИМХО, роботс.тхт он перечитает, когда заберет все, что стоит в плане на закачку и бедет готовится к новому проходу.
alexspb: Конечно, не запрещается. Кажется вы строчку забыли:
Disallow: /
Должно быть
User-Agent: *
Disallow: /
Host: www.домен.ru
К тому же, вам ведь надо удалить домен.ru, а вы пишете www.домен.ru Т.е. должно быть
User-Agent: *
Disallow: /
Host: домен.ru
Что-то Вы запутали человека, директива Host: дает Я понять, какой домен нужно индексировать. Минус в репу. Ну или на худой чтобы дать роботу указание удалить из индекса написать:
далее он открыл Яндекс и увидел такую картину. Что он не набирал в поисковой строке, всегда в выдаче появлялись дЭвушки легкого поведения. Оптимизатор схватился за голову, выбежал на улицу и устремился в аптеку за... нет не угадали, за валерьянкой 😂
aleks: minaton, забранировал себе значит втихую .. и молчит как партизан ;)
нет бы, значит, централизованно согласовать, где, так сказать, оптимизаторская диаспора селиться будет :D
dnx, без очереди пускать надо. Но только по предъявлении подружек. 😂
ты смотри, жена увидить - прибьет скалкой 😂
Директора дурдома срочно сюда!!!! ааааааааааааа
Так давйте не будем оффтопить 😂
Каким образом?
так
RewriteEngine on
Options +FollowSymlinks
RewriteBase /
RewriteCond %{HTTP_HOST} ^(www.)?домен.ru$ [NC,OR]
RewriteCond %{HTTP_HOST} ^домен.ru$ [NC]
RewriteRule ^(.*)$ http://www.домен.ru/$1 [R=301,L]
acid_r, Указывает, но робот не перечитывает роботс.тхт постоянно.
Робот за проход, забирает часть сайта. ИМХО, роботс.тхт он перечитает, когда заберет все, что стоит в плане на закачку и бедет готовится к новому проходу.
перечитывает постоянно
Конечно, не запрещается. Кажется вы строчку забыли:
Disallow: /
Должно быть
User-Agent: *
Disallow: /
Host: www.домен.ru
К тому же, вам ведь надо удалить домен.ru, а вы пишете www.домен.ru
Т.е. должно быть
User-Agent: *
Disallow: /
Host: домен.ru
Что-то Вы запутали человека, директива Host: дает Я понять, какой домен нужно индексировать. Минус в репу. Ну или на худой чтобы дать роботу указание удалить из индекса написать:
User-Agent: Yandex
Disallow: /
далее он открыл Яндекс и увидел такую картину. Что он не набирал в поисковой строке, всегда в выдаче появлялись дЭвушки легкого поведения. Оптимизатор схватился за голову, выбежал на улицу и устремился в аптеку за... нет не угадали, за валерьянкой 😂
Вам для начала сюда:
или Вам в подписи мало ссылки? 😂 указали бы тут расценки
minaton, забранировал себе значит втихую .. и молчит как партизан ;)
нет бы, значит, централизованно согласовать, где, так сказать, оптимизаторская диаспора селиться будет :D
дык предлагали ж уже - в общаге :D
dimok, удачного вечера Дмитрий и вся чесна компания 🍻
пасиба ;) ещё выпьем 🍻