stomler: да. именно запретить бурж.
что-то вряд ли под одним... как так? тогда весь поисковик, включая и русскую часть не будет индексировать сайт. а русская нужна.
просто я думаю что боты одни, по крайней мере представляются как одни (мне так кажется) - а дальше уже на основе контента и его языка делается вывод. А так я считаю что не очень практично иметь разных роботов.
з.ы: и я до сих пор не смог представить зачем вам такой "изврат" нужен
rmikel: stomler, очень понятный сайт о файле robots.txt - http://robotstxt.org.ru/ Оффтоп, strekov, _aleksey_, кому-нибудь достался данный поощрительный приз ? :)
не думаю что работа такого плана будет оценена дороже. Условия считаю адекватными оплате. А вы если не считаете такую оплату адекватной - просто не обращайте внимание на пост, а то получается как бы цену набиваете что ли...
не факт. стучите и вам откроют. А вы сами то на что грешите? Думаю, что каждый из нас знает что у сайта хромает и за что бан можно получить. просто по вашему описанию ситуации тяжело сделать выводы
seopiter: Что в вашем понятии CMS? Они разные, соответственно и недостатки у них разные. Перед выбором ЦМС почитайте про них и поймите что именно вам нужно.
Вопрос не о выборе, а о индексации. -= Serafim =- дал более чем обширный ответ
да. именно запретить бурж.
что-то вряд ли под одним... как так? тогда весь поисковик, включая и русскую часть не будет индексировать сайт. а русская нужна.
просто я думаю что боты одни, по крайней мере представляются как одни (мне так кажется) - а дальше уже на основе контента и его языка делается вывод. А так я считаю что не очень практично иметь разных роботов.
з.ы: и я до сих пор не смог представить зачем вам такой "изврат" нужен
stomler, очень понятный сайт о файле robots.txt - http://robotstxt.org.ru/
Оффтоп, strekov, _aleksey_, кому-нибудь достался данный поощрительный приз ? :)
Нет, шоколадка еще не разыграна по-ходу:)
17-25 центов за новость при таких объёмах?🚬
не думаю что работа такого плана будет оценена дороже. Условия считаю адекватными оплате. А вы если не считаете такую оплату адекватной - просто не обращайте внимание на пост, а то получается как бы цену набиваете что ли...
Я думаю, что под одним. Хотя и не уверен на все 100. А зачем вам вообще такое? запретить бурж?
спасибо, но не могли бы Вы скинуть полный файл? к тому же мне нужно оставить для индекса русских гугла и яху, а я в этом не волоку совсем...
stomler, ничего сложного нет:
делаете
User-agent: Агент
Disallow: /
- запретить индексировать сайт
User-agent: Агент
Disallow:
- разрешить индексировать сайт.
База данных по агентам : http://bot.tixit.ru/user_agent/
выбираете агента и указываете можно ли ему индексировать или нет
А готовый файл - это просто напросто текстовик залитый в корень сайта.
не факт. стучите и вам откроют. А вы сами то на что грешите? Думаю, что каждый из нас знает что у сайта хромает и за что бан можно получить. просто по вашему описанию ситуации тяжело сделать выводы
Думаю возможно если найти и устранить причину бана. В любом случае письмо Платону расставит все по своим местам
Что в вашем понятии CMS? Они разные, соответственно и недостатки у них разные. Перед выбором ЦМС почитайте про них и поймите что именно вам нужно.
Вопрос не о выборе, а о индексации. -= Serafim =- дал более чем обширный ответ
Простите за офф-топ но где на втором вы увидели дизайн 🤣
нет, если все сделать правильно.