и как спастить?
regexp в robots не работает...
да, так реальный урл посылается или нет?
я понимаю, где писать )))
я сомневаюсь, можно ли писать во второй форме?
мне надо исключить страницы со словом page.
но поисковики видят только
/clients/0/1000/1
так вот им реально посылается настоящий url перед индексированием?
и если я напишу
disallow: /*page
то я так понимаю это будет проигнорировано?
эти страницы по добавлению мало обновляются. добавляются в основном.
тогда еще вопрос. где взять формат файла карты сайта и одинаков ли он для разных поисковиков?
простите, если вопрос слишком десткий :)
а добавленные организации (и соотв сгенерир динам страницы, типа site.org/clients/0/2022) будут индексироваться в следующий проход поисковика, я правильно понимаю?
то есть карта вообще не нужна?
или это все-таки ускорит индексацию поисковиком в след заход на сайт?
