ограничение на размер robots.txt

Karastel
На сайте с 06.09.2006
Offline
10
2810

Наконец то получил ответ на вопрос какой максимальный размер файла robots.txt может прочитать yandex.

Сам Платон проконсультировал :)

Максимальный размер robots.txt , который может прочитать наш робот - 32Kb.

Может кому пригодится... :smoke:

путешествия без турфирм (http://fresh-trip.ru/)
T.R.O.N
На сайте с 18.05.2004
Offline
314
#1

Karastel,

роботс таких размеров может понадобится тольок если автор сайта с большой пьнки планировал структуру.

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)
Karastel
На сайте с 06.09.2006
Offline
10
#2

ну всякое бывает...

бывает же, что надо заниматься сайтом, который проектировал не ты сам ;)

может и пригодится кому...

опять таки - куча постов есть про то, что владелец решил урлы прямыми сделать (rewrite engine), а в индексе остались старые с параметрами (типа /index.php?id=&wer=10&ytr=8), и надо сии страницы из индекса убрать...

как решение - закрыть старые страницы в robots.txt 🚬

вот и начинаешь задумываться, проглотит ли робот твой временный robots.txt

M
На сайте с 03.11.2004
Offline
94
#3

отправьте Каширину http://www.advans.ru/platon/, думаю информация интересная

Karastel
На сайте с 06.09.2006
Offline
10
#4

отправлено

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий