elkini

elkini
Рейтинг
15
Регистрация
03.07.2009

Crawl-delay - директива robots.txt, которую придумал Яндекс

делать в .htaccess например так:

Order Allow,Deny

Allow from all

Deny from 217.69.134.56

Deny from 217.69.133.34

Deny from 94.100.181.243

bitha45:
У меня скрипт агенского магазина(PHP).

В robots.txt добавьте Crawl-delay

http://help.yandex.ru/webmaster/?id=996567#1022359

bitha45:
Подскажите пожалуйста "чайнику",что делать? У меня при индексации роботом Яндекса сайта(более 4000 стр.)происходит перегруз сервера(пишут- Top Process %CPU 133 php5) и на хосте сразу всё вырубают. Как можно этого избежать?

Ну какое-нибудь простое кеширование сделать, например. Если что-то самописное - сделать сохранение всех запросов в базу данных и провести ручками анализ запросов (для MySQL это "EXPLAIN запрос"). Если вордпресс какой - то почитать в блогах-сайтах мнения про модули, которые у вас установлены и убрать лишние или какой-нибудь WP-SuperCache поставить.

И так далее. Расскажете поподробнее, что там у вас - расскажу поточнее, куда плясать.

Правда про DLE не подскажу ))

Safonkin:
Я не знаю как такие файлы создавать...

Открыть нотепад, вставить строчку, сохранить как ".htaccess"

JohnGonzo:
Специально для тупых(для меня) - что означает 301 редирект?

Что такое 301 редирект: http://yandex.ru/yandsearch?text=301+%D1%80%D0%B5%D0%B4%D0%B8%D1%80%D0%B5%D0%BA%D1%82&lr=213&stpar2=%2Fh1%2Ftm3%2Fs1&stpar4=%2Fs1&stpar1=%2Fu1&stpar3=%2Fk1%2Ftc12%2Fnc1

Safonkin:
elkini, не понял как включить показ ошибок сервера, не дорос ещё...

Ну например в корне сайта положить файл .htaccess (или отредактировать существующий) и дописать там

php_flag display_errors 1
Вот я и подумал - можно ли использовать это для раскрутки сайта на новом хостинге?

Не можно. Поставьте на трехдоменнике 301-й редирект и не майтесь ерундой.

Тогда лучше статьями разбавить, а добавляться только в самые приличные каталоги и ручками, ручками)

Включите показ ошибок, посмотрите, что пишется в лог веб-сервера.

Полезное: http://phpfaq.ru/debug

Лучше купить тематиеских ссылок, а в каталогах регистрироваться, особенно через сервисы регистрации - никакой пользы.

Всего: 139