Erick Flatcher: Кстати. Не будет ли проблем с поисковиками? Все таки разный контент роботу и пользователю получается.
Контент будет одинаковый для пользователя и робота, в зависимости с какого девайса зашёл пользоватеь.
Если правильно определяется смартфон/планшет и дескоп при заходе с них на сайт, то всё будет в поряде. Роботы разные для мобильных и дескоптных вариантов. Сумбурно, но как-то так.:)
Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").
Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.
Примеры:
User-agent: Yandex
Crawl-delay: 2 # задает таймаут в 2 секунды
saintnameless: такой вопрос - есть порядка 3к мусорных страниц на дле - без метатегов, с неуник контентом, они просто парсились и добавлялись на сайт. принял решение их удалить. есть список урлов. можно их как то снести пакетно, может через mysql запрос? и потом проставлю 301 редирект с них на главную.
Удалять нужно через скрипт, не так уж и долго снести 3к. В редактировании новостей есть расширенный поиск, в котором можно задать кол-во выводимых на страницу, укажи там 300 к примеру и за десять заходов будет 3к.
301-й редирект с несуществующих страниц на главную = глупость. ИМХО.
ТС установи сложный пароль и max кол-во авторизаций (три например) и на подбор пароля уйдёт столько лет, сколько не живут.
Сообщения о неудачных попытках авторизаций будут всегда, если такое присходит, т.к. их фиксирует DLE, чтобы их не было нужно IP запрещать на уровне сервера, до DLE.
dpakyj1a: robots – всего лишь рекомендации роботам, то бишь "вот файлик, только Вы уважаемые роботы не трогайте его, не нужен он Вам", а они уже сами решают.
@font-face {
font-family: 'Roboto Regular';
font-style: normal;
font-weight: 400;
src: local('Roboto Regular'), local('Roboto-Regular'),
url(http://example.org/css/fonts/roboto/roboto-regular.eot),
url(http://example.org/css/fonts/roboto/roboto-regular.eot?#iefix) format('embedded-opentype'),
url(http://example.org/css/fonts/roboto/roboto-regular.woff) format('woff'),
url(http://example.org/css/fonts/roboto/roboto-regular.ttf) format('truetype'),
url(http://example.org/css/fonts/roboto/roboto-regular.svg) format('svg');
}
.text {
font-family: 'Roboto Regular', arial;
font-size: XXpx;
}
... в каком хоть направлении двигаться, искать?
Не используйте нестандартные шрифты.
Кстати. Не будет ли проблем с поисковиками? Все таки разный контент роботу и пользователю получается.
Контент будет одинаковый для пользователя и робота, в зависимости с какого девайса зашёл пользоватеь.
Если правильно определяется смартфон/планшет и дескоп при заходе с них на сайт, то всё будет в поряде. Роботы разные для мобильных и дескоптных вариантов. Сумбурно, но как-то так.:)
Что это может быть?
Возможно некорректный код баннера, удали его через phpMyAdmin из таблицы _banners и проверь.
http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#crawl-delay
Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").
Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.
Примеры:
User-agent: Yandex
Crawl-delay: 2 # задает таймаут в 2 секунды
User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды
ТС, а если я из региона решил оформить доставку в Москву?
И ещё такой момент, Билайн (Москва) может выдать как московский, так и питерский динамический IP.
Сегодня у меня Москва, завтра возможно будет Питер.
такой вопрос - есть порядка 3к мусорных страниц на дле - без метатегов, с неуник контентом, они просто парсились и добавлялись на сайт.
принял решение их удалить. есть список урлов.
можно их как то снести пакетно, может через mysql запрос? и потом проставлю 301 редирект с них на главную.
Удалять нужно через скрипт, не так уж и долго снести 3к. В редактировании новостей есть расширенный поиск, в котором можно задать кол-во выводимых на страницу, укажи там 300 к примеру и за десять заходов будет 3к.
301-й редирект с несуществующих страниц на главную = глупость. ИМХО.
ТС установи сложный пароль и max кол-во авторизаций (три например) и на подбор пароля уйдёт столько лет, сколько не живут.
Сообщения о неудачных попытках авторизаций будут всегда, если такое присходит, т.к. их фиксирует DLE, чтобы их не было нужно IP запрещать на уровне сервера, до DLE.
Нажмите редактирование и посмотрите существует ли полная запись, возможно обрезается чисто для визуального просмотра и на самом деле всё в порядке.
robots – всего лишь рекомендации роботам, то бишь "вот файлик, только Вы уважаемые роботы не трогайте его, не нужен он Вам", а они уже сами решают.
Бред не пишите, для всех page достаточно:
Disallow: /page/