если быстробот выкинул страницу раньше, чем стандартные 3 дня - значит сайт/дор плохой и яндекс просек это.
причины: низкое качество контента, назойливая реклама, вирусы, тизеры и т.п.
1) Переработан парсинг ключевиков:
Для русского языка парсится: yandex.ru, nigma.ru, mail.ru.
Для нерусских языков: google.com, yahoo.com, ask.com.
Язык дорвея настраивается в конфиге. Английский язык теперь парсится отлично.
2) При кешировании контента - файлы кеша страниц склыдываются по подпапкам,
а не в одну директорию, потому теперь можно и 100500 страниц на дор, тормозить не будет.
3) Картинки парсятся не только с твиттера, но и из бинга.
4) Добавлен конфиг для всяких настроек (язык, количество и размер фоток и т.п.).
5) Добавлен новый макрос "описание страницы" для meta description.
6) Ключевики, страницы которых "появились" на доре - записываются в файл.
Из них генерируется XML карта сайта. Но если там будет 100500
строк, то сервер может в некоторый момент и не открыть файл изза ограничений на RAM.
7) Можно юзать не только автопарсинг ключевиков, но и использовать свои заранее имеющиеся ключевики.
8) Источник контента не только снипеты бинга, но и парсинг контента с сайтов через RCA Яндекса.
Скорость первой генерации страницы сильно замедляется, но и качество контента выше.
9) Черный список стоп слов. Если ключевик/фраза (урл страницы) содержит одно из стоп слов -
будет редирект на главную страницу, чтобы на доре не появилось запрещенного контента.
Список "плохих" слов с дором не поставляется, каждый сам решит какие слова считать плохими для своих доров.
сервис не работает вообще. откуда там боты придут, если их никто не приводит.
Хорошо жить на неруси.
Ну чтото уже значит залито. Ищите дырку и залитые вредоносные скрипты. Ну и серверное ПО обновите.
делайте редирект с HTTP на HTTPS.
Это сильно плохая идея. Кому надо - найдет урл вашего видео все равно.
А поисковики (яндекс скорее всего, и возможно и гугл), и как уже проверили и антивирусы на такое ругаться будут. И потом вам придется всем им постоянно доказывать что это не вирусы.
брать за основу бутстрап.
Рсинк рулит. У меня так конфиги днс на 4 сервера синхронизируются (многотыщ мелких файлов), стабильно и надежно. Нфс надежность убьет очень сильно.
remizov, какой рост евро? Не надо ему расти, он должен падать, а бакс крепчать :)
