- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Решил создать отдельную тему о своей проблеме...
Имеем сайт-форум: http://yarportal.ru
Мод-рерайт: html-странички везде
robots.txt такой...
User-agent: *
Disallow: /index.php
Disallow: /index.html
Disallow: /?
Host: yarportal.ru
Проблема: 50000 страниц ушли из индекса в конце октября.
Ныне имеем в индексе около 44 страниц.
http://www.yandex.ru/yandsearch?&p=6&serverurl=yarportal.ru
цифра, бывало, колебалась...
Сервис "мои сайты".
Общая информация
Дата последнего обращения робота к сайту: 17 ноября 2007, 08:10
Число загруженных страниц: 279519
ошибка
HTTP-статус: Ресурс временно перемещён (302) 83746
там все в таком духе:
Дата первого посещения Дата последнего посещения
/topic100.html?view=new 17.07.2007 9.11.2007
/topic100.html?view=old 17.07.2007 9.11.2007
/topic10002.html?view=getlastpost 9.08.2007 18.10.2007
/topic10005.html?view=getlastpost 16.08.2007 13.11.2007
/topic10007.html?view=new 12.08.2007 16.11.2007
/topic10007.html?view=old 12.08.2007 16.11.2007
/topic10009.html?view=getlastpost 8.08.2007 17.11.2007
/topic10012.html?view=new 15.08.2007 10.10.2007
/topic10012.html?view=old 15.08.2007 10.10.2007
/topic10017.html?view=new 15.08.2007 21.10.2007
/topic10017.html?view=old 15.08.2007 21.10.2007
/topic10023.html?view=getnewpost 3.07.2007 17.10.2007
/topic10023.html?view=new 3.07.2007 10.10.2007
/topic10023.html?view=old 3.07.2007 10.10.2007
/topic10025.html?view=getlastpost 7.08.2007 18.10.2007
Документ запрещен в файле robots.txt 119241
примерно все так выглядит.....
Дата первого посещения Дата последнего посещения
/?s=2011f7b85428d218...Print&client=choose&f=16&t=2657 19.06.2007
/?s=2a9f640bde7fae9d...8ab8d7e4b00a106e&showtopic=3353 24.09.2007
/?s=40b6d3876aa689a6...1776ba&showtopic=4851&st=90&hl= 2.04.2007
/?showforum=9 13.11.2006
/?s=5333108364d29d0d...1282f97f9825438f&showtopic=5948 27.02.2007
/?s=641b38ef5557cbfc...7db15ffd3d688&act=ST&f=4&t=5664 30.03.2007
/?s=80a853a54c50891d...76f4a4477e&showtopic=4851&st=90 2.04.2007
/?s=85acce8bb4dc6b20...bb49ba267e57d060&showtopic=5328 28.02.2007
/?s=8f8ad0c111001442...Print&client=choose&f=26&t=1955 9.03.2007
Структура сайта
Имя Загружено страниц Доля (%)
yarportal.ru/ 279519 100,0
index.html? 119021 42,5
- CODE=00& 6812 2,4
--act=Forward& 25986 9,2
--act=Print& 51972 18,5
---act=Track& 26078 9,3
----f=26& 2919 1,0
Стуктуру сайта не понял...
index.hmtl у меня в роботсе вообще запрещено к индексированию....
-------------
Есть какие-нибудь мысли по лечению пациента?
Платон в первый раз ответил... "разберемся"...
второй раз.... что "найдены страницы, на которых установлены ссылки на ресурсы, раскручиваемые с помощью ссылочного спама"... ничем таким не балуюсь...
Можно ли доверять Платону? действительно так и есть? или возможен какой-то глюк?
Думал над этой проблемой, чесно раньше не сталкивался, я бы писал письма Платону...
Вот как яндекс понять?
http://www.yandex.ru/yandsearch?&p=7&text=%D1%8F%D1%80%D0%BF%D0%BE%D1%80%D1%82%D0%B0%D0%BB&pag=u&surl=yarportal.ru&
все как положено....
Результат поиска: страниц — 50 714
Область поиска: сайт — yarportal.ru
а нормальным запросов если проверить
http://www.yandex.ru/yandsearch?&p=4&serverurl=yarportal.ru
Результат поиска: страниц — 44
Область поиска: сайт — yarportal.ru
Причем трафик с яндекса идет блин на эти 44 страницы всего лишь, а не на 50000 ))
У меня, кстати сказать, тоже выпал специализированный форум с уникальным контентом - это реальный форум, в котором люди пишут. Вчера в общем индексе сайта было 30000 страниц, а сегодня - 9000. Пока траф не упал, но складывается впечатление, что Я теперь форумы будет дозированно вводить в индекс.
А что за форумы у вас? Какие движки? Просто надо выяснить, каким образом бот яндекса отличает форум от сайта, и маскировать форум под сайт.
Псих, спасибо:), но я это понимаю, просто движок старинный уникальный на перле -легче новый форум завести... Хотя жаль(:
Если он уникальный, то как же яндекс узнал что это форум? Есть какие-нибудь соображения/догадки? Я думаю, что он определяет, что это форум по ключевым словам в адресной строке:
topic
forum
итд.
конечно:) Но изменить их теперь очень сложно ввиду слишком хитрого устройства движка. Не спорю, можно, но для меня это уж очень заморочечено. Тем более, что сайт и форум некоммерческие...
http://www.yandex.ru/yandsearch?serverurl=www.yarportal.ru
1) Директива Host еще не сработала.
2) во втором блоке видно, что в URL идентификаторы сессий (были раньше), вот эти страницы и вылетели.
3) На несуществующие страницы надо выдавать 404 либо 301, но никак не 200.
http://yarportal.ru/forum15346346.html
Что такое директива Host?
>>>>>1) Директива Host еще не сработала
так да.. а почему спрашивается... она не срабатывает..
если три года работала нормально...
как этот глюк объяснить.. почему индексируется с www ?
это наверное даже Платону не известно....
>>>>>2) во втором блоке видно, что в URL идентификаторы сессий (были раньше), вот эти страницы и вылетели.
с идентификаторами сессий не вожусь уже год, как перешел с динамических адресов на статические...
и опять же весь год все работало отлично...
у меня в индексе было 50000 статических html-страниц с реальными темами (обычный средний по размерам форум)...
>>>>>>>3) На несуществующие страницы надо выдавать 404 либо 301, но никак не 200.
http://yarportal.ru/forum15346346.html
404 и выдается на большинство страниц... http://yarportal.ru/sdfsdfsdfsd.html
да если была тема... а потом ее удалили.... то движок форума выдаст... тема не существует с кодом 200...
а яндекс ее уже успел проиндексировать... уж не знаю как... но подобных пустых страниц в индексе яндекса никогда не наблюдалось.... да и процент таких удаленных тем крайне минимален....
вы думаете, в этом возможна проблема моих неприятностей?