- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
За последние недели в этом разделе неоднократно поднимался вопрос о непонятном игнорировании Яндексом индексации форумов (либо о слишком вялом протекании данного процесса), размещенных в подразделах сайта, i.e. "/forum/" и т.п.
Я пару раз даже успел поучаствовать в обсуждениях, поскольку также столкнулся с этой напастью в начале ноября.
Попытки самостоятельно разобраться с данным вопросом были тщетны. Для приличия написал Платонам пару раз, не получив ни одного ответа.
Но, похоже, ответ нашелся сам собой :p Поэтому спешу рассказать вам настоящую Быль (время, с точностью до секунд, и журналы сервера сохранены для Мемуаров):
Надумал я поставить один из "капризных" бета-Хаков под Воблу (vBulletin), как раз на том самом "проклятом Яндексом" форуме. Изучая отзывы уже установивших его, нашел настойчивые указания перенести форум в корень домена. Чем, собственно, сегодня с утра пораньше и занялся. Домены под это дело были прописаны заранее, поэтому решил сделать все и сразу.
Сижу, значит, конфиги Апача правлю, а в других терминалах логи мониторю, чтобы подловить момент для рестарта Апача, когда у Yandex.I наступит "менопауза" (он в 6 утра любит индексировать все подряд ). Пока ждал, успел поправить ссылки в шаблонах header'ов на новую "постоянную прописку", в том числе и на основном сайте.
Не прошло и несколких минут после рестарта, как откуда ни возьмись уже в логах нового домена появляется ... нет, не Яндекс, а "Yahoo! Slurp" ;) И сжирает robots.txt в оригинальном на тот момент состоянии (неведомом даже мне, поскольку я еще не успел до robots добраться). Ну, думаю, непорядок. Бросаю все дела, и начинаю переписывать robots'ов для основного и нового домена. Так как в Яндексе форума все равно не было, в секции Yandex пишу Disallow: /forums/ , убираю все лишнее, и сохраняюсь.
Не успел я толком взяться за второй robots, как (что выяснилось чуть позже) Яндекс схавал только что сохраненную версию:
Через минуту мне тоже приспичило что-то посмотреть в терминале, и я тут же попал на ситуацию _РЖУНИМАГУ_!!! :bl: :
Естественно, это были посты форума, который отказывался индексироваться в течение полутора месяцев. Но ровно до того момента, как, персонально для Яндекса, на них не был прописан Disallow!!!
Посмотрел, что это за посты - они были оставлены 15.12.2006, то есть их ветки уже ушли с первых позиций немного в глубину. Но Яндекс прекрасно знал о них, когда они были еще в топах форума (и ретранслировались через ротатор на основной сайт).
Резюме (не очень веселое):
1). Для некоторых ресурсов контент, размещенный по пути, начинающегося с '/forum', искусственно зафильтрован для индексации Службой Поиска Яндекса. Контора по данному вопросу справок не дает. Не исключаю, что это какая-то ошибка алгоритма, так как моментальная реакция Yandex.I может быть и результатом логической операции НЕ(НЕ)=ДА.
2а). Если это не глюк, то какого лешего, после запрещения к индексации разделов, робот Yandex.I забирает информацию "для статистики" из скрываемой от него части, вопреки явным инструкциям robots.txt ... что "и нелогично, и незаконно". Может, как раз там у меня хранятся "ключи от квартиры, где деньги лежат", и в индексе (даже "теневом") им делать абсолютно нечего.
2б). Если это глюк, то можно хотя бы бесплатным бета-тестерам ПС Яндекс, стать которыми невольно пришлось большинству из присутствующих на СЕ, отовариваться у армии Платонов "вне очереди". Готов даже заключить соглашение с Яндексом о неразглашении коммерческой тайны. :smoke:
HoSStiA,
Пео резюме и своему опыту.
1. Фильтрации форумов не видел, у себя конечно. Но, чисто теоритически, могу сказать, когда яша форумы будет рубить на корню.
- если форум активно использует куки или SessionID (что очнеь любит пхп). Т.е. все то, что не позволяет определить уникальный урл для каждой страницы(сообщения). Обратите вниманеи что очень много в яшином серпе страниц с форума в виде "показать сообщение на отдельной странице".(конечно и релевантность такой странички выше. она чище от мусора - но думаю здесь еще что-то). Яша нелюбит когда один и тотже контент "перетекает" с одного урла на другой.
- robots.txt - не правило, а рекомендации. Кто сказал что яша его бесприкословно исполняет?
Может, как раз там у меня хранятся "ключи от квартиры, где деньги лежат", и в индексе (даже "теневом") им делать абсолютно нечего.
Все что есть в свободном доступе - уже не может иметь "ограниченного распростронения". Для этого существуют СОД.
Мне кажется что боты всегда активизируются на сайтах, которые на время были недоступны (timeout). Некоторыне платфомы используют авторестарты каждый 8-12-24-36 часов с остановкой на 10-30 секунд. =))
- robots.txt - не правило, а рекомендации. Кто сказал что яша его бесприкословно исполняет?
В этом-то как раз и главный прикол ;)
Пока были рекомендации индексировать "и мытьем, и катаньем": куча внутренних сквозняков на обновленные посты, непрерывное нарастание естественных кросс-форумных ссылок (мы же не одиноки во Вселенной) - Яндекс, в силу неведомых соображений, не делал этого.
Но, как только была получена рекомендация не индексировать, процесс пошел ровно через 1 минуту после "красного сигнала сфетофора", который несколько лет до этого всегда светил зеленым светом. Следовательно, включился какой-то внутренний алгоритм, задача которого - зафиксировать контент, который может быть в ближайшее время удален? ;)
Иной причины "делать все наоборот" на ум не приходит (в случае, если алгоритмической ошибки не существует).
Мне кажется что боты всегда активизируются на сайтах, которые на время были недоступны (timeout). Некоторыне платфомы используют авторестарты каждый 8-12-24-36 часов с остановкой на 10-30 секунд. =))
T.R.O.N, есть такое (особенно, если сайт в ЯКе), но к этой теме отношения не имеет абсолютно никакого.
- если форум активно использует куки или SessionID (что очнеь любит пхп). Т.е. все то, что не позволяет определить уникальный урл для каждой страницы(сообщения).
SessonID в URL для поисковиков оставляют сам знаешь кто =)
А в куках ничего предосудительного не вижу - их от Яндекса никто не скрывает, просто они ему самому не нужны.
Обратите вниманеи что очень много в яшином серпе страниц с форума в виде "показать сообщение на отдельной странице".(конечно и релевантность такой странички выше. она чище от мусора - но думаю здесь еще что-то). Яша нелюбит когда один и тотже контент "перетекает" с одного урла на другой.
Google отчасти решил эту проблему посредством SiteMaps. Яндексу никто палок в колеса не ставит, чтобы содрать это готовое решение. Дубликаты в индексе не нужны и самим владельцам форумов. А страницы showpost.php можно и в robots.txt запрещать, оставляя только showthread.php.
Пока были рекомендации индексировать "и мытьем, и катаньем": куча внутренних сквозняков на обновленные посты, непрерывное нарастание естественных кросс-форумных ссылок (мы же не одиноки во Вселенной) - Яндекс, в силу неведомых соображений, не делал этого.
Но, как только была получена рекомендация не индексировать, процесс пошел ровно через 1 минуту после "красного сигнала сфетофора", который несколько лет до этого всегда светил зеленым светом. Следовательно, включился какой-то внутренний алгоритм, задача которого - зафиксировать контент, который может быть в ближайшее время удален?
Иной причины "делать все наоборот" на ум не приходит (в случае, если алгоритмической ошибки не существует).
Да, очень забавное совпадение. Просто очередь уже была сформирована.
Да, очень забавное совпадение. Просто очередь уже была сформирована.
То, что очередь была сформирована - даже не сомневаюсь, и что тоже отметил, когда стартовал топик:
Посмотрел, что это за посты - они были оставлены 15.12.2006, то есть их ветки уже ушли с первых позиций немного в глубину. Но Яндекс прекрасно знал о них, когда они были еще в топах форума (и ретранслировались через ротатор на основной сайт).
А очередь формируется, подчиняясь одним и тем же законам. За этот период проиндексировалось >13000 страниц основного сайта, в т.ч. и страницы с большей глубиной вложенности ... но только не форум. ;)
Я верю в забавные совпадения, но налицо и незабавные совпадения, и не только у меня.
То, что очередь была сформирована - даже не сомневаюсь, и что тоже отметил, когда стартовал топик:
Я про robots.txt
А очередь формируется, подчиняясь одним и тем же законам. За этот период проиндексировалось >13000 страниц основного сайта, в т.ч. и страницы с большей глубиной вложенности ... но только не форум. ;)
Я верю в забавные совпадения, но налицо и незабавные совпадения, и не только у меня.
А здесь как раз все понятно.
Я про robots.txt
BigBrother, а как инструкцию к действиям подобный нюанс можно рассматривать?
То есть, чтобы не беспокоить лишний раз Службу Поддержки, загонять на несколько неиндексируемый раздел в Disallow: /неиндексируемый_раздел/, после чего открывать к индексации заново.
Предпосылка такая: очередь формировалась по одному и тому же принципу, и уже сегодня, на новом поддомене форума, робот "забрал" главную и 49 постов. В основном с номерами бОльшими, чем в вышеприведенной выдержке из лога.
Сейчас уже не буду экспериментировать, но, похоже, было достаточно сбросить "застопорившуюся" очередь по определенному пути, чтобы индексация наладилась.
P.S.: пришедший сегодня ответ на Ticket#2006112910008924 (к проблеме с форумом не относится - в нем были просто пожелания) относится к забавным совпадениям? ;)
Три недели все-таки прошло, я уже успел забыть о содержимом.
Прочитал тему на одном дыхании, потому что интуитивно чувствую, что здесь что-то не то. Просьба, ваше мнение по этой моей теме - как один из способов решения проблемы?
/ru/forum/101937
И еще - неделю назад по моему форуму усиленно топтался яша, а вчера он вовсе пропал из индекса. Что ему надо? Что-бы такое предпринять?
Да, очень забавное совпадение. Просто очередь уже была сформирована.
Но ведь всё равно как-то невежливо забирать запрещенные текущей версией роботса документы, не правда ли? И неужели "уже сформированная очередь" может быть достаточным оправданием невежливости робота?
Яндекс, баня айпишники за автоматическое обращение к своей выдаче, ведь как-то не допускает, что очередь семонитора "уже была сформирована". 😂
Двойные стандарты, однако... ;) Ну, да дело не столько в этом. Дело в том, что индексирующий робот Яндекса оказывается в ряде случаев невежливым роботом. Что, согласитесь, как-то некошерно... В лидере рынка поиска должно быть всё прекрасно... :)
неделю назад по моему форуму усиленно топтался яша, а вчера он вовсе пропал из индекса. Что ему надо? Что-бы такое предпринять?
1. Убрать помойку http://1-links.soft.1-info.ru/index.php_ и аналогичные (если есть)
2. Написать Платонам челобитную.
3. Ждать выхода домена и поддоменов из бана.
1. Убрать помойку http://1-links.soft.1-info.ru/index.php_ и аналогичные (если есть)
2. Написать Платонам челобитную.
3. Ждать выхода домена и поддоменов из бана.
Помойка находится на другом домене. Разве может 1-links.soft.1-info.ru как то влиять на club.1-info.ru? Тогда все домены провайдеров, которые предлагают сайты на поддоменах своего домена должны быть давно забанены? Или я не прав?
С какого может быть этот бан вообще - там нет ни одного малейшего нарушения их правил? Мне кажется история имеет прямое отношение к к этому топику?
Очень любопытно мнение специалистов.
Кстати - про помойки. У меня есть наипомоечнейшая помойка, которую я специально развел http://vobla.net/ - в самом низу главной страницы
Кстати пользуется редкой популярностью и добавляют в день по 10-20 ссылок через автоформу сами.
Наберите в яндексе "наша рыбка". И в тексте и в картинках - и чер-те как. Чего это безобразие никто не банит?