vadim_doom: Привет всем! У меня такая история, в начале ноября перехал на новый хост, примерно в тот же день с яндекса вылетело 97% страниц с поиска. До этого сайт индексировался нормально! Может у кого-то было что-то похожее, или кто-то знает причину проишедшего?
Надо смотреть. Ссылку можно?
Может быть что-то при переезде напороли, может быть по времени переезд совпал с АГС-40
Изменялся только IP? Менялись структура? дизайн? движок? ДНС-сервер?
Solmyr: Как угодно можно называть. "маркет", "каталог". Но если под маркетом имеется ввиду сервис яндекса - то он таких вопросов не решает. Из того что есть на рынке сейчас - решают Ebay, Amazon.
Смотря что и как ищется. Ebay, Amazon - это уже магазины,
а Яндекс.Маркет (увы, не весь) по тех.требованиям я выбираю некий товар, а потом смотрю магазины, где он есть
---------- Добавлено 24.11.2013 в 01:39 ----------
oleg_ws:
Flector: и что ваши глупые скрины доказывают?
Не надо своей грубостью пытаться что-то доказывать, грубость и крики используют в основном те, кто не прав
Я так понимаю, некий пользователь, логикой доказать что-то не может, грубостью не получается, так минусовать решил, ай-ай-ай!
Фундаментально то что поисковик ищет страницу. текст-фото-видео.
А надо искать товар с такими условиями, как наличие на складе, доставка в ту или иную страну, совместимость с другими товарам и т.п. Веб поисковик не может это в принципе.
Или например не товар, а специалиста. Сантехника, няню. Но ни в коем случае не страницу.
Товар - это уже маркет, там большинство таких вопросов снято, но там каталог.
Специалиста - это тогда надо скорее всего искать не самих специалистов, а сайты, где идут объявления с такими специалистами, а там уже по внутреннему поиску.
На мой взгляд - вместо единого поисковик или в дополнения к нему нужны какие-то тематические поисковики, что-то совмещенное с каталогами, не в понимании ЯК, а в каком-то другом смысле
Вот прям сейчас я хочу выбрать и купить starter kit модели железной дороги масштаба HO. Найти что-то, нормального производителя и с нормальными условиями доставки через обычный веб-поисковик типа гугла и яндекса совершенно невозможно. Ищу через Ebay и Amazon.
Синоним - это только один из примеров, вернее, там был не синоним, а пример слова со многими значениями
На мой взгляд, то, что сейчас, это технология середины 90-х, когда по фразе робот пытается понять смысл, когда есть многозначное толкование. И все это зашумлено "черным", "серым", "белым", "платным" продвижением.
А должна быть жесткая привязка
- тематика
- регион
- еще что-то
....
Выбор, например как сейчас в меню гугла - фото, видео, русский, нерусский....
Может быть настройка по словам с большим количеством значений.
Disallow. Эта директива используется для запрета от индексирования отдельных разделов сайта
Flector:
а теперь, в духе ваших тролль-сообщений - дайте мне доказательство, что яндекс не только грузит запрещенные к индексации страницы, но и учитывает их в своих алгоритмах и дает за это АГС.
Извнияюсь, то, что Я грузит страницы, я уже доказал
А по остальному - зачем мне доказывать то, что я не утверждал?
Это вы докажите, что я это говорил!
Flector:
все несколько страниц назад этого топика вы уже категорически утверждали - а теперь пытаетесь съехать с темы!
Еще раз внимательно прочитайте, что я утверждал
Flector:
и через пару месяцев загруженных документов станет 0. проверено неоднократно!
Уже несколько лет стоит, только прибавляется!
Flector:
в сотый раз повторяю - если вы облажались и дали яндексу скачать запрещенную к индексации информацию, то выплевывать он ее будет долго! но в конце концов он ее выкинет со своих серверов, даже упоминания о ней в ЯВМ не останется.
Не надо своей грубостью пытаться что-то доказывать, грубость и крики используют в основном те, кто не прав
На счет этих страниц - так и было задумано. Надо было бы спрятать - закрыл бы под 403 код
А так - нельзя выставлять на индексацию такие страницы, так они у меня и закрыт от индексации.
Я выкинет - так уже несколько лет почему-то не выкидывает
а про яндекс - неважно куда там ходит яндекс. важно, что учитываться служебные и запрещенные к индексации страницы не могут. это вообще не имеет никакого ни практического, ни теоретического смысла. зачем алгоритмам яндекса учитывать запрещенные к индексации страницы?
Интересно, а кто вам об этом сказал? Вы можете привести официальную информацию об этом?
Или у вам кто-то сливает инсайдерскую информацию об этом?
в любом случае. есть конкретный сайт, попавший под АГС. вы высказали теорию о том, что он угодил под АГС из-за запрещенных в robots.txt спамных профилей. я же высказал теорию о том, что сайт из 70-и страниц попал под АГС из-за того, что половина страниц банальный копипаст.
Не надо приписывать мне то, что я не говорил.
1) АГС накладывается не по одному какому-то признаку, а по совокупности.
2) закрытость страниц в robots.txt это только закрытость от индексации, но не для загрузки и анализа, то что загружается, видно из логов и отчетов на ВМ - я предпочитаю информацию по профилям закрывать по 403 коду.
3) наличие спамных профилей - это признак того, что спам не чистится - один из многих факторов
4) где информация о том, когда профили поместили в роботс изначально? Их могли закрыть вчера, позавчера, до АГС (но после пометки где-то в базе о наличии такого признакоа), после АГС
Flector:
моя теория намного правдоподобнее вашей. однако вы уперлись и начали тут гнать про то, что яндекс ходит по всем страницам сайта и что самое важное - учитывает их. а это, простите, уже бред полнейший.
Где я говорил, что они учитываются в поиске? То, что их учитывает в отчете ВМ - представил доказательства
P.S. А вы логи от Апача по 20 сайтам смотрели, что бы говорить о том, что робот там не ходит?
По вашему скрину как раз и видно, что закрытые страницы у вас грузятся, а потом исключаются из поиска
HTTP-статус: Ресурс не найден (404) - 1 скрин
Документ запрещен в файле robots.txt - 2 скрин
Неверный формат документа - 3 скрин
Там, где 404 ошибка, были страницы? Они вообще удалены? Изменена адресация?
По срокам когда удалялись?
Еще в вебмастере яндекса есть такие детали, может они к этому как то причастны?
Если кликнуть на эти строчки, то что показывает?
Привет всем!
У меня такая история, в начале ноября перехал на новый хост, примерно в тот же день с яндекса вылетело 97% страниц с поиска.
До этого сайт индексировался нормально!
Может у кого-то было что-то похожее, или кто-то знает причину проишедшего?
Надо смотреть. Ссылку можно?
Может быть что-то при переезде напороли, может быть по времени переезд совпал с АГС-40
Изменялся только IP? Менялись структура? дизайн? движок? ДНС-сервер?
Как угодно можно называть. "маркет", "каталог".
Но если под маркетом имеется ввиду сервис яндекса - то он таких вопросов не решает. Из того что есть на рынке сейчас - решают Ebay, Amazon.
Смотря что и как ищется. Ebay, Amazon - это уже магазины,
а Яндекс.Маркет (увы, не весь) по тех.требованиям я выбираю некий товар, а потом смотрю магазины, где он есть
---------- Добавлено 24.11.2013 в 01:39 ----------
и что ваши глупые скрины доказывают?
Не надо своей грубостью пытаться что-то доказывать, грубость и крики используют в основном те, кто не прав
Я так понимаю, некий пользователь, логикой доказать что-то не может, грубостью не получается, так минусовать решил, ай-ай-ай!
Мне кажется, это все только костыли.
Фундаментально то что поисковик ищет страницу. текст-фото-видео.
А надо искать товар с такими условиями, как наличие на складе, доставка в ту или иную страну, совместимость с другими товарам и т.п. Веб поисковик не может это в принципе.
Или например не товар, а специалиста. Сантехника, няню. Но ни в коем случае не страницу.
Товар - это уже маркет, там большинство таких вопросов снято, но там каталог.
Специалиста - это тогда надо скорее всего искать не самих специалистов, а сайты, где идут объявления с такими специалистами, а там уже по внутреннему поиску.
На мой взгляд - вместо единого поисковик или в дополнения к нему нужны какие-то тематические поисковики, что-то совмещенное с каталогами, не в понимании ЯК, а в каком-то другом смысле
И дело совсем не только в синонимах.
Вот прям сейчас я хочу выбрать и купить starter kit модели железной дороги масштаба HO. Найти что-то, нормального производителя и с нормальными условиями доставки через обычный веб-поисковик типа гугла и яндекса совершенно невозможно. Ищу через Ebay и Amazon.
Синоним - это только один из примеров, вернее, там был не синоним, а пример слова со многими значениями
На мой взгляд, то, что сейчас, это технология середины 90-х, когда по фразе робот пытается понять смысл, когда есть многозначное толкование. И все это зашумлено "черным", "серым", "белым", "платным" продвижением.
А должна быть жесткая привязка
- тематика
- регион
- еще что-то
....
Выбор, например как сейчас в меню гугла - фото, видео, русский, нерусский....
Может быть настройка по словам с большим количеством значений.
да вы задолбали уже троллить!
Интересно, а кто кого тролит?
http://help.yandex.ru/webmaster/recommendations/indexing.xml
Disallow. Эта директива используется для запрета от индексирования отдельных разделов сайта
а теперь, в духе ваших тролль-сообщений - дайте мне доказательство, что яндекс не только грузит запрещенные к индексации страницы, но и учитывает их в своих алгоритмах и дает за это АГС.
Извнияюсь, то, что Я грузит страницы, я уже доказал
А по остальному - зачем мне доказывать то, что я не утверждал?
Это вы докажите, что я это говорил!
все несколько страниц назад этого топика вы уже категорически утверждали - а теперь пытаетесь съехать с темы!
Еще раз внимательно прочитайте, что я утверждал
и через пару месяцев загруженных документов станет 0.
проверено неоднократно!
Уже несколько лет стоит, только прибавляется!
в сотый раз повторяю - если вы облажались и дали яндексу скачать запрещенную к индексации информацию, то выплевывать он ее будет долго!
но в конце концов он ее выкинет со своих серверов, даже упоминания о ней в ЯВМ не останется.
Не надо своей грубостью пытаться что-то доказывать, грубость и крики используют в основном те, кто не прав
На счет этих страниц - так и было задумано. Надо было бы спрятать - закрыл бы под 403 код
А так - нельзя выставлять на индексацию такие страницы, так они у меня и закрыт от индексации.
Я выкинет - так уже несколько лет почему-то не выкидывает
Кстати, еще как учитывают страницы в роботс
а про яндекс - неважно куда там ходит яндекс. важно, что учитываться служебные и запрещенные к индексации страницы не могут. это вообще не имеет никакого ни практического, ни теоретического смысла. зачем алгоритмам яндекса учитывать запрещенные к индексации страницы?
Интересно, а кто вам об этом сказал? Вы можете привести официальную информацию об этом?
Или у вам кто-то сливает инсайдерскую информацию об этом?
в любом случае. есть конкретный сайт, попавший под АГС. вы высказали теорию о том, что он угодил под АГС из-за запрещенных в robots.txt спамных профилей. я же высказал теорию о том, что сайт из 70-и страниц попал под АГС из-за того, что половина страниц банальный копипаст.
Не надо приписывать мне то, что я не говорил.
1) АГС накладывается не по одному какому-то признаку, а по совокупности.
2) закрытость страниц в robots.txt это только закрытость от индексации, но не для загрузки и анализа, то что загружается, видно из логов и отчетов на ВМ - я предпочитаю информацию по профилям закрывать по 403 коду.
3) наличие спамных профилей - это признак того, что спам не чистится - один из многих факторов
4) где информация о том, когда профили поместили в роботс изначально? Их могли закрыть вчера, позавчера, до АГС (но после пометки где-то в базе о наличии такого признакоа), после АГС
моя теория намного правдоподобнее вашей. однако вы уперлись и начали тут гнать про то, что яндекс ходит по всем страницам сайта и что самое важное - учитывает их. а это, простите, уже бред полнейший.
Где я говорил, что они учитываются в поиске? То, что их учитывает в отчете ВМ - представил доказательства
P.S. А вы логи от Апача по 20 сайтам смотрели, что бы говорить о том, что робот там не ходит?
По вашему скрину как раз и видно, что закрытые страницы у вас грузятся, а потом исключаются из поиска