ewg: У меня этот поиск вторую неделю никак не может индексацию завершить... База уже больше 3Гб и конца пока не видно. Интересно, она в итоге будет такого же размера, как и вся остальная информация на винте? ;)
Это не показатель, я на принудительную ставлю уже третью неделю - и конца не видно. Да еще при принудительной через каждые час полтора, оно вылетает по ошибке критической, и снова нужно запускать. Интересно вот, а после вылетов, оно сохраняет что до вылета наиндексил, или я по кругу гоняю уже третью неделю? Как то я не допер засеч размер индексной базы. :)
Moonrainbow: Есть интересная статья на эту тему, почитайте, коли будет время
http://lasto.com/blog/post_1172846331.html
Вы вот привели цитату моего поста, а сам пост прочитать удосужились? Там черным по белому написано - в Гугле сайт ведет себя как положено - всегда как был в топе так и держится без всяких скачков.
Только Яндекс издевается над ним.
А вы статью даете мне про гугл, поведение которого нормально поддается анализу, в отличие от яндекса.
Dybra: Вполне может быть, что клеются однотипные или похожие страницы. Посколько слабо верится что 40к страниц сильно уникальны.
Нет, не клеются. Это справочник, и каждая страница содержит описание одной уникальной записи. Так что одинаковых страниц нет в принципе.
Но решение похоже уже озвучили здесь и не раз - новый сайт пока не обложен фильтрами и стартует с высоких позиций, а потом накладываются стандартные фильтры и сайт падает на то место, сколько сумел удержать контингента плюс внешние ссылки. Так как динамики на сайте нет, то больше никаких плюсов он получить не может.
ПОка у меня лежали иконки в подкаталоге images/ (соответственно во всех файлах путь был туда указан) то они не появлялись. Как только переложил в корень сразу появились.
Кстати, кто нить пробовал скормить иконку выше 24bit цветности? Где то я видел, что только до 24 можно.
wolf: Нет, он его прекрасно находит. Но не находит закрывающий для него внутри той же таблицы. Но т.к. открывающий находится внутри таблицы, но и действие его распространяется только на таблицу. А вот если открывающий будет вне, а закрывающий внутри таблицы - тогда "ой".
А-а, так конечно есть шанс выскочить на весь текст. Но Вы то привели структуру в уоторой открывающий тоже внутри таблицы, поэтому она и не отличается от моей, и мне не было понятно что имелось ввиду.
Вообще в Яндексе как я понял без бубна делать нечего после их последних нововведений. Никто не сможет теперь предсказать как повлияет то или иное нововведение на наши сайты.
У меня в прошлом месяце сайт платный из каталога пропал ни с того, ни с сего. Я быстро в поддержку - сразу вернули назад. В общем теперь нужно просто молиться на мослах, чтобы робот ничего не придумал на твоем сайте когда приходит.
Да смешно это все. Всем поисковым машинам нужно просто ручной фильтр ставить друг на друга. Зачем забивать ерундой выдачу? Народ сам разберется где ему искать.
wolf: Разница в том, куда распространяется действие открывающего тега, к которому парсер не сможет найти закрывающий ;)
В принципе, как я понял, для моей структуры парсер не находит именно открывающий тэг? Если так, то почему он исключает текст между noindex-ами из индекса? Непонятно как то мне. Если Ваше утверждение верно, то конечно приведенная вами структура должна убить весь текст после открывающего тэга. Надо испытать на сателите каком нить.
Узнаете много нового. В том числе и о себе от владельца сайта 😂
А какая разница? Та структура что я привел, также не допустима по DOM, что и эта. Если парсер соблюдает принцип DOM то он должен не верно обработать оба варианта, но мой вариант работает правильно для роботов (только текст между noindex-ами исключается), значит и этот вариант должен работать для роботов.
У меня этот поиск вторую неделю никак не может индексацию завершить... База уже больше 3Гб и конца пока не видно. Интересно, она в итоге будет такого же размера, как и вся остальная информация на винте? ;)
Это не показатель, я на принудительную ставлю уже третью неделю - и конца не видно. Да еще при принудительной через каждые час полтора, оно вылетает по ошибке критической, и снова нужно запускать. Интересно вот, а после вылетов, оно сохраняет что до вылета наиндексил, или я по кругу гоняю уже третью неделю? Как то я не допер засеч размер индексной базы. :)
Есть интересная статья на эту тему, почитайте, коли будет время
Вы вот привели цитату моего поста, а сам пост прочитать удосужились? Там черным по белому написано - в Гугле сайт ведет себя как положено - всегда как был в топе так и держится без всяких скачков.
Только Яндекс издевается над ним.
А вы статью даете мне про гугл, поведение которого нормально поддается анализу, в отличие от яндекса.
Вполне может быть, что клеются однотипные или похожие страницы. Посколько слабо верится что 40к страниц сильно уникальны.
Нет, не клеются. Это справочник, и каждая страница содержит описание одной уникальной записи. Так что одинаковых страниц нет в принципе.
Но решение похоже уже озвучили здесь и не раз - новый сайт пока не обложен фильтрами и стартует с высоких позиций, а потом накладываются стандартные фильтры и сайт падает на то место, сколько сумел удержать контингента плюс внешние ссылки. Так как динамики на сайте нет, то больше никаких плюсов он получить не может.
ПОка у меня лежали иконки в подкаталоге images/ (соответственно во всех файлах путь был туда указан) то они не появлялись. Как только переложил в корень сразу появились.
Кстати, кто нить пробовал скормить иконку выше 24bit цветности? Где то я видел, что только до 24 можно.
Нет, он его прекрасно находит. Но не находит закрывающий для него внутри той же таблицы. Но т.к. открывающий находится внутри таблицы, но и действие его распространяется только на таблицу. А вот если открывающий будет вне, а закрывающий внутри таблицы - тогда "ой".
А-а, так конечно есть шанс выскочить на весь текст. Но Вы то привели структуру в уоторой открывающий тоже внутри таблицы, поэтому она и не отличается от моей, и мне не было понятно что имелось ввиду.
Конечно если написать так:
то алес - прощай страница.
Вообще в Яндексе как я понял без бубна делать нечего после их последних нововведений. Никто не сможет теперь предсказать как повлияет то или иное нововведение на наши сайты.
У меня в прошлом месяце сайт платный из каталога пропал ни с того, ни с сего. Я быстро в поддержку - сразу вернули назад. В общем теперь нужно просто молиться на мослах, чтобы робот ничего не придумал на твоем сайте когда приходит.
Да смешно это все. Всем поисковым машинам нужно просто ручной фильтр ставить друг на друга. Зачем забивать ерундой выдачу? Народ сам разберется где ему искать.
Моя парсилка работает медленно, но надежно, так что статистику всегда собираю по тысячам запросов :)
Во во. Моя тоже полностью эмулирует юзера, пока на капчу не натыкалась.
Разница в том, куда распространяется действие открывающего тега, к которому парсер не сможет найти закрывающий ;)
В принципе, как я понял, для моей структуры парсер не находит именно открывающий тэг? Если так, то почему он исключает текст между noindex-ами из индекса? Непонятно как то мне. Если Ваше утверждение верно, то конечно приведенная вами структура должна убить весь текст после открывающего тэга. Надо испытать на сателите каком нить.
XPraptor, а Вы попробуйте сделать так:
Узнаете много нового. В том числе и о себе от владельца сайта 😂
А какая разница? Та структура что я привел, также не допустима по DOM, что и эта. Если парсер соблюдает принцип DOM то он должен не верно обработать оба варианта, но мой вариант работает правильно для роботов (только текст между noindex-ами исключается), значит и этот вариант должен работать для роботов.