Добавлен парсинг выдачи Bing'a.
В качестве теста, 945 ключа парсились 30 минут. Через каждые 50 запросов тайм-аут 20 секунд. Использован сторонний скрипт, из текстовки выкидывается ключ, чтобы не было переспама. Берутся только сниппеты, ссылки не включаются.
Это включение только лишь для расширения функционала. Моё мнение, что с текстовкой с Яндекс.XML у сайтов больше перспектив, т.к. текст более релевантный и состоит из целых предложений.
В очереди еще несколько добавлений и правок, потому рассылка обновлений будет в конце недели.
Встречный вопрос: на ранжирование влияют only текстовые и ссылочные моменты, либо имеет значение внутренняя оптимизация? В данном случае под внутренней подразумеваю скорость сайта, микроразметка и т.п.
Как вы считаете, отдача заголовков является положительным фактором в ранжировании? Или это очень незначительный фактор, чтобы им пренебречь в озвученном масштабе?
Ladycharm, вопрос был не к вам.
За развернутый ответ благодарю.
Актуально.
Расскажите нам, зачем нужна отдача заголовка?
Конкретно этим не стоит, раз не выходит. В целом, тема хорошая: бот идет по страницам и не затрачивает лишние ресурсы на переиндексацию страниц без обновления.
Если у тебя меняются только цены на товарах, то не заморачивайся. Хотя, с другой стороны, в глазах пса поднимается частота обновления материалов на сайте. Но это так, НАВЕРНО. Мы же тут, по-большей части, гадалки, доступа к 100% инфе нет.
Приведу тебе в пример html-код по стандарту. Как бы нафиг не нужен, браузер и так поймет, робот тоже. Тем не менее, считается обязательным пунктом в листе серьезной внутренней оптимизации.
Возвращаясь к заголовкам, тут еще момент юзабилити. Отдавая в браузер no-modified, скорость загрузки за счет кеша бразура увеличивается. Но у тебя наверняка найдутся более приоритетные задачи по сайту, потому просто забудь. Будет сайт большим, вспомни.
Еще раз пишу, 1970 год - косяк конвертации даты. В каком типе хранится значение в базе?
Вот пример из моей sitemap:
Пример http://takeahotel.ru/sitemap.php?place=1
Касаемо robots.txt, директива host:
Можно указывать host: domain/folder/ ?
На основном сайте проведена тщательная работа, конвертируется лучше.
В контексте вопроса появилась мысль.
План А: как описано выше, статьи перенесли, редиректы поставили, ждем склейки.
План Б: с пожираемого сайта поставили js-редирект на партнерку, сайт со временем ушел в бан. Перевесили статьи, ждем индексации. Норм?