Ну, во-первых, если робот зашел на страницу, ещё не значит, что она появится в индексе. Не путайте краулер, спайдер и индексатор.
Spider: Паук – это программа, которая скачивает веб-страницы. Он работает точно как ваш браузер, когды вы соединяетесь с веб-сайтом и загружаете страницу. Паук не имеет никаких визуальных компонент. То же действие (скачивание) вы можете наблюдать, когда просматриваете некоторую страницу и когда выбираете «просмотр HTML-кода» в своем браузере.
Crawler: Как и паук скачивает страницы, он может «раздеть» страницу и найти все ссылки. Это его задача – определять, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов.
Indexer: Индексатор разбирает страницу на различные ее части и анализирует их. Элементы типа заголовков страниц, заголовков, ссылок, текста, структурных элементов, элементов BOLD, ITALIC и других стилевых частей страницы вычленяются и анализируются.
Если вам нужно отслеживать именно изменение кол-ва страниц в индексе, могу посоветовать recipdonor.com, там этот параметр есть.
я читала, что мэйл занимает 10% рынка рунета и использует частично поиск от гугла.
Читайте лучше Лукьяненко. Под него засыпается быстрее.
Ну так не прикольно совсем.
Нужен софт типа нажимаешь на кнопку и ты в топе Яндекса, но только для бурж. Гугла, правильно понимаю?
Кроме кэша есть флэш-куки и ещё много чего. ИМХО, надо отучаться оценивать результаты по позициям и смотреть по траффику.
Для сеошниц
Для выпускниц ПТУ, клёпающих ГС 😂
brevis, извините, но мне кажется, вы просто ничего не понимаете :)
Я размещаю код MG и получаю посетителей даже больше, чем от меня ушло.
Я размещаю ваш код и получаю непонятно сколько посетителей, непонятно сколько отдаю.
Вот, понимаете, если серьёзно: чем вы лучше marketgid'а или подобных?
Зачем мне на своём сайте блок с новостями с ГС-ов?
Ну, во-первых, если робот зашел на страницу, ещё не значит, что она появится в индексе. Не путайте краулер, спайдер и индексатор.
Spider: Паук – это программа, которая скачивает веб-страницы. Он работает точно как ваш браузер, когды вы соединяетесь с веб-сайтом и загружаете страницу. Паук не имеет никаких визуальных компонент. То же действие (скачивание) вы можете наблюдать, когда просматриваете некоторую страницу и когда выбираете «просмотр HTML-кода» в своем браузере.
Crawler: Как и паук скачивает страницы, он может «раздеть» страницу и найти все ссылки. Это его задача – определять, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов.
Indexer: Индексатор разбирает страницу на различные ее части и анализирует их. Элементы типа заголовков страниц, заголовков, ссылок, текста, структурных элементов, элементов BOLD, ITALIC и других стилевых частей страницы вычленяются и анализируются.
Если вам нужно отслеживать именно изменение кол-ва страниц в индексе, могу посоветовать recipdonor.com, там этот параметр есть.
Таких ссылок несколько тысяч может быть, проблема в том, что в ручную их в robots.txt заносить затруднительно.
Ну если вы не троллите, то обучитесь работе с экселем и каким-нибудь текстовым редактором. Сделать из:
[url1]
[url2]
[url3]
список директив
User-Agent: *
Disallow: [url1]
Disallow: [url2]
Disallow: [url3]
элементарно.
богоносец, забавно, да. Искусственный интеллект решил, что по запросу "видео подросток + [предлог]" ищут только порно.
видео подросток у стены
видео подросток за работой
видео подросток перед выбором
С Яндексом такое бывает :)
Хотя в случае с ТС, мне кажется, вирус какой-нибудь, не?