Вы хотите сказать, что робот ко мне не заглядывает с августа 2002 года?! как кстати, зовут робота яндекса, попробую отыскать его в логах...
Михаил, в каталоге описание сменила относительно недавно для обоих сайтов. Они правда на свой манер написали, но тем не менее, учли мои пожелания. Но в индексе - бардак какой-то.
Может я чего-то не понимаю??
села, сравниваю текст нынешний с текстом в результате выдачи:
ничего общего, ни единого слова.
в индексе - старый текст. как будто база яндекса законсервировалась.
просто я склонна считать что эта страница соответствует запросу
делая вывод о том, соответствует ли страница запросу, робот учитывает основной текст + теги?
Вполне можно и за деньги, если хорошая программа 🍻 А вот на вашей первой конференции я была, а на вторую, к сожалению, не попаду.
цель, как ни странно, не заданный размер окна, а полностью динамическая структура сайта
к слову о целевых и нецелевых посетителях: товарищ спрашивает где у меня лежит музыка (называется совершенно определенная группа), я отвечаю. И когда он по сетке со своей машины заходит ко мне, то, первое, куда он идет - это расшаренная папка Pictures, а уже потом в музыку... А после этого он пошел и по другим папкам... А ведь он тоже не женщина и совершенно четко знал что хочет.
а как правильно написать robots.txt?
на сервере есть большое количество "служебных" директорий, не имеющих ссылки на себя со страниц сайта, поисковый робот найдет эти дирекории и предпримет попытку проиндексировать или нет? Вероятно, не имеет смысла запрещать все подряд, лежащее на сервере и не имеющее отношение к непосредственно сайту.
то есть "в случае апача" их надо искать там где лежит сам апач? а если сайтов много, все пишется в один файл? И очевидно кроме визитов поисковых роботов там полно другой информации об обращениях к серверу? как отличить обращение поисковика от других?