- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
А слабо проверить какая из них учитывается ;)?
Какая учитывается разумеется не знаю, но в беквардах обе (это сайт со ссылкой переехал).
Interitus, URL не = домен ;). Корень сайта может быть по адресу: domain.tld/something/ ;).
Стандарт позволяет ;).
Однако, я слышал слухи, что не все поисковики берут robots.txt за пределами domain.tld, но в Google полно примеров, подтверждающих, что такие файлы он находит, в принципе можно и протестировать ;).
-=Илья=-, дай посмотреть - может поймем ;).
Cossack, URL "/robots.txt" всегда соответствует domain.tld/robots.txt. Стандарт допускает запрет индексации с помощью robots.txt только с корня домена, и всё. Остальное - твои вымыслы.
И чего ты нашел? Лежит текстовый файл внутри папки, это ничего не значит.
Фактически формула PR не предполагает учета traffic, а нацелена на определение близости сайта к "корню" Интернета, а это может быть и хорошо и плохо.
Web Search Engine
PageRank can be thought of as a model of user behavior. We assume there is a "random surfer" who is
given a web page at random and keeps clicking on links, never hitting "back" but eventually gets bored
and starts on another random page. The probability that the random surfer visits a page is its PageRank.
Interitus, давай проверим: положил файл robots.txt во russian.cossack.org.uk/computers:
User-agent: *
Disallow: /
и можно ходить и смотреть. Сейчас там 2 страницы и 3 старых ссылки в индексе. В google.com/addurl.html закинул ;).
З.Ы. Выдумки не мои, а данном и конкретном случае - Рамблера, см. пред. посты.
Чем ближе к "корню", тем больше шансов, тем больше "вес" ссылок на документ, но оно не значит, что больше посетителей ;).
Не закрыл, а положил файл robots.txt во внутреннюю папку. Это не означает закрыть. Страницы в индексе есть и будут, если их стандартными методами не закрывать.
Возможно в Рамблере такие же чайники сидят, хотя вряд ли - от наличия robots.txt где-то, где он не предусмотрен, ничего не меняется.
O'k, поправил на "положил". В корне не трогаю для чистоты опыта ;).
-=Илья=-, дай посмотреть - может поймем ;).
Больше месяца назад убралось. Ситуация простая - сайт переезжал, как раз в денс, была на нём хорошая такая ссылочка с pr4. И до самого до следующего обновления беквардов на меня стояли две ссылки, со старого домена и с нового.
В Guidelines есть такой абзац:
In order to save bandwidth Googlebot only downloads the robots.txt file once a day or whenever we have fetched many pages from the server. So, it may take a while for Googlebot to learn of any changes that might have been made to your robots.txt file. Also, Googlebot is distributed on several machines. Each of these keeps its own record of your robots.txt file.
-=Илья=-, жаль, но проверку запустил, подождем, оно того стоит.