- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Мне довольно часто приходится обмениваться ссылками с различными сайтами. И вдруг недавно на одном из них я обнаружил очень неприятных файл robots.txt, в котором черном по белому было написано:
User-agent: *
Disallow: /страница с ссылками
Посему, а не создать ли нам на этом уважаемом форуме черный список сайтов, которые промышляют такими вещами?
А зачем? Просто каждый должен сам прежде чем меняться, посмотреть эти и другие вещи.
KirillS, не вижу проблемы, ссылку в addurl и вся недолга. А ждать что робот сам по этим страницам пройдется, это может занять до года как минимум из моей практики.
... каждый должен сам ... посмотреть ... эти и другие вещи.
Из других вещей вспоминается только <META content="NOINDEX, NOFOLLOW" name=ROBOTS>, а что еще?
А получиться ли? Робот из-за записи
User-agent: *
Disallow: /страница с ссылками
вроде не должен будет эту страницу индексировать.
NULL, у меня были такие случаи, все проходило ОК
funnybunny, я в полном недоумении! "Такого не должно быть, потому что такого не должно быть никогда"! 😕
KirillS, попробуйте засабмитить страницу с ссылками в Яндекс и Гугль - что они скажут?
NULL, (чешу в затылке) Вспомнить много сходу не могу, но я имел беседу с мастером нефтегаз точка ру У них весь раздел ссылок запрещен. Руками внес в addurl и Яндекс ссылки увидел. Так вот
KirillS, отбой воздушной тревоге, ничего там не запрещено, посмотрите где живут ссылки и что написано в robots.txt
P.S. Для ресурса с тИЦ=1600 и 600-ми ссылающимися серверами такое запрещение действительно выглядит нелепо ...
Кирилл, последуйте совету funnybunny - бросьте url в Яндекс и иже с ними и Вас можно будет поздравить "с удачным приобретением" :)
ops ... беру свои слова обратно - действительно запрещено ... конфуз, однако
NULL, робот I Яндекса индексировать не должен и не будет, а вот скрипт добавления и соответствующий робот (D) в robots.txt не заглядывает, поэтому такой маневр добавления страницы через addurl может пройти. Где-то полгода назад было обсуждение этого вопроса.