дани мапов

дани мапов
Рейтинг
204
Регистрация
06.09.2012
foxi:
Эмулируйте браузер по настоящему, хуман эмулятором.

Хотелось бы только серверными скриптами обойтись.

---------- Добавлено 06.12.2012 в 21:45 ----------

Trafikgon:
НЕ для кражи случайно надо вам данных.

Это не для кражи, техподдержка агрегатора в курсе автоматизации, просто не хочет помогать.

Чтобы не индексировались краткие новости, я добавляю:

Disallow: /*/page/

Смотрите сами подойдет ли это в вашем случае, но не забудьте про карту сайта.

И вместо нескольких строк, обычно одна:

Disallow: /index.php

bndr:
Вы уж лучше сначала скажите зачем вам это надо.
дани мапов:
Нужно автоматизировать заполнение формы для получения кредита.

Разве непонятно написано?

Естественно, помощь может быть и платной, только надо обговорить заранее и должен быть результат.

Для Webmoney - https://masspayment.wmtransfer.com/Batches.aspx вывод на кошельки пользователей.

Взять например, любой современный шаблон WordPress, почти везде главная страница с кучей табов, вкладок и т.п. со скрытым контентом. Сомнительно, чтобы за это были санкции.

Вы про хлебные крошки? Можно ставить где удобно пользователям. Дублей не будет из-за этого.

gradov81:
Получается вариант только rel="nofollow"?
Это огромный объём ручной работы. Сотни страниц, с несколькими ссылками на каждой.

Цитата:

Миф: ссылка с «якорем» типа http://www.site.ru/page.html#якорь создает дублированный контент для поисковиков.

Это утверждение неверно, т.к. данный якорь всего лишь позиционирует страницу в окне браузера при переходе по ссылке и не является динамическим параметром. Поисковики давно уже научились отличать «якоря» от динамических параметров ссылок. Поэтому использование ссылок «Читать далее» более чем безопасно.

Без адреса сайта трудно сказать

Вы посмотрите внимательней, там сообщения делятся на "ошибки" и "предупреждения". Если бы сообщение было бы из категории "ошибки", тогда другое дело.

Это будет ошибкой, знак решетки для ботов означает начало комментария.

Например, если попытаться сделать так

Disallow: /*.html#comment

будут запрещены все страницы c окончанием .html, а "comment" будет просто проигнорировано.

Всего: 2374