Вот это хороший вопрос. Сейчас поищем.
cheredov добавил 05.06.2011 в 18:40
http://www.wp-info.ru/pravilnyj-robotstxt-dlya-wordpress/
Как раз то что вы спрашивали. Запрос "robots.txt wordpress" в Гугле. Первая строчка )))
cheredov добавил 05.06.2011 в 18:44
Еще можете тут почитать http://wordpress.org/extend/plugins/kb-robotstxt/ все по-моему просто.
webeditor, спасибо конечно, но этот скрипт дает на 50% достоверную информацию(ссылки которых нет, ссылки с забаненных Яндексом сайтов, не дает ссылки с многих каталогов,с дмоз'а даже. например для моего сайта не нашел ссылку с http://www.miningexpo.ru/company/7717, ну и с дмоза, а мы там есть :)). Да и речь о том какие ссылки проиндексировал Я. Если его вебмастер дает тоже, по вашему мнению, недостоверную инфу, то хочется понять - есть ли средства более достоверно узнать, учитывается ссылка или нет. И, как спрашивает ТС, снимать ее в бирже или нет.
Блин, я тогда вообще запутался. Как анализировать внешние ссылки?
Скажите, а с какой целью вы его ищите и пишите?
cheredov добавил 05.06.2011 в 17:43
Gophp, роботы сами в ваши файлы\папки не полезут. А если какой злоумышленник сошлется на них, то роботы туда залезут несмотря на ваш роботс.
Конечно. Мне интересно как считает aleks8888, если ссылка не показана в вебмастере - она как то может повлиять на продвижение? Если да, то получается вебмастеру верить нельзя?
Вряд ли робот сам найдет все ваши файлы. Сотрите все. А одинаковые страницы склеятся сами, можете сделать редирект.
Site-auditor показывает количество упоминаний, а не ссылок. т.е. результатов с запросом "*.site.ru". Про кнопочку да, но показывает наличие в кэше. Что в принципе правильно. Мне не понятно откуда недоверие к вебмастеру?
Т.е. Яндекс ссылки проиндексировал, но в вебмастере их не показал? как вы узнали что он их проиндексировал то?
Откуда такая уверенность?
Неправильно я написал. Прочитайте обязательно, девушка дело пишет. Все ясно и не надо воду в ступе толочь.
