Фууххх, дочитал до конца ))) Смеялись всем отделом, про жену босса 5 баллов )))
Вчера вечером заказал прогон одного сайта, сегодня утром он уже готов, скорость действительно поражает, в почте 850 писем, о качестве буду судить после 2-3х апов.
сделайте так:
User-agent: Yandex
Host: www.mysite.ru
User-agent: *
Disallow:
И яндекс хост схавает и ругаться на прблемы с дисалоу не будет.
А другие роботы будут хавать стандартный Disallow:
Кстати, правила Allow: в стандартах для robots.txt несуществует. А то что яндекс сделал эту поддержку, так это для того что слишком часто встречаеться подобная ошибка.
Для net зоны возможно мес это не предел, возможно стоит подождать еще.
И как на счет контента он уникальный?
Скажем так, не хорошо 😂
Ну это скорее исключение чем правило, недели действительно слишком мало, а ТС я бы посоветовал исправить robots.txt на
Disallow: /cgi-bin
Host: site.ru
Во первых - невижу смысла в таком robots.txt, зачем нужно разделять одинаковые правила индексации для разных роботов.
Во вторых - чисто по моим наблюдениям, пустые правила Disallow: яндекс почемуто не понимает, оставьте Disallow: /cgi-bin даже если его у вас там нет.
Проверить как видит яндекс ваш robots.txt можно тут http://www.yandex.ru/cgi-bin/test-robots?host=www.site.ru
Я так думаю что ТС-у нужно просто знать об изменении ТИЦа своего проекта в момент его изменения, могу предложить скриптик который будет проверять по крону тиц через http://search.yaca.yandex.ru/yca/cy/ch/www.site.ru/ , как предложил негатиф и отправлять смску на мобильник.
Можете также покупать не показы а конкретные переходы, тогда вы точно будете уверены в том что потратили деньги на трафик, а не на какие-то показы
строка Disallow должна быть обязательно, и еще один факт не давно обнаружил, почему-то яндекс не понимает строки Disallow: без параметров. Легко проверить вот так: http://www.yandex.ru/cgi-bin/test-robots?host=www.site.ru
Причем тут тексты законов ) ?
ТС просто решил для себя проблему уникального контента для своих сайтов, которую многие решают по своему ) Ну а на вопрос законодательства об авторском праве и будут ли вас за это преследовать, думаю ответ нет, преследовать вас за это вас наверно никто небудет, некоторые авторы книг очень хотели бы чтоб их работа была опубликована в интернете. Возможно свяжуться с вами для того чтобы вы поставили в конце каждой статьи ссылочку на ресурс автора или просто указали имя.
