"голы это'о видео" - не догадались?
Другими словами: кто хочет судимость?
Разместить ваш варезник желающих нет.
но лучше писать непосредственно после всех Disallow.
cheredov, OK.
А жаль, я бы посмотрел на пример, на эксперимент, попробовали бы добиться повторяемости.
Полное дублирование блоков для Яндекса - да, согласен, оно обычно ни к чему. Директиву Host , как оказалось, можно писать вообще отдельно.
Спрашивайте у хостера.
Пишите в раздел "Работа для вебмастера".
Так скоро дойдете до документации в виде комиксов.
Почтиайте сначала про аффилиаты, прежде чем необратимо спалить кучу денег, сил и времени.
Впрочем, вам это никто не может запретить.
Вы про апдейты Яндекса вообще слыхали?
Посмотрите еще вот тут.
Это можно понять только одним способом:
вы должны взять лог-файл (например за сутки) и выбрать из него те строки, в которых встречается подстрока 'robots.txt'.
После этого вам будут хорошо видны обращения разных ботов к этому файлу.
Какой использовать инструмент? Если у вас нет grep, возьмите Excel и используйте фильтр.
Да. Видите, у вас же все есть.
Только вы отфильтруйте строки, в которых встречается robots.txt, ведь именно это вас интересует. А вы привели запрос к урлу /tags .
"голы это'о видео" - не догадались?
Другими словами: кто хочет судимость?
Разместить ваш варезник желающих нет.
но лучше писать непосредственно после всех Disallow.
cheredov, OK.
А жаль, я бы посмотрел на пример, на эксперимент, попробовали бы добиться повторяемости.
Полное дублирование блоков для Яндекса - да, согласен, оно обычно ни к чему. Директиву Host , как оказалось, можно писать вообще отдельно.
Логи ? Где посмотреть можно ?
Спрашивайте у хостера.
Сколько будет стоить - нормально настроить robots.txt или bitrix?
Пишите в раздел "Работа для вебмастера".
видеоуроки по VDS
Так скоро дойдете до документации в виде комиксов.
Почтиайте сначала про аффилиаты, прежде чем необратимо спалить кучу денег, сил и времени.
Впрочем, вам это никто не может запретить.
почему-то яндекс не выдает в поиске наши новости. Хотя он буквально вчера нас индексировал
Вы про апдейты Яндекса вообще слыхали?
Посмотрите еще вот тут.
"Только вы отфильтруйте строки" - как понять?
Это можно понять только одним способом:
вы должны взять лог-файл (например за сутки) и выбрать из него те строки, в которых встречается подстрока 'robots.txt'.
После этого вам будут хорошо видны обращения разных ботов к этому файлу.
Какой использовать инструмент? Если у вас нет grep, возьмите Excel и используйте фильтр.
Да. Видите, у вас же все есть.
Только вы отфильтруйте строки, в которых встречается robots.txt, ведь именно это вас интересует. А вы привели запрос к урлу /tags .