cblcg

cblcg
Рейтинг
232
Регистрация
28.06.2012
Павел Горбунов:
Но если их в robots.txt закрыть, то робот на них не сможет зайти. И не поймет, что их нужно удалить из индекса.

робот зайдет, просканирует и потом выплюнет запрещенные... но тут есть одно НО:

для яндекса правила в robots.txt железообетонны, а вот гугл может проигнорировать, поэтому для гугла чтоб на 100% надо использовать метатег robots почитать если не вкурсе

да, но сейчас в яндексе не более 10 в 1 день отправлять можно. Насчет гугла не знаю. демоверсии программы должно хватить для этого, т.е. покупать не надо ничего

---------- Добавлено 08.02.2017 в 11:24 ----------

важно чтобы потом они обратно не зашли, т.е. позаботится о закрытии их от индексации

KINGSTON на MLC памяти - недорогие, поставил более 10 год назад и никаких проблем не было с ними

через панель вебмастера, но надо чтобы либо был запрет метатегами, либо 404, либо роботс.тхт - это касается яндекса

Есть программы которые позволяют массово отправлять на удаление, например такая программа как ComparseR способна... ну либо скрипт на imacros или зенке заказать

Largass:
Спасибо за ответ.
Я на данный момент полный ноль в этом деле, поэтому я просто скажу, как я понимаю ситуацию, а если я не прав, вы меня поправьте, хорошо?
Обозначу два момента:
1) Насколько я понял, в роботс.тхт прописываются именно ФАЙЛЫ и папки, а не ссылки (которые в строке браузера). В моем же случае мне надо запретить некоторые страниц и разрешить другие, но все эти страницы идут из одного и того же файла. Как мне запретить часть файла (часть страниц)? Такая возможность технически предусмотрена?
2) Кроме того, запрет в роботс.тхт мне не поможет, поскольку он запретит поисковикам только скачивать напрямую эту страницу. Но если есть ссылка с индексируемых страниц на ту, что я в роботс.тхт запрещаю - поисковик с других, разрешенных страниц перейдет на закрытую и благополучно ее проиндексирует.

Я не прав?

1) прописываются ссылки, для яндекса 100% сработает, а вот гугл может брыкнуть и лучше чтобы было запрещение через мета-robots

Просто перечисляйте ссылки если не удается их шаблоном выпилить.

2) нет, т.к. в правилах будет написано что ее нельзя индексировать. Яндекс берет все, а затем оставляет то, что нужно.

Вот кстати только, что закончил сканирование нашего ИМ и яндекс ничего в поиск не взял, что в роботс.тхт было описано, а гугл свыше 150 страниц всосал, несмотря на запрет, а вот еслиб на таких страницах был мета-тег robots то такого скорее всего бы не случилось

планеты 1 цилиндр, у юпитера 2

В 90-е только на них и катался без документов естественно и не раз приходилось от ментов утекать

был еще клевый мотик ИЖ Планета Спорт - тяжело всегда заводился, но жарил отлично

romaro:
Не поделитесь ссылкой? Или вы этот имели в виду?

да это он, но него часто еще на складчике, где складчины проходят на покупку оптовой лицензии со скидкой 40%. Отзывы по нему всегда 5 звезд. Но сам с ним я не работал, т.к. нет у меня столько аккаунтов и не требуется заменять юзерагент. А так комбинацию куки-прокси отдельно для каждой вкладки можно в фаерфоксе сделать установив дополнения бесплатно

есть еще браузер специальный в котором каждая вкладка имеет свой ip, куки и юзерагент

обязательно, тем самым вы показываете что группа модерируется и не заброшена

история:

Однажды давным давно в году 2010-2011 обратились армяне с заказом сделать сайт по продаже пальто (шили они их). Показали сайт-пример как хотели что было и мы все сделали, а им понравилось и они рассчитались с нами.

Через 2 недели началось:

"Вы нас нае**ли! Нашего сайта нет в интернете!!"

ну мы подумали, что хостинг лег или чтото типо того, ан нет, все работает..

Позвонили им сказав что все работает и через пару часов звонок и пошли угрозы что нас закапают, т.к. мы их обманули с сайтом и чтобы возвращали деньги. Тут мы реально испугались, т.к. это была армянская диаспра местная и жили мы в 1 городе провинциальном.

Я уж не помню как с ними решили встретиться и выяснить лично что им не нравится и оказалось, что они проверяли сайт так: открывали яндекс и вписывали "купить пальто" и естественно его не находили, т.к. думали что сделав сайт он тут же появится в выдаче и попрут профиты.

Вывод - надо было предугадать, что они далеки от компов и объяснить все моменты, а не просто сделать сайт по требованию

Всего: 3768