- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Проблема в следующем
Сегодня увидел что яндекс проиндексировал мой сайт дополнительно по порту 8080 (он был создан для отладки и информация там дублируется с самим сайтом), из какой то ссылки которая где то проскочила на сайте, но это не важно
так как в яндексе появились все страницы вместе со своими дублями по другому порту, то мы поставили, что если порт такой то то выдавать 404, вроде все нормально (по идее должно сработать что бы яндекс удалил из базы все дубли с порта 8080)
но потом, когда попытался через delurl.xml удалить некоторые страницы, яндекс пишет, что такая страница не может быть удалена, так как она не проиндексирована, хотя если через check.xml посмотреть такие страницы, то эти страницы есть в базе яндекса, что это может быть (вроде не быстроробот, так как дата индексации стоит пару недель назад и где то больше....)?
И еще кто нибудь может подсказать (что то я сам не нашел) можно ли как то запретить яндексу индексацию сайта по определенному порту через robots.txt? или как то еще (просто через 404 он удалять будет очень долго во время обхода..., а через delurl.xml не получается, по причинам описанным выше)?
seo_guy,
Не думаю, что здесь Robots поможет.
Может поробовать чтобы при подключении на порт 8080 отдавался бы robots с запретом на индексацию?
Кто мешает в коде вписать, чтбы отдавал ошибку 404 или 302 при входе с определенным user-agent.
И если не сикрет, зачем чтало нужно разносить порты, да еще так что там дубли с 80 портом?
Может поробовать чтобы при подключении на порт 8080 отдавался бы robots с запретом на индексацию?
ды я так пробовал, но яндек не понимают разницу между портами, если я ему говорю после такой операции удалить все по порту 8080 (определенной рубрики для примера), то он пишет что все кул удаленно, потом пробую ничего не меняя (в основном роботсе для 80 порта индексация разрешена) удалить тужу рубрику но без порта 8080 и он говорит, что кулл, будет удалена в ближайшее время, то есть он просто удаляет такую рубрику, не делая различия между портами
Кто мешает в коде вписать, чтбы отдавал ошибку 404 или 302 при входе с определенным user-agent.
так там так и сделал, теперь отдается на этом порту 404 ошибка, но из яндекса через форму удалить не могу, потому что пишет, что не приндексированна (хотя при проверки проиндексирована или нет, говорит что проиндексирована), а так по мере обхода он будет очень долго это все удалять, а проблема в том, что он либо не понял как что склеивать, но то что он проиндексировал по обычному порту и по порту 8080 (одни и теже страницы) то эти страницы выпали из поиска... с первого места по ВЧ вобще выпали... поэтому хотелось бы как то ыстрее решить эту проблему, чем за то время пока яндекс сам поймет что это не то (так как там выдается 404 теперь), вот и спрашиваю совета, может кто знает...