- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте, вопрос таков: есть директория(страница). - domain.ru/dir/
На этой странице, есть много ссылок вида: domain.ru/dir/#blablabla
Каждая ссылка при клике JS'ом подгружает определенную инфу с сервака.
Боюсь, что если полностью открыть индексацию, из-за мега больного кол-ва "#" гугл начнет кликать и будет большая нагрузка на сервер.
Сейчас индексация закрыта полностью. Как можно открыть индексацию только для /dir/, но для всего остального запретить, типа: /dir/#*
P.S. Или я не дружу уже с головой ) помогите разобраться) Сама идея, того, что гугл пойдет кликать, не моя =)
запретом на индексацию вы запрещаете только попадание страниц в поисковой индекс, но это не значит, что робот гугла там не бродит. в Search Console в Инструменте проверки файла robots.txt можно предварительно экспериментировать с вариантами закрытия от индексации, прежде чем вносить в реальный роботс изменения. скорей всего сработает Disallow: */#
Allow: /dir/
www.google.ru/search?q=inurl:robots+filetype:txt
может кто почитает и заподозрит #неладное
ТС, покажите в индексе страницы domain.ru/dir/#blablabla
(если blablabla не начинается !)
www.google.ru/search?q=inurl:robots+filetype:txt
может кто почитает и заподозрит #неладное
ТС, покажите в индексе страницы domain.ru/dir/#blablabla
(если blablabla не начинается !)
Их нет... но пойдет ли гугл пинговать такие рода ссылки ?
---------- Добавлено 06.04.2016 в 15:59 ----------
запретом на индексацию вы запрещаете только попадание страниц в поисковой индекс, но это не значит, что робот гугла там не бродит. в Search Console в Инструменте проверки файла robots.txt можно предварительно экспериментировать с вариантами закрытия от индексации, прежде чем вносить в реальный роботс изменения. скорей всего сработает Disallow: */#
Allow: /dir/
Игрался как мог, решетка игнорится гуглом
Давайте вместо экспериментов почитайте в хелпе, что значит # в robots.txt
Пинговать не пойдёт, HTTP не нуждается в #blablabla
/
#blablabla используется браузером.Но гарантий неиндесации #blablabla уже нет, поскольку пиарщикам гугла, в целях нагнетания благоговейного ужаса, надо демонстрировать выполнение и перевыполнение клиентских скриптов ихним божеством.
Не путать с #!ablabla
Давайте вместо экспериментов почитайте в хелпе, что значит # в robots.txt
Пинговать не пойдёт, HTTP не нуждается в #blablabla
/
#blablabla используется браузером.
Но гарантий неиндесации #blablabla уже нет, поскольку пиарщикам гугла, в целях нагнетания благоговейного ужаса, надо демонстрировать выполнение и перевыполнение клиентских скриптов ихним божеством.
Не путать с #!ablabla
Знаешь... только сейчас дошло, какой я бред изначально написал =) просто уже переработал... ############################ )))))
Давайте вместо экспериментов почитайте в хелпе, что значит # в robots.txt
Пинговать не пойдёт, HTTP не нуждается в #blablabla
/
#blablabla используется браузером.
Но гарантий неиндесации #blablabla уже нет, поскольку пиарщикам гугла, в целях нагнетания благоговейного ужаса, надо демонстрировать выполнение и перевыполнение клиентских скриптов ихним божеством.
Не путать с #!ablabla
Еще 1 вопрос. С индексацией пофиг, пусть берет. Но при клике, то происходит выборка огромного кол-ва данных, что будет грузить базу и соответственно сервер, как тут лучше сделать... защитит ли от этого if-modified-since или ограничение индексации через Google web master?
2е понятно, стоит ли делать 1е или 1е с 2м. Или может есть 3е?
Бот не кликает, а по HTTP не передаётся #blablabla
#якорь понимается/разбирается браузером (в котором да, кликают).
Бот не кликает, а по HTTP не передаётся #blablabla
#якорь понимается/разбирается браузером (в котором да, кликают).
Но краулить js-скрипты он то будет, понимаю, что кликать нет. А скраулить скрипт и посмотреть на результат его работы, а там таких скриптов ......