вам надо задаться вопросом другим, откуда он берёт этот адрес. Проверить сайт не указан ли где-то этот урл. Проверьте Яндекс вебмастер, возможно там где-то светиться ссылка на index.php
Совсем необязательно. Время от времени с той или иной целью набираю в адресной строке что-то вроде «[адрес сайта]/абра-кадабра-септ-аккорд-олеонавт/», к концу дня в индексации Я-Вебмастером уже вижу этот адрес, с 404-м ответом, естественно. Достаточно периодических попыток стука по несуществующему адресу – и Метрика сообщает этот адрес Вебмастеру, а тот каждый раз пытается проиндексировать его. Особенно радуют орды дятлов-краулеров с запросами типа «[сайт]/wp-admin/» – занятно смотреть, как Вебмастер вслед за ними то и дело пытается найти этот ветхозаветный URL в моей самописке.
А если страниц очень много, нужно же в php лезть писать условие?
Именно так.
Из вариантов...
/page/139
/page/139/
/load/page/139/
...выбираем один, который будет каноническим (к примеру, /page/139/), и ставим в блок мета-тегов строку:
<link rel="canonical" href="<?=[адрес сайта].$_SERVER['REQUEST_URI'];?>">
Эта строка будет означать для поисковиков: вот правильная страница, остальные с тем же контентом – жалкое подобие, не ходи туда, ходи сюда.
Соответственно, для двух остальных видов страниц – ставим переадресацию на канонический тип страницы, что-то типа:
header('HTTP/1.1 301 Moved Permanently');header('Location:'.[канонический формат страницы без квадратных скобок]);exit;
И будет вам счастье.
При наведении на вкладку в браузере Chrome он показывает 165 МБ, но что так много может весить, если моя страница весит всего-то как документ 35 кб
Для отображения любой WEB-страницы любой из браузеров загружает кучу библиотек, задача которых – правильно отобразить страницу. Все эти библиотеки универсальны и содержат огромное количество методов для обработки любых, даже самых заковыристых костылей в HTML-коде и Ява-скриптах (и не только), картинок, медиаконтента и пр. При этом загружается браузером сразу всё что у него там есть в ассортименте, чтобы лишний раз не бегать за нужной библиотекой. Если на WEB-странице нет медиаконтента – ну что же, нет так нет, значит, не понадобилось.
Ко всему прочему, в большинстве браузеров сейчас предусмотрены ещё и инструменты разработчика – это такая весьма и весьма мощная панелька, в которой любую WEB-страницу можно разобрать едва ли не по молекулам, проанализировать свойства любого элемента страницы, и даже вручную переверстать на лету любую загруженную страницу с новыми свойствами. И да, эти инструменты также загружаются для каждой открытой страницы в числе прочих библиотек – а вдруг вы разработчик и вот прямо сейчас захотите проанализировать структуру открытой страницы? Не заставлять же вас ждать, пока загрузятся нужные библиотеки. Загрузим сразу всё, на всякий случай.
Вот примерно так 35 Кб и превращаются в 165 Мб.
И да, кстати о птичках, кто не в курсе: в точности так же, по тем же принципам, на сегодняшний день работает и подавляющее большинство стандартных движков для WEB-сайтов, типа Joomla, WordPress, Bitrix и пр. Попробуйте вывести сакраментальное «Hello world» на страница сайта на Битриксе – и вы узнаете, как глубока кроличья нора. Но это так, к слову.
А можете привести для сравнения старый и новый robots? Возможно в старом у вас как раз и была ошибка, повлиявшая на проблемы с индексацией.
К сожалению, нет – снёс старый подчистую.
Примерно он выглядел так (взято с другого сайта, в котором закрыты другие разделы):
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /page/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
...и так далее. В конце:
Sitemap: [адрес сайта]/goods_sitemap.xml
Sitemap: [адрес сайта] /prod_image_sitemap.xml
Сайтмэпы и Яшей и Гошей читались норм и обходились регулярно. Яше, повторюсь, данная структура robots.txt индексировать страницы не мешала, да и ошибок Яша при проверке не нашёл. Строго говоря, об ошибках и Гоша не сообщал, 99% страниц сайта просто висели в статусе «Обнаружена, не проиндексирована». Что касается причин явления для вебмастера – Гоша на таких мелочах, как правило, не заморачивается, благо его основная целевая аудитория – ясновидящие.
Прямое попадание в тему. Долгое время у меня был аналогичный robots на сайте, 75% страниц в индексе у Яши, Гоша – полный игнор. Штук десять страниц из двух килодесятков – в индексе, остальное в лимбе. Проверял robots Яшей – всё норм, без нареканий. Сегодня решил на пробу снести все disallow из текста, благо всё равно все пути перекрыл на серверном уровне, и добавил allow / в самом начале. Самое уместное сравнение эффекта – это как дамба рванула: во второй половине дня Гоша уже бодро рапортовал о полутора тысячах проиндексированных страниц (вместо десятка), да ещё и отчитывался, что так оно ещё позавчера было. Вот такой вот коленкор...
Антоний Казанский, спасибо, всё по полочкам и снова картина в целом, даже не знаю, как благодарить за такие подробные ответы.
Mazay, качество можно определять либо по тому, что сделано, либо – если результат не устраивает – по тому, как делается. У меня – второй вариант, и чтобы не платить двойной тариф за дискуссии с Продвигаторами, я сначала интересуюсь мнением специалистов здесь – у кого есть возможность, подсказывает, что к чему.
Понимаю, что в работе с ПС всегда есть фактор неопределённости, который может уронить ниже плинтуса даже работу очень квалифицированного специалиста, но в целом (даже рискуя показаться вам идиотом) оцениваю качество примерно так: если сайт спустя два-три года (примерно столько времени Продвигаторы начали работу по сайтам) в топах по требуемым запросам – качественно, если не в топах – некачественно.
Заметьте, некачественно – это не финальный вердикт Продвигаторам, это просто оценка текущей ситуации. Главный вопрос здесь выглядит следующим образом: чем я могу им помочь? Ну, например, преобразовать страницу с параметрами 68/70 (скорость/оптимизация) по PageSpeed в страницу 100/100 – хороший вариант помощи? Мне кажется – да, особенно если это ощутимо увеличивает процент попавших в индекс Гугля страниц. Но когда натыкаешься на противодействие SEO-компании – это, наверное, можно расценить как своеобразный маркер качества.
То же самое и с текстами. Из договора можно почерпнуть об этом чуть менее чем ничего – там нет ни слова об уникальности или тошноте текстов, там есть некие формальные обязательства (к примеру, ежемесячно создавать 2-3 новых страницы), которые никем не выполняются, потому что всем кому надо понятно, что фактически деятельность Продвигаторов ведётся совершенно иначе, методы свои они не оглашают, и в договоре этого никто регламентировать не станет (чтобы не быть голословным – просто напомню про контору под названием «Битерика», вот это из той же оперы).
Вот и приходится, не будучи специалистом, точно так же искать маркеры, по которым можно хотя бы косвенно оценить качество работы. Само по себе это качество меня не волнует – лишь в той степени, в какой касается визитов ЦА на сайт, и поиска способов, как улучшить это качество.
за "вредность" действительно могут попросить в виде оплаты доп. консультаций и/или трудочасов и это вполне правомерное требование, ибо создает доп. нагрузку
Согласен, но тогда: насколько правомерно пожелание доп. оплаты просто за качественную работу? То есть за базовую ставку по договору – гарантированно будет халтура, а чтобы качественно – доп? О том, что халтура – сделал вывод из вашей же оценки ситуации выше, если правильно вас понял.
Это бесполезно. Это все равно что дискутировать со специалистами автосервиса, которому вы отдали автомобиль на ремонт или на диагностику. И влезать в их работу, пытаясь "разобраться". Адекватные вам скажут, либо езжайте дальше, либо доплачивайте "за вредность" ))
Согласился бы с вами – но у меня такое уже было. Три электрика подряд назвали три разных причины, почему не заводится – устранить не смогли. Стал разбираться сам – оказалось, секретное реле зажигания под водительским порогом в цепи сигнализации (в числе названных электриками причин не значилось). По совету из тырнета перестал ставить на сигналку и начал запирать ключом – проблема исчезла до весны (потом съездил в сервис и заменил реле).
И вот тогда я понял одну простую истину: я неимоверно крут когда ты разбираешься «для себя» – у тебя больше шансов разобраться, чем у тех, у кого таких, как ты, десятки в день и им некогда заниматься каждым до победного, потому что у них задача – просто получить свои деньги и перейти к другим задачам.
