Кейс: полный аудит строительного сайта. Часть 1
Мафия «Ашманов и партнеры» проводит двум ежегодные конференции: в декабре проходит Optimization в (видах специалистов по SEO и руководителей отделов паутина-маркетинга, а в марте — eTarget в (видах специалистов по маркетингу, бренд-менеджеров и директоров департаментов рекламы, маркетинга и PR.
Традиционно бери мероприятиях компания разыгрывает поисковый экспертиза, выдержки из которого публикуются получи SEOnews. В прошлом году был опубликован SEO-аудирование сайта сети центров дополнительного образования — ваш брат можете прочитать первую и вторую часть кейса.
Нате декабрьской конференции Optimization 2016 организаторы разыграли посреди участников мероприятия поисковый аудит. В этом году суперприз достался производственно-строительной организации «ГлавФундамент», которая занимается производством винтовых свай, проектированием и строительством фундаментов.
Массивны аудит, который поможет компании «ГлавФундамент» урезать отрыв от конкурентов, занимает 155 страниц, (вследствие с читателями SEOnews мы также, (то) есть и в прошлый раз, поделимся сокращенной версией, разделенной возьми две статьи.
В первой части аудита автор публикуем рекомендации по улучшению индексации сайта поисковыми системами. В следующем выпуске выйдут рекомендации по мнению текстовой коррекции страниц и улучшению эргономики сайта.
Семантическое сердцевина, которое было создано для проведения поискового аудита проекта, состоит теперь из 924 релевантных бизнесу запросов общей популярностью согласно Москве в 18 521 обращение в месяц (декабрь 2016, сообразно данным SeoRate.ru). Из этих запросов:
- в ТОП-10 Яндекса числом Москве сайт уже сейчас находится объединение 209 запросам;
- в ТОПе поисковой системы Google объединение Москве – по 258 запросам.
В момент проведения измерений к аудиту количество эффективных показов сайта http://glavfundament.ru/ в области данным www.SeoRate.ru составило 953 показа в диск). Видимость сайта по совокупности поисковых систем покуда)) равна 5,19%. В целом это неважный (=маловажный) слишком хороший результат, учитывая, какими судьбами общая видимость основных конкурентов составляет в ту же минуту ~64% и ~36% соответственно.
Корректная индексация — затейщик этап работы над продвижением сайта, вследствие этого данная стадия является базисом чтобы дальнейшей эффективной работы по поисковому продвижению. Приведенные рекомендации надлежит внедрить в первую очередь. Для удобства (в доме владельца сайта и читателей SEOnews наш брат расположили их в том порядке, в котором их треба реализовать.
Обеспечение стабильного доступа к сайту
Вслед последний год было зафиксировано один-два продолжительных сбоев в работе сайта, получай что указывают данные мониторинга в Яндекс.Метрике.
Скриншот изо отчета системы:
Также проблема обнаруживается рядом ручном сканировании страниц сайта в сколько-нибудь потоков при неравномерной нагрузке объединение количеству запрашиваемых страниц, имитирующей реальных пользователей. Сие видно на иллюстрации ниже:
Наладка корректной передачи ошибки 404
Сейчас машина передачи кода 404 чаще токмо не срабатывает: этот код малограмотный передается при обращении к несуществующим страницам сайта, а именно, этим (цветом выделены модифицированные участки URL – в таком виде их недостает на сайте, то есть сие несуществующие адреса):
http://glavfundament.ru/proect/proect_news/18386/1255/1112/
http://glavfundament.ru/contacts/naberezhnye-chelny/GET404
http://glavfundament.ru/building/civil_found/pier/21594/999
http://glavfundament.ru/vintovye-svai-otzyvy/?PAGEN_1=3123123123213213123213
http://glavfundament.ru/?login&admin
http://glavfundament.ru/clients/articles/obosnovanie-neobkhodimosti-betonirovaniya-stvola-vintovoy-svai/%3Cbr%3E
Ответы сервера:
Немедля все описанные выше несуществующие страниц передают в итоге шифр ответа 200 (OK), вместо 404 (без- существует) или 410 (удалено вечные)), что может привести к нарушению индексации сайта. Сие происходит даже при наличии канонических страниц, указываемых в коде несуществующих страниц и ведущих для тот уровень вложенности, где расположен продуктивный URL. Например:
Рекомендуется внести в программное выдача сайта необходимые изменения, чтобы в случае обращения к несуществующим страницам либо — либо страницам с адресами, указанными с подобными ошибками (знамение скобки в конце строки) сервер отвечал корректно, кодом 404 (безграмотный существует) или 410 (документ удален пожизненно), без перенаправлений.
При этом в случае служебных страниц, пример, http://glavfundament.ru/bitrix/admin/#authorize, которая бесспорно не нуждается в представлении в поиске, содержание можно отображать любое: для пользователя такие страницы будут за работой недоедать и недосыпать как обычно, но при этом адрес ответа в http-заголовке таких страниц полноте говорить о том, что их приставки не- существует – 404 или 410. Сие не только обеспечит чистоту индекса, только и улучшит показатель безопасности сайта, таким (образом как любое программное обеспечение, направленное в разведку сайта, не сможет перекачать данные со страниц, передающих указанные коды.
Изжитие угрозы дублирования страниц сайта и парализация некачественных страниц, не предназначенных угоду кому) представления в поиске
Чтобы нормализовать индексацию сайта и оптимизировать его ранжирование, приходится выполнить приведенные далее рекомендации числом нейтрализации угрозы дублей и некачественных страниц.
Оптимизация файла robots.txt
Отваленный файл позволяет определить для поисковых систем первостепенный адрес сайта, а также обеспечивает корректную индексацию важных страниц с через указания адреса карты сайта. В файле robots.txt допустимо указать задержку в индексации при чрезмерной нагрузке получи и распишись сайт со стороны поисковых роботов. За исключением этого он используется для указания страниц и рубрик сайта, индексировать которые безграмотный следует – они будут удалены с выдачи.
Сейчас файл расположен сообразно адресу http://glavfundament.ru/robots.txt. Есть такие директивы являются излишними, поскольку закрывают с индексирования страницы, которые в текущем представлении сайта малограмотный нуждаются в дополнительной настройке для сканирования.
1. Указания получай разрешение сканирования ресурсов .js и .css – данные файлы расположены умереть и не встать внешнем хранилище (CDN: http://glavfundament.ru.js.1c-bitrix-cdn.ru/), к которому безвыгодный применяются правила локального файла Robots.txt
Allow: /bitrix/templates/glavfundament/*.css
Allow: /bitrix/templates/glavfundament/js/
Allow: /bitrix/templates/glavfundament/css/
Allow: /bitrix/templates/glavfundament/img/
Allow: /bitrix/templates/glavfundament/fonts/
Allow: /bitrix/templates/main_template/*.css
Allow: /bitrix/templates/main_template/js/
Allow: /bitrix/templates/main_template/css/
Allow: /bitrix/templates/main_template/img/
Allow: /bitrix/templates/main_template/fonts/
Allow: /bitrix/cache/css/
Allow: /bitrix/cache/js/
Allow: /bitrix/css/
Allow: /bitrix/js/
2. (руководящее) указание Allow: /bitrix/images/ также является лишней, яко как сканирование по данному адресу далеко не запрещено никакими прочими правилами.
3. Достижение директив ниже не является необходимым во (избежание данного сайта, так как в его адресной структуре отсутствуют ссылки для указанные в правилах каталоги.
Disallow: /bitrix/
Disallow: /scripts/
Disallow: /_auth/
4. Директивы, запрещающие индексация страниц с определенными параметрами, также могут толкать(ся) отброшены, так как в данное дата в ссылочной структуре сайта отсутствуют страницы, в которых используются указанные в правилах фрагменты URL.
Disallow: *SORT=*
Disallow: *VIEW_MODE=*
…
Disallow: *clear_cache=*
Disallow: *undefined
Disallow: *start_frame_cache_email-href
5. Накипь директивы, запрещающие сканирование в определенных каталогах.
Disallow: /mainpagetest/
Disallow: /price/various_types_svai/test
Disallow: /coupon/
Disallow: /testing/
Disallow: /project_house/
Правдоподобно, тестовые страницы, которые в данное досуг транслируют код ответа 404, и отнюдь не нуждаются в дополнительной настройке индексации.
Равным образом отметим, что поиск Google может не принимать во внимание директивы файла robots.txt в случае, на случай если на закрытую от индексации страницу ведут внешние ссылки. В рассуждении сего все тестовые работы рекомендуется жить на отдельном адресе, защищенном с сканирования путем паролирования директории.
…
Disallow: /price/41/
Disallow: /price/42/
Disallow: /price/43/
Disallow: /price/44/
Disallow: /price/45/
Disallow: /price/calct_test_page4
Disallow: /price/index-test
Указанные в директивах страницы отсутствуют в ссылочной структуре сайта, а и при обращении к ним транслируется адрес 200. После настройки корректной работы механизма передачи ошибки 404 эмпирика URL должны будут отдавать код 404 и опять же перестанут нуждаться в упоминании внутри robots.txt, этак что их можно будет отвести из файла.
Дополнительно, независимо ото настройки ошибки 404, из файла robots.txt нуждаться удалить правило:
Disallow: /building/project_house/
Возьми эту страницу будут продвигаться требования, связанные с готовыми домами на свайном фундаменте.
Вверху представлен конечный файл robots.txt после всего удаления избыточных правил: им есть заменить существующий robots.txt после окончания настройки работы механизма передачи ошибки 404:
User-Agent: *
Disallow: /search/
Disallow: /go/
Disallow: /register
Disallow: /clients/reminder_client #страницы кто в отсутствии в структуре, если вы не используете эту страницу рекомендуется настроить адрес 404 или 410 при обращении к адресу, а в рассуждении сего удалить директиву из Robots.txt
Disallow: /learning/
Disallow: /proect/znat #страницы на гумне — ни снопа в структуре, если вы не используете эту страницу рекомендуется настроить адрес 404 или 410 при обращении к адресу, а посему удалить директиву из robots.txt
Disallow: /forum/ #страницы не имеется в структуре, если вы не используете эту страницу рекомендуется настроить шифр 404 или 410 при обращении к адресу, а дальше удалить директиву из robots.txt
Disallow: /club/ #страницы не имеется в структуре, если вы не используете эту страницу рекомендуется настроить адрес 404 или 410 при обращении к адресу, а позднее удалить директиву из robots.txt
Disallow: /press-center/company_news/
Disallow: /press-center/exhibition/
Disallow: *PAGEN_1=*
User-Agent: Yandex
Disallow: /search/
Disallow: /go/
Disallow: /register
Disallow: /clients/reminder_client
Disallow: /learning/
Disallow: /proect/znat
Disallow: /forum/
Disallow: /club/
Disallow: /press-center/company_news/
Disallow: /press-center/exhibition/
Disallow: *PAGEN_1=*
Sitemap: http://glavfundament.ru/sitemap.xml
Host: glavfundament.ru
Рядом следующем обходе поисковых роботов обсуждаемые страницы, в случае коль скоро они станут транслировать корректный шифр ответа (404 или 410), будут исключены изо основного поискового индекса.
Кроме сего, для борьбы с избыточной индексацией рекомендуется найти запрет на сканирование страниц средствами Яндекс.Метрики.
Нормирование адресов страниц к единообразному окончанию и отрегулирование переадресации при обращении к URL без знака “/” в конце строки
Без дальних слов большая часть страниц в ссылочной структуре рассматриваемого сайта включает в конце строки адреса знак “/”, возьмем:
http://glavfundament.ru/clients/typesvai/1214/
http://glavfundament.ru/clients/treaties/21225/
http://glavfundament.ru/clients/articles/vintovye-svai-s-litym-nakonechnikom/
Рядом этом если знак «/» будет пропущен в результате ошибки в внутренней или внешней ссылке нате сайт, страницы ответят кодом 404:
В в таком случае же время в некоторых других URL печать “/” в конце пропущен, например, здесь:
http://glavfundament.ru/press-center/events
http://glavfundament.ru/produce/technology/otech
http://glavfundament.ru/building/building_stages/threading
Разве ссылки на эти страницы будут указаны с ошибкой (добавлением знака “/”), ведь две из трех страниц передадут адрес ответа 404. Такого адреса кого и след простыл, что формально верно, однако может вопрос жизни и смерти снизить полноту и скорость индексации ресурса, манером) как внешние ссылки на сайт могут кормить большое количество ошибок в окончании URL страниц.
Необходимо внести в ссылочную структуру сайта необходимые изменения, для того чтоб:
1. Все HTML-страницы сайта имели всегдашний единственный верный адрес со наслышан “/” в конце строки.
2. Программное обеспечение сайта было настроено получай передачу кода 301 и серверного перенаправления около обращении к URL без знака “/” в конце строки сверху URL по умолчанию, то есть со наслышан “/” в конце строки, как это показано повыше.
Коррекция поведения сервера при обращении к адресам страниц, выполненных в верхнем регистре
Вот-вот большинство страниц в ссылочной структуре рассматриваемого сайта имеют URL адреса, выполненные в нижнем регистре, как например:
http://glavfundament.ru/building/civil_found/house/59868/
http://glavfundament.ru/building/industrial_found/hangar/48992/
http://glavfundament.ru/building/civil_found/pier/21531/
Тутти эти адреса включены в ссылочную структуру сайта и передают адрес ответа с сервера 200 (ОК), как будто позволяет поисковым системам сканировать их и играть в выдаче.
Однако в адресном поле сайта вот и все встречаются URL, содержащие символы в верхнем регистре. И если нет перевести эти же URL в общепринятый исподний регистр, то две из трех указанных за пределами страниц снова будут доступны с целью сканирования и представления в выдаче, но условно в соответствии с новому адресу. Коды ответов сервера:
Таким образом получи и распишись этапе сканирования сайта поиск Яндекса фиксирует проблему дублирования страниц, что такое? может привести к снижению эффективности поискового продвижения сайта.
Затем) чтоб(ы) решить эту проблему, рекомендуется ликвидировать все адреса страниц в ссылочной структуре сайта к одному виду: доставлять их в классическом, нижнем регистре.
Впоследств того как все адреса будут приведены к единообразному виду (век в нижнем регистре), потребуется настроить миросозерцание для организации постоянных серверных редиректов с кодом ответа 301 ради всех страниц, к которым обратились с ошибкой в адресе (в наше случае сие HTML-страницы со знаками в верхнем регистре в URL).
Ликвидаторство угрозы дублей со стороны копий сайта, расположенных возьми других адресах
Для того чтоб копии http://glavfundament.ru/, расположенные без задержки по адресам:
http://static.243.202.76.144.clients.your-server.de./
http://static.243.202.76.144.clients.your-server.de/
http://144.76.202.243/
неважный (=маловажный) помешали поисковому продвижению основного выбранного сайта, треба сообщить поисковым системам, что исходняк адреса являются синонимами адреса http://glavfundament.ru/. С целью этого потребуется сделать следующее:
Про поиска Яндекса нужно обеспечить соответственно адресам сайтов-копий (http://static.243.202.76.144.clients.your-server.de./robots.txt; http://static.243.202.76.144.clients.your-server.de/robots.txt; http://144.76.202.243/robots.txt) существование точной копии файла инструкций robots.txt расположенного до адресу http://glavfundament.ru/robots.txt.
Про поиска Google необходимо канонизировать и старый и малый страницы сайтов-копий (http://static.243.202.76.144.clients.your-server.de./; http://static.243.202.76.144.clients.your-server.de/; http://144.76.202.243/) с их аналогами сверху http://glavfundament.ru/.
Таким образом, к примеру сказать, страница http://static.243.202.76.144.clients.your-server.de./ должна обнимать тег с указанием на страницу http://glavfundament.ru/
<link rel="canonical" href="http://glavfundament.ru/"/>
Подробнее оборона канонизацию можно прочитать: https://yandex.ru/support/webmaster/controlling-robot/html.xml#canonical и https://support.google.com/webmasters/answer/139066?hl=ru.
Исправление XML-карты сайта
В данный момент бери http://glavfundament.ru/ имеется XML-карта, индексный обложка которой расположен по адресу http://glavfundament.ru/sitemap.xml.
Вместе с тем эта карта не является оптимальной.
1. XML-чертеж разделена на 6 файлов, что осложняет ревизия и анализ:
Нет никакой необходимости раздвигать на несколько файлов карту сайта, содержащего не так 50 тысяч адресов страниц. До данным сканирования, к аудиту сейчас для сайте http://glavfundament.ru/ расположено почти ~450 ценных адресов страниц (~900, когда считать документы *.pdf и *.doc/docx):
Чтобы только и остается было сравнить число и состав URL в карте сайта с имеющимися в поисковых выдачах, рекомендуется снарядить карту в один XML-файл.
2. Текущая разночтение карты содержит записи, указывающие получи и распишись страницы сайта с редиректами, например:
http://glavfundament.ru/building/industrial_found/building
http://glavfundament.ru/building/civil_found/reconstruction
http://glavfundament.ru/contacts
В карте:
Коды ответов с сервера:
Редиректы почти не всегда негативно сказываются на показателях индексации, как может привести к снижению эффективности продвижения. Много значит следить, чтобы в карте сайта приставки не- было ссылок на страницы с редиректами. Взамен них необходимо поместить конечные адреса перенаправляемых страниц.
3. Картишки содержит битые ссылки (с ошибкой 404), вот хоть:
http://glavfundament.ru/contacts/city
http://glavfundament.ru/directories/detail.php?ID=87525
http://glavfundament.ru/directories/detail.php?ID=87533
http://glavfundament.ru/information_ratings/detail.php?ID=69108
В карте:
Коды ответов сервера:
Страницы 404 опять же снижают параметры индексации. Если кватернион таких страниц становится значительным, автоматические алгоритмы поисковых систем могут предпринять неверный вывод о том, что без задержки на сайте ведутся какие-ведь технические работы или он заброшен — в таком случае его позиции в выдаче будут понижены. Необходимо следить за тем, чтобы портулан сайта не содержала ссылок для страницы 404.
4. В файл карты http://glavfundament.ru/sitemap_iblock_30.xml включены ссылки держи файлы изображений, но с нарушением правил синтаксиса разметки:
На правах видно на рисунке выше, файлы изображений размечены в файле подобно ((тому) как) обычные ссылки на страницы. Зато, согласно стандарту для графических файлов, в карте надо использоваться отдельный синтаксис разметки. Подробнее об этом читайте в соответствии с ссылке https://support.google.com/webmasters/answer/178636?hl=ru.
5. Обложка http://glavfundament.ru/sitemap_iblock_2.xml без остатка состоит из ссылок на страницы, запрещенные к индексации помощью файл robots.txt.
В карте красный соль земли означает закрытое для сканирования средства URL.
Для достижения наиболее полной индексации сайта нужно произвести ремонт текущую XML-карту таким образом, чтоб симпатия состояла из двух файлов: исполнение) указания адресов HTML-страниц и во (избежание указания адресов изображений с сайта.
Что один файла карты должны включать в нашенский состав регулярно обновляемые (например, с через php-скрипта, привязанного к задаче cron) дневник обо всех ценных HTML-страницах сайта и изображениях с сайта, которые приходится представить к индексации поисковыми роботами и которые в соответствии с вашему мнению могут принести пользу посетителям поисковых систем.
Отметим, что же XML-карта сайта не должна кого чем господь наделил добрейшим в своем составе ссылки на:
- дубли страниц;
- служебные страницы тож страницы, находящиеся «в разработке», в часть числе тестовые;
- несуществующие страницы (404, 410);
- страницы с редиректами (30*);
- неканонические версии страницы;
- страницы с идиотически сгенерированным содержимым;
- страницы, запрещенные к индексации путем файл инструкций robots.txt.
С примерами карточная игра и дополнительной информацией об XML-формате не возбраняется ознакомиться по официальному адресу стандарта: http://www.sitemaps.org/ru/protocol.html.
Вот и все о требуемом формате карты сайта разрешено узнать дополнительно на сайте Google объединение адресу: http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156184.
Дополнительные рекомендации
В этой статье автор этих строк рассмотрели наиболее критичные ошибки, обнаруженные получи и распишись сайте. Их исправления необходимо придать в первую очередь. В статью не вошли есть такие рекомендации с пометкой «важно»:
- оптимизация дополнительной навигации сайта («хлебных крошек»);
- конверсия домена на работу по защищенному протоколу HTTPS;
- оптимизация раздела «Контакты»;
- соэ сайта для персональных компьютеров и мобильных устройств;
- самоустранение редиректов и страниц 404 в структуре сайта;
- оптимизация заключение;
- оптимизация файлов формата, отличного ото HTML;
- оптимизация распределения ссылочного веса.
В следующей статье автор этих строк поделимся текстовыми рекомендациями, которые помогут послужить порукой создаваемым страницам релевантность с поисковыми запросами изо семантического ядра. Мы также представим результаты юзабилити-аудита, в ходе которого наш брат обнаружили наиболее значимые проблемы в эргономике сайта к пользователей.
Источник:
Кейс: полный аудит строительного сайта. Часть 1
гопкомпания «Ашманов и партнеры» проводит двум ежегодные конференции: в декабре проходит Optimization с целью специалистов по SEO и руководителей отделов сетка-маркетинга, а в марте — eTarget пользу кого специалистов по маркетингу, бренд-менеджеров и директоров департаментов рекламы, маркетинга и PR.
Традиционно для мероприятиях компания разыгрывает поисковый экспертиза, выдержки из которого публикуются для SEOnews. В прошлом году был опубликован SEO-экспертиза сайта сети центров дополнительного образования — ваша милость можете прочитать первую и вторую часть кейса.
В декабрьской конференции Optimization 2016 организаторы разыграли середи участников мероприятия поисковый аудит. В этом году суперприз достался производственно-строительной организации «ГлавФундамент», которая занимается производством винтовых свай, проектированием и строительством фундаментов.
Набитый (битком) аудит, который поможет компании «ГлавФундамент» свести к минимуму отрыв от конкурентов, занимает 155 страниц, почему с читателями SEOnews мы также, точно и в прошлый раз, поделимся сокращенной версией, разделенной сверху две статьи.
В первой части аудита пишущий эти строки публикуем рекомендации по улучшению индексации сайта поисковыми системами. В следующем выпуске выйдут рекомендации числом текстовой коррекции страниц и улучшению эргономики сайта.
Семантическое сердцевина, которое было создано для проведения поискового аудита проекта, состоит немедля из 924 релевантных бизнесу запросов общей популярностью в соответствии с Москве в 18 521 обращение в месяц (декабрь 2016, за данным SeoRate.ru). Из этих запросов:
- в ТОП-10 Яндекса точно по Москве сайт уже сейчас находится сообразно 209 запросам;
- в ТОПе поисковой системы Google объединение Москве – по 258 запросам.
Получи и распишись момент проведения измерений к аудиту семьдесят эффективных показов сайта http://glavfundament.ru/ ровно по данным www.SeoRate.ru составило 953 показа в лунный (серп. Видимость сайта по совокупности поисковых систем (до поры) до времени равна 5,19%. В целом это невыгодный слишком хороший результат, учитывая, что-что общая видимость основных конкурентов составляет безотлагательно ~64% и ~36% соответственно.
Корректная индексация — ключевой этап работы над продвижением сайта, вследствие этого данная стадия является базисом про дальнейшей эффективной работы по поисковому продвижению. Приведенные рекомендации должно внедрить в первую очередь. Для туалет владельца сайта и читателей SEOnews наш брат расположили их в том порядке, в котором их ничего не поделаешь реализовать.
Обеспечение стабильного доступа к сайту
Вслед за последний год было зафиксировано один или два продолжительных сбоев в работе сайта, бери что указывают данные мониторинга в Яндекс.Метрике.
Скриншот с отчета системы:
Также проблема обнаруживается быть ручном сканировании страниц сайта в одну крош потоков при неравномерной нагрузке согласно количеству запрашиваемых страниц, имитирующей реальных пользователей. Сие видно на иллюстрации ниже:
Тюнинг корректной передачи ошибки 404
Сейчас конструкция передачи кода 404 чаще чем) не срабатывает: этот код приставки не- передается при обращении к несуществующим страницам сайта, за примером далеко ходить не нужно, этим (цветом выделены модифицированные участки URL – в таком виде их да и только на сайте, то есть сие несуществующие адреса):
http://glavfundament.ru/proect/proect_news/18386/1255/1112/
http://glavfundament.ru/contacts/naberezhnye-chelny/GET404
http://glavfundament.ru/building/civil_found/pier/21594/999
http://glavfundament.ru/vintovye-svai-otzyvy/?PAGEN_1=3123123123213213123213
http://glavfundament.ru/?login&admin
http://glavfundament.ru/clients/articles/obosnovanie-neobkhodimosti-betonirovaniya-stvola-vintovoy-svai/%3Cbr%3E
Ответы сервера:
Незамедлительно все описанные выше несуществующие страниц передают в итоге адрес ответа 200 (OK), вместо 404 (маловыгодный существует) или 410 (удалено на всю жиз), что может привести к нарушению индексации сайта. Сие происходит даже при наличии канонических страниц, указываемых в коде несуществующих страниц и ведущих для тот уровень вложенности, где расположен активный URL. Например:
Рекомендуется внести в программное оборудование сайта необходимые изменения, чтобы в случае обращения к несуществующим страницам либо — либо страницам с адресами, указанными с подобными ошибками (знамение скобки в конце строки) сервер отвечал корректно, кодом 404 (маловыгодный существует) или 410 (документ удален на веки (веков), без перенаправлений.
При этом в случае служебных страниц, хоть бы, http://glavfundament.ru/bitrix/admin/#authorize, которая бесспорно не нуждается в представлении в поиске, начинка можно отображать любое: для пользователя такие страницы будут коптеть как обычно, но при этом адрес ответа в http-заголовке таких страниц закругляйтесь говорить о том, что их приставки не- существует – 404 или 410. Сие не только обеспечит чистоту индекса, да и улучшит показатель безопасности сайта, этак как любое программное обеспечение, направленное для разведку сайта, не сможет списать данные со страниц, передающих указанные коды.
Исключение угрозы дублирования страниц сайта и парализование некачественных страниц, не предназначенных с целью представления в поиске
Чтобы нормализовать индексацию сайта и оптимизировать его ранжирование, приходится выполнить приведенные далее рекомендации объединение нейтрализации угрозы дублей и некачественных страниц.
Оптимизация файла robots.txt
Оный файл позволяет определить для поисковых систем опорный адрес сайта, а также обеспечивает корректную индексацию важных страниц с через указания адреса карты сайта. В файле robots.txt если угодно указать задержку в индексации при чрезмерной нагрузке получи и распишись сайт со стороны поисковых роботов. Не считая этого он используется для указания страниц и рубрик сайта, индексировать которые невыгодный следует – они будут удалены с выдачи.
Сейчас файл расположен сообразно адресу http://glavfundament.ru/robots.txt. Иные директивы являются излишними, поскольку закрывают с индексирования страницы, которые в текущем представлении сайта приставки не- нуждаются в дополнительной настройке для сканирования.
1. Указания для разрешение сканирования ресурсов .js и .css – данные файлы расположены нет слов внешнем хранилище (CDN: http://glavfundament.ru.js.1c-bitrix-cdn.ru/), к которому отнюдь не применяются правила локального файла Robots.txt
Allow: /bitrix/templates/glavfundament/*.css
Allow: /bitrix/templates/glavfundament/js/
Allow: /bitrix/templates/glavfundament/css/
Allow: /bitrix/templates/glavfundament/img/
Allow: /bitrix/templates/glavfundament/fonts/
Allow: /bitrix/templates/main_template/*.css
Allow: /bitrix/templates/main_template/js/
Allow: /bitrix/templates/main_template/css/
Allow: /bitrix/templates/main_template/img/
Allow: /bitrix/templates/main_template/fonts/
Allow: /bitrix/cache/css/
Allow: /bitrix/cache/js/
Allow: /bitrix/css/
Allow: /bitrix/js/
2. Распоряжение Allow: /bitrix/images/ также является лишней, что-то около как сканирование по данному адресу невыгодный запрещено никакими прочими правилами.
3. Достижение директив ниже не является необходимым во (избежание данного сайта, так как в его адресной структуре отсутствуют ссылки получай указанные в правилах каталоги.
Disallow: /bitrix/
Disallow: /scripts/
Disallow: /_auth/
4. Директивы, запрещающие индексация страниц с определенными параметрами, также могут взяться отброшены, так как в данное эра в ссылочной структуре сайта отсутствуют страницы, в которых используются указанные в правилах фрагменты URL.
Disallow: *SORT=*
Disallow: *VIEW_MODE=*
…
Disallow: *clear_cache=*
Disallow: *undefined
Disallow: *start_frame_cache_email-href
5. Накипь директивы, запрещающие сканирование в определенных каталогах.
Disallow: /mainpagetest/
Disallow: /price/various_types_svai/test
Disallow: /coupon/
Disallow: /testing/
Disallow: /project_house/
Оч, тестовые страницы, которые в данное дата транслируют код ответа 404, и безграмотный нуждаются в дополнительной настройке индексации.
Вот и все отметим, что поиск Google может не принять во внимание директивы файла robots.txt в случае, ежели на закрытую от индексации страницу ведут внешние ссылки. Посему все тестовые работы рекомендуется осуществлять на отдельном адресе, защищенном с сканирования путем паролирования директории.
…
Disallow: /price/41/
Disallow: /price/42/
Disallow: /price/43/
Disallow: /price/44/
Disallow: /price/45/
Disallow: /price/calct_test_page4
Disallow: /price/index-test
Указанные в директивах страницы отсутствуют в ссылочной структуре сайта, а и при обращении к ним транслируется шифр 200. После настройки корректной работы механизма передачи ошибки 404 причина URL должны будут отдавать код 404 и тоже перестанут нуждаться в упоминании внутри robots.txt, таким (образом что их можно будет отчистить из файла.
Дополнительно, независимо через настройки ошибки 404, из файла robots.txt желательно удалить правило:
Disallow: /building/project_house/
Держи эту страницу будут продвигаться требования, связанные с готовыми домами на свайном фундаменте.
Далее представлен конечный файл robots.txt потом удаления избыточных правил: им позволено заменить существующий robots.txt после окончания настройки работы механизма передачи ошибки 404:
User-Agent: *
Disallow: /search/
Disallow: /go/
Disallow: /register
Disallow: /clients/reminder_client #страницы блистает своим отсутствием в структуре, если вы не используете эту страницу рекомендуется настроить шифр 404 или 410 при обращении к адресу, а через некоторое время удалить директиву из Robots.txt
Disallow: /learning/
Disallow: /proect/znat #страницы недостает в структуре, если вы не используете эту страницу рекомендуется настроить шифр 404 или 410 при обращении к адресу, а впоследствии удалить директиву из robots.txt
Disallow: /forum/ #страницы в помине (заводе) нет в структуре, если вы не используете эту страницу рекомендуется настроить адрес 404 или 410 при обращении к адресу, а далее удалить директиву из robots.txt
Disallow: /club/ #страницы в помине (заводе) нет в структуре, если вы не используете эту страницу рекомендуется настроить шифр 404 или 410 при обращении к адресу, а дальше удалить директиву из robots.txt
Disallow: /press-center/company_news/
Disallow: /press-center/exhibition/
Disallow: *PAGEN_1=*
User-Agent: Yandex
Disallow: /search/
Disallow: /go/
Disallow: /register
Disallow: /clients/reminder_client
Disallow: /learning/
Disallow: /proect/znat
Disallow: /forum/
Disallow: /club/
Disallow: /press-center/company_news/
Disallow: /press-center/exhibition/
Disallow: *PAGEN_1=*
Sitemap: http://glavfundament.ru/sitemap.xml
Host: glavfundament.ru
Возле следующем обходе поисковых роботов обсуждаемые страницы, в случае если нет они станут транслировать корректный адрес ответа (404 или 410), будут исключены изо основного поискового индекса.
Кроме сего, для борьбы с избыточной индексацией рекомендуется найти запрет на сканирование страниц средствами Яндекс.Метрики.
Превращение адресов страниц к единообразному окончанию и набор переадресации при обращении к URL без знака “/” в конце строки
В ту же минуту большая часть страниц в ссылочной структуре рассматриваемого сайта охватывает в конце строки адреса знак “/”, на выдержку:
http://glavfundament.ru/clients/typesvai/1214/
http://glavfundament.ru/clients/treaties/21225/
http://glavfundament.ru/clients/articles/vintovye-svai-s-litym-nakonechnikom/
Подле этом если знак «/» будет пропущен в результате ошибки изумительный внутренней или внешней ссылке бери сайт, страницы ответят кодом 404:
В в таком случае же время в некоторых других URL пометка “/” в конце пропущен, например, здесь:
http://glavfundament.ru/press-center/events
http://glavfundament.ru/produce/technology/otech
http://glavfundament.ru/building/building_stages/threading
Неравно ссылки на эти страницы будут указаны с ошибкой (добавлением знака “/”), так две из трех страниц передадут шифр ответа 404. Такого адреса перевелся, что формально верно, однако может необходимо снизить полноту и скорость индексации ресурса, таково как внешние ссылки на сайт могут харчить большое количество ошибок в окончании URL страниц.
Нельзя не внести в ссылочную структуру сайта необходимые изменения, воеже:
1. Все HTML-страницы сайта имели стационарный единственный верный адрес со наслышан “/” в конце строки.
2. Программное обеспечение сайта было настроено нате передачу кода 301 и серверного перенаправления присутствие обращении к URL без знака “/” в конце строки держи URL по умолчанию, то есть со наслышан “/” в конце строки, как это показано повыше.
Коррекция поведения сервера при обращении к адресам страниц, выполненных в верхнем регистре
Неотлагательно большинство страниц в ссылочной структуре рассматриваемого сайта имеют URL адреса, выполненные в нижнем регистре, к примеру сказать:
http://glavfundament.ru/building/civil_found/house/59868/
http://glavfundament.ru/building/industrial_found/hangar/48992/
http://glavfundament.ru/building/civil_found/pier/21531/
Весь век эти адреса включены в ссылочную структуру сайта и передают адрес ответа с сервера 200 (ОК), словно позволяет поисковым системам сканировать их и воображать в выдаче.
Однако в адресном поле сайта да встречаются URL, содержащие символы в верхнем регистре. И если только перевести эти же URL в общепринятый цокольный регистр, то две из трех указанных вне страниц снова будут доступны для того сканирования и представления в выдаче, но условно соответственно новому адресу. Коды ответов сервера:
Таким образом сверху этапе сканирования сайта поиск Яндекса фиксирует проблему дублирования страниц, по какой причине может привести к снижению эффективности поискового продвижения сайта.
Ради решить эту проблему, рекомендуется изничтожить все адреса страниц в ссылочной структуре сайта к одному виду: передавать их в классическом, нижнем регистре.
Чрез (год) того как все адреса будут приведены к единообразному виду (завсегда в нижнем регистре), потребуется настроить распорядок для организации постоянных серверных редиректов с кодом ответа 301 на всех страниц, к которым обратились с ошибкой в адресе (в наше случае сие HTML-страницы со знаками в верхнем регистре в URL).
Отключение угрозы дублей со стороны копий сайта, расположенных держи других адресах
Для того с намерением копии http://glavfundament.ru/, расположенные без дальних разговоров по адресам:
http://static.243.202.76.144.clients.your-server.de./
http://static.243.202.76.144.clients.your-server.de/
http://144.76.202.243/
безвыгодный помешали поисковому продвижению основного выбранного сайта, потребно сообщить поисковым системам, что условия адреса являются синонимами адреса http://glavfundament.ru/. Чтобы этого потребуется сделать следующее:
Исполнение) поиска Яндекса нужно обеспечить числом адресам сайтов-копий (http://static.243.202.76.144.clients.your-server.de./robots.txt; http://static.243.202.76.144.clients.your-server.de/robots.txt; http://144.76.202.243/robots.txt) существование точной копии файла инструкций robots.txt расположенного сообразно адресу http://glavfundament.ru/robots.txt.
Ради поиска Google необходимо канонизировать конец страницы сайтов-копий (http://static.243.202.76.144.clients.your-server.de./; http://static.243.202.76.144.clients.your-server.de/; http://144.76.202.243/) с их аналогами возьми http://glavfundament.ru/.
Таким образом, пример, страница http://static.243.202.76.144.clients.your-server.de./ должна иметь тег с указанием на страницу http://glavfundament.ru/
<link rel="canonical" href="http://glavfundament.ru/"/>
Подробнее насчет канонизацию можно прочитать: https://yandex.ru/support/webmaster/controlling-robot/html.xml#canonical и https://support.google.com/webmasters/answer/139066?hl=ru.
Корректировка XML-карты сайта
В данный момент получи и распишись http://glavfundament.ru/ имеется XML-карта, индексный обложка которой расположен по адресу http://glavfundament.ru/sitemap.xml.
Но эта карта не является оптимальной.
1. XML-чертеж разделена на 6 файлов, что осложняет надзор и анализ:
Нет никакой необходимости разнимать на несколько файлов карту сайта, содержащего слабее. Ant. более 50 тысяч адресов страниц. Соответственно данным сканирования, к аудиту сейчас сверху сайте http://glavfundament.ru/ расположено сбочку ~450 ценных адресов страниц (~900, если нет считать документы *.pdf и *.doc/docx):
Чтобы (бог) велел было сравнить число и состав URL в карте сайта с имеющимися в поисковых выдачах, рекомендуется снарядить карту в один XML-файл.
2. Текущая разночтение карты содержит записи, указывающие держи страницы сайта с редиректами, например:
http://glavfundament.ru/building/industrial_found/building
http://glavfundament.ru/building/civil_found/reconstruction
http://glavfundament.ru/contacts
В карте:
Коды ответов с сервера:
Редиректы чуть (было всегда негативно сказываются на показателях индексации, сколько может привести к снижению эффективности продвижения. Много значит следить, чтобы в карте сайта мало-: неграмотный было ссылок на страницы с редиректами. Где бы них необходимо поместить конечные адреса перенаправляемых страниц.
3. Фишка содержит битые ссылки (с ошибкой 404), как-то:
http://glavfundament.ru/contacts/city
http://glavfundament.ru/directories/detail.php?ID=87525
http://glavfundament.ru/directories/detail.php?ID=87533
http://glavfundament.ru/information_ratings/detail.php?ID=69108
В карте:
Коды ответов сервера:
Страницы 404 и снижают параметры индексации. Если дробь таких страниц становится значительным, автоматические алгоритмы поисковых систем могут исполнять неверный вывод о том, что без дальних слов на сайте ведутся какие-в таком случае технические работы или он заброшен — в таком случае его позиции в выдаче будут понижены. Надо следить за тем, чтобы картодиаграмма сайта не содержала ссылок держи страницы 404.
4. В файл карты http://glavfundament.ru/sitemap_iblock_30.xml включены ссылки получай файлы изображений, но с нарушением правил синтаксиса разметки:
Подобно ((тому) как) видно на рисунке выше, файлы изображений размечены в файле ровно обычные ссылки на страницы. За всем тем, согласно стандарту для графических файлов, в карте потребно использоваться отдельный синтаксис разметки. Подробнее об этом читайте в соответствии с ссылке https://support.google.com/webmasters/answer/178636?hl=ru.
5. Обложка http://glavfundament.ru/sitemap_iblock_2.xml совсем состоит из ссылок на страницы, запрещенные к индексации по вине файл robots.txt.
В карте красный фрез означает закрытое для сканирования средства URL.
Для достижения наиболее полной индексации сайта нужно сторнировать текущую XML-карту таким образом, чтоб симпатия состояла из двух файлов: пользу кого указания адресов HTML-страниц и в целях указания адресов изображений с сайта.
Что один файла карты должны включать в самобытный состав регулярно обновляемые (например, с через php-скрипта, привязанного к задаче cron) дневник обо всех ценных HTML-страницах сайта и изображениях с сайта, которые ничего не поделаешь представить к индексации поисковыми роботами и которые по мнению вашему мнению могут принести пользу посетителям поисковых систем.
Отметим, ровно XML-карта сайта не должна принадлежит) в своем составе ссылки на:
- дубли страниц;
- служебные страницы разве страницы, находящиеся «в разработке», в волюм числе тестовые;
- несуществующие страницы (404, 410);
- страницы с редиректами (30*);
- неканонические версии страницы;
- страницы с не сгенерированным содержимым;
- страницы, запрещенные к индексации помощью файл инструкций robots.txt.
С примерами карточная игра и дополнительной информацией об XML-формате допускается ознакомиться по официальному адресу стандарта: http://www.sitemaps.org/ru/protocol.html.
И о требуемом формате карты сайта дозволяется узнать дополнительно на сайте Google точно по адресу: http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156184.
Дополнительные рекомендации
В этой статье пишущий эти строки рассмотрели наиболее критичные ошибки, обнаруженные в сайте. Их исправления необходимо придать в первую очередь. В статью не вошли иные рекомендации с пометкой «важно»:
- оптимизация дополнительной навигации сайта («хлебных крошек»);
- перебазирование домена на работу по защищенному протоколу HTTPS;
- оптимизация раздела «Контакты»;
- бойкость сайта для персональных компьютеров и мобильных устройств;
- отключение редиректов и страниц 404 в структуре сайта;
- оптимизация заключение;
- оптимизация файлов формата, отличного ото HTML;
- оптимизация распределения ссылочного веса.
В следующей статье автор поделимся текстовыми рекомендациями, которые помогут оснастить создаваемым страницам релевантность с поисковыми запросами с семантического ядра. Мы также представим результаты юзабилити-аудита, в ходе которого пишущий эти строки обнаружили наиболее значимые проблемы в эргономике сайта ради пользователей.
Источник:
нет комментариев