Как провести технический аудит сайта?

Технический аудит сайта выявляет ошибки в работе веб-ресурса, которые могут вызвать проблемы в поисковых системах. Например, усложнить индексацию сайта, привести к выпадению части страниц из базы поисковых систем, в некоторых случаях – к наложению санкций. В начале статьи я дам перечень проверок, а в конце – список инструментов, которые помогут их провести.

Если что-либо будет не понятно, задавайте вопросы в комментариях. По ряду тем, например, настройке файла Robots.txt планируется подготовить отдельные статьи. Ссылки на них будут добавляться в мастер-класс по мере написания.

Подготовка к проведению технического аудита

До проведения технического аудита необходимо:

1. Добавить сайт в панель Яндекс.Вебмастер.
2. Добавить сайт в панель Центр вебмастеров Google.
3. Получить доступ в систему аналитики, например, Яндекс.Метрика или Google Analytics.

Указанные панели созданы поисковыми системами. В них отображается полезная информация по сайту, в том числе ряд технических ошибок в работе проекта и рекомендации поисковых систем.

Если сайт уже добавлен в панели, владелец ресурса может предоставить Вам гостевой доступ к просмотру данных. Для этого сообщите свой логин в Яндексе и Google. Владелец сайта предоставит этим логинам доступ к информации. Аналогично можно делегировать доступ к просмотру данных систем аналитики.

Проверка сайта в Яндекс.Вебмастер

1. Проверьте ошибки и рекомендации, которые имеются в Яндекс.Вебмастер. Исправьте ошибки и проведите рекомендуемые доработки.
2. Проверьте регион, присвоенный сайту в Яндексе. Если он отличается от региона, в котором продвигается сайт – необходимо изменить регион на нужный. Современные поисковые системы могут учитывать регион сайта при ранжировании. Например, если Вы зададите запрос «пластиковые окна» в Петербурге – то увидите петербургские сайты, в Москве – московские сайты.
3. Проверьте главное зеркало сайта. Выберите тот вариант домена, который будет продвигаться (с www или без www). Для поисковой системы www.kadrof.ru и kadrof.ru могут восприниматься как два разных сайта, хотя в большинстве случаев поисковая система «понимает», что на самом деле это один сайт. Настройка главного зеркала позволяет указать поисковой системе, какой вариант написания верный.
4. Проверьте вкладку «Диагностика» – «Безопасность». Здесь выводятся уведомления в случае обнаружения на сайте вредоносного кода.
5. Проверьте вкладку «Диагностика» – «Нарушения». Здесь могут выводиться нарушения, обнаруженные на сайте. На момент подготовки статьи функция работает в тестовом режиме и на вкладке может отображаться не вся информация.
6. Если у Вас имеются подозрения, что на сайт наложены санкции, напишите в поддержку Яндекс.Вебмастер письмо с просьбой уточнить, имеются ли в отношении Вашего сайта санкции. Если они есть, поддержка, как правило, подтверждает наличие ограничений и дает рекомендации, как исправить ситуацию.

Проверка сайта в Центре вебмастеров Google

1. Проверьте вкладку «Сообщения». Если в отношении сайта были какие-либо санкции, как правило, Вы найдете на вкладке уведомления об этом. Также Google высылает уведомления в случае недоступности сайта, резкого роста числа ошибок, и в ряде других случаев.
2. Проверьте вкладку «Вид в поиске» – «Оптимизация HTML». На данной вкладке выводятся проблемы, связанные с оптимизацией страниц. Например, здесь можно посмотреть страницы, у которых отсутствует TITLE либо он одинаковый для нескольких страниц, отсутствует мета-описание либо оно дублируется и т.д. Исправьте все проблемы, на которые указывает Google. Подробно про оптимизацию текстов на сайте мы поговорим позже.
3. Проверьте вкладку «Поисковый трафик» – «Меры, принятые вручную». Если на сайт наложены ручные санкции, на данной вкладке будет информация об ограничениях.
4. Проверьте вкладку «Сканирование» – «Ошибки сканирования». Здесь выводится информация об ошибках, которые возникли в процессе сканирования. Например, ошибка 404 означает, что страница не найдена роботом. Возможно, она была удалена. В идеальной ситуации на сайте не должно быть ошибок сканирования. Если на сайте имеются ссылки на удаленные страницы, данные ссылки стоит убрать (в народе их называют «битыми ссылками»).
5. Откройте вкладку «Проблемы безопасности» и проверьте, имеются или нет на сайте проблемы.
6. Настройте основной домен в Google. Сделать это можно в «Настройках сайта».

Проверка сайта в Яндекс.Метрике

Все данные необходимо смотреть за месяц. В Метрике имеется возможность выбора интервала, за который Вы просматриваете данные.

1. Проверьте показатель отказов. Показатель отказов обозначает долю посетителей, которые провели на сайте менее 15 секунд и посмотрели только одну страницу. Если показатель отказов выше 20%-25%, стоит разобраться, почему он такой высокий. Посмотрите отчет по входным страницам и проанализируйте страницы с высоким показателем отказов. Данные страницы стоит доработать, чтобы они лучше удерживали пользователей.
2. Проверьте аптайм сайта. Он должен быть 99,9% или выше. Если показатель ниже, необходимо повысить стабильность работы сайта (он часто не доступен для посетителей).
3. Проверьте скорость загрузки сайта. Низкая скорость загрузки снижает позиции сайта в поисковых системах. Примите меры для ускорения загрузки сайта.

Если на сайте установлена система Google Analytics, проверьте аналогичные показатели в данной системе.

Учитывайте разницу в подходах к измерению показателей. Например, в Google Analytics отказом считается посещение, в рамках которого была просмотрена одна страница, без учета длительности визита. Соответственно, в Google Analytics показатель отказов будет в разы выше, чем в Метрике, из-за разного подхода к измерениям.

Проверка домена и IP-адреса сайта

Домен – это имя сайта. Домен привязан к определенному IP-адресу, на котором могут располагаться другие сайты. «Плохие» соседи могут влиять на репутацию Вашего сайта в поисковых системах.

В рамках технического аудита проведите следующие проверки и выполните рекомендации:

1. Для продвижения лучше использовать классический домен на латинице. Желательно выбирать национальную зону домена, к которой относится сайт (для России - .ru), либо международную зону (.com, .net).
2. Проверьте, какие сайты находятся на том же IP-адресе, что и Ваш проект. Для этого используйте сервис https://2ip.ru/domain-list-by-ip/ Если среди сайтов имеются проекты, нарушающие законодательство, сомнительных тематик, лучше поменять IP-адрес. Для этого потребуется отправить запрос хостинг-провайдеру.
3. Проверьте IP-адрес сайта на наличие в СПАМ-базах при помощи сервиса https://2ip.ru/spam/. Если адрес находится в СПАМ-базах, свяжитесь с хостером и попросите исключить адрес из баз.
4. География сервера. Может повлиять на определение региона, к которому относится сайт. Оптимально размещать сайт на сервере в той стране, в которой Вы продвигаете сайт.

Проверка качества индексации сайта

В рамках технического аудита проверятся качество и полнота индексации сайта. Индексация – это процесс добавления страниц сайта в базу поисковой системы. Эту работу выполняют специальные роботы-пауки. Страницы, которых нет в базах поисковых систем, не принимают участие в поиске и не могут получить трафик из поисковых систем.

Проверьте количество страниц в поиске Яндекса и Google, и сравните их с числом страниц, которые фактически имеются на сайте. Число страниц, находящихся в поиске, можно найти в панелях для вебмастеров либо при помощи команды:

Если цифры сильно отличаются, это может означать:

• В поиск попали мусорные страницы, например, дубли (страницы с одинаковым содержанием, которые отличаются только адресом).
• Яндекс или Google добавили в базу не все документы с сайта. Например, поисковая система нашла не все страницы из-за глубокого уровня вложенности (посмотрите статью про оптимизацию структуры сайта).
• Ошибки в файле robots.txt привели к тому, что часть сайта оказалась закрытой от индексации в одной из поисковых систем.

Какие страницы на сайте необходимо закрывать от индексации?

При подозрении, что в поиск могли попасть мусорные страницы, просмотрите список страниц в поиске. В общих случаях стоит закрывать от индексации:

1. Дубли, т.е. страницы, имеющие одинаковое содержание, но разные адреса.
2. Результаты поиска на сайте.
3. Страницы, генерируемые формами подбора товаров, сортировками (если на данные страницы не собирается трафик).
4. Служебные разделы, например, личный кабинет клиента, корзину.
5. Профили пользователей на сайте, если по ним не собирается трафик.
6. Страницы с пользовательским соглашением, помощь по сайту, страницы с описанием условий оплаты, доставки товаров, возврата товаров (кроме ситуаций, когда такие страницы могут искать через поиск).
7. Версии страниц для печати.
8. Архивы новостей, статей, иных документов, на которые не нужно собирать трафик.
9. Страница с формой регистрации, восстановления пароля.

Закрыть страницы от индексации можно при помощи команд в специальном файле robots.txt, который размещается в корневой папке сайта и указывает роботам поисковых систем, какие страницы запрещены к индексации.

Подробно про составление файла robots.txt мы поговорим в отдельном уроке. Однако полезную информацию по составлению данного файла можно получить здесь.

Что делать, если не все страницы сайта индексируются?

Рассмотрим обратную ситуацию: не все полезные страницы сайта попадают в индекс поисковых систем и получают переходы из поиска. В этом случае в техническом аудите необходимо дать рекомендации:

1. Оптимизировать структуру сайта, если ряд страниц находятся слишком глубоко в структуре сайта.
2. Внедрить систему перелинковки на сайте. Например, разместить на карточках товаров ссылки на сопутствующие товары или аксессуары. По этим ссылкам смогут перейти роботы поисковых систем.
3. Создать карту сайта и обновлять ее по мере появления на сайте новых страниц. Карту сайта можно оформить в виде файла Sitemap.xml
4. Если в индекс не попадают похожие страницы, например, карточки товаров с похожими описаниями, добавьте на страницы уникальный контент. Например, разместите уникальные отзывы о товарах. Это повысит уникальность контента на страницах, что может решить проблему.
5. У каждого сайта имеются лимиты на число страниц, которые могут индексироваться. Если сайт уперся в лимиты, тогда закройте часть второстепенных страниц от индексации либо разнесите контент сайта по нескольким субдоменам. Второе решение более сложное и может быть не удобным для посетителей.

Проверка 404 страницы

При запросе страницы сервер выдает специальный код, который обозначает статус документа (найден, не найден, перемещен и т.д.) Если пользователь запрашивает документ, которого нет на сайте, сервер отдает код 404.

Можно настроить сервер так, что помимо кода 404, он будет направлять пользователя на специальную страницу, которая сообщит об отсутствии документа и подскажет пользователю, что ему можно делать. Пример 404 страницы на сайте kadrof.ru:

В рамках технического аудита:

1. Введите в строку браузера адрес заведомо несуществующей страницы на сайте и посмотрите, какая страница откроется. Идеально, чтобы открывалась специальная страница (ее называют 404 страницей) с информацией о том, что документ не найден и подсказками, что можно сделать пользователю.
2. Если страница 404 не выводится – дайте рекомендацию ее создать.
3. Проверьте, какой код отдает сервер при запросе несуществующей страницы. Сделать это можно при помощи сервиса https://webmaster.yandex.ru/tools/server-response/. Если код 404 – все в порядке. Если сервер отдает другой код, особенно код 200 (страница существует) – нужно перенастроить сервер. Отдача кода 200 при запросе несуществующей страницы приведет к тому, что такие страницы начнут попадать в базу поисковой системы.

Проверка кода страниц сайта

Технический аудит охватывает проверку кода сайта. Неправильная разметка страницы может привести к наложению санкций за переоптимизацию сайта. Поэтому посмотрите исходный код главной страницы, 2-3 разделов и подразделов на предмет соблюдения следующих рекомендаций:

1. Количество заголовков H1. Оптимальное количество заголовков – 1 шт. Если их больше, рекомендуется оставить один заголовок H1 на странице, а остальные разместить тегами H2 или H3. Суммарно на обычной странице должен быть 1 заголовок H1 и до 3-4 подзаголовков. Рекомендация не универсальная, но для ориентира подойдет.
2. Телефоны на сайте должны быть прописаны текстом. Не стоит выкладывать номера, нанесенные на картинки.
3. Ссылки в меню должны быть прописаны текстом.
4. Ссылки в меню и других частях сайта не должны находиться внутри тегов заголовков H1-H6, а также тегов B, STRONG, I.
5. Ключевые слова, по которым продвигается страница, не должны специально выделяться в тексте жирным шрифтом или курсивом. Не допускается массовое выделение ключевых фраз жирным шрифтом.
6. Все картинки на сайте должны иметь описание в теге ALT, соответствующее изображению.
7. Страницы не должны содержать текст, невидимый для посетителя. В частности, не допускается размещать текст на фоне того же или близкого оттенка.
8. Все ссылки на сторонние сайты должны открываться в новом окне (проверьте, что они имеют атрибут target=_blank).
9. Проверьте, что на сайте отсутствуют сквозные ссылки, например, на главную страницу. Часто такие ссылки размещаются в нижней части сайта и содержат в анкоре перечисления ключевых слов.
10. Если на сайте установлены ссылки на другие ресурсы, оставьте только обязательные ссылки. Все лишние ссылки лучше убрать, т.к. они уменьшают статический вес страниц Вашего сайта. В частности, лучше убрать ссылки на ненужные рейтинги, лишние счетчики и т.д.

Если Вы ранее не сталкивались с языком разметки HTML и не знаете, что такое теги – рекомендую изучать сайт http://htmlbook.ru/. Он поможет Вам усвоить материал данного раздела.

Оценка уровня контента на сайте

В рамках технического аудита необходимо проверить уникальность текстов на сайте, а также их оформление.

1. Проверьте уникальность текстов на 5-6 различных страницах. Для этого добавьте в поиск достаточно крупные фрагменты текста и проверьте, на каком месте выводится страница Вашего сайта. Если на первом – все в порядке. Если не на первом – значит, могут быть проблемы с уникальностью текстов.
2. Проверьте уникальность фотографий. Для этого запросите у клиента информацию, откуда взяты фотографии. Если они сделаны самостоятельно – это уникальный контент, и стоит его защитить при помощи водяных знаков. Если фотографии взяты из Интернета, это не уникальный контент, и лучше их заменить на уникальные снимки.
3. Проверьте оформление текстов на сайте. Текстовый контент должен разбиваться на абзацы, содержать списки, таблицы, фотографии. В текстах должен быть заголовок и подзаголовки. Размер шрифта заголовка и подзаголовка должен быть больше размера шрифта основного текста.
4. Выравнивание текстов лучше делать по левому краю. Тексты с выравниванием по ширине сложнее читать с экрана.
5. Размер шрифта должен быть комфортным для чтения. Если шрифт мелкий, его желательно увеличить.

Мобильная версия сайта

Экраны на мобильных устройствах меньше, чем на компьютерах и ноутбуках. Если на сайт активно заходят с мобильных устройств, необходимо реализовать на сайте адаптивную верстку (т.е. дизайн сайта будет подстраиваться под разрешение экрана пользователя), либо разработать мобильную версию сайта (отдельный сайт для мобильных устройств).

Посмотреть долю мобильной аудитории сайта можно в системах аналитики. Там же находится информация о показателях отказа для пользователей, зашедших с компьютеров и с мобильных устройств. Сравните эти показатели. Если показатель отказа с мобильных устройств значительно превышает аналогичный показатель с ПК, это дополнительный аргумент для внедрения адаптивного дизайна.

Проверка технической части сайта (CMS)

CMS – это система управления сайтом. Специальная программа, которая позволяет редактировать сайт, добавлять и удалять страницы, разделы, товары в каталоге и выполнять иные действия. Существует множество бесплатных и платных CMS.

С точки зрения SEO система управления должна отвечать следующим требованиям:

1. Предоставлять возможность редактировать TITLE, H1, meta-теги на каждой странице сайта.
2. Предоставлять возможность добавлять и редактировать тексты на всех страницах сайта, которые продвигаются в поисковых системах.
3. Все страницы сайта должны иметь постоянный адрес (URL), который не меняется в зависимости от того, в каком разделе находится данная страница или в какой раздел она переносится. Бывают ситуации, когда один товар находится в нескольких разделах каталога и адрес его карточки меняется в зависимости от раздела. Таким образом система управления генерирует несколько адресов страниц для одного товара и создает дубли.
4. Система управления должна предоставлять возможность задавать ЧПУ-адреса (человеко-понятные урлы), в которые можно добавить ключевые слова. Пример страницы с ЧПУ-адресом: http://www.kadrof.ru/freelance.shtml Без ЧПУ-адреса: http://www.kadrof.ru/mk/6043
5. Доступ в служебные разделы должен быть запаролен, и просмотр данных невозможен без авторизации на сайте. Были случаи, когда конфиденциальная информация индексировалась поисковыми системами, поскольку страницы с данными открывались по ссылкам (пусть и скрытым) без необходимости авторизации.
6. Не добавлять сессии в адреса страниц. Современные CMS не делают этого, но на некоторых старых сайтах Вы можете столкнуться с такой проблемой.
7. Проверьте наличие фавиконки на сайте. Фавикон – это значок, который выводится на вкладке браузера рядом с названием сайта, а также в результатах поиска рядом со ссылкой на сайт. Фавикон привлекает внимание, благодаря чему сайт может получить больше переходов из поиска.

В рамках технического аудита проверьте версию CMS, а также обновляется система или нет. Напрямую на позиции сайта это не влияет, но может сказываться на безопасности ресурса. Рекомендуется своевременно обновлять систему управления.

Оформление технического аудита

После проведения технического аудита у Вас будет список ошибок и проблем на сайте, которые нужно устранить. Необходимо оформить результаты в виде отчета.

Как правило, отчет оформляется в виде файлов .doc или .pdf и содержит список найденных проблем и рекомендаций по их устранению. Желательно сопровождать рекомендации скриншотами, таблицами, которые будут доказывать необходимость внедрения рекомендаций.

В идеальной ситуации отчет по результатам технического аудита может использоваться в качестве технического задания для других специалистов, которые будут вносить изменения на сайт. Например, программистов.

Оптимальный объем технического аудита – от 5 до 10 страниц, но может получиться и больше при выявлении множества ошибок.

Полезные ресурсы для проведения технического аудита

Ряд сервисов позволяют собирать и анализировать информацию, необходимую для проведения технического аудита. Ниже я дам ссылки на ряд подобных сервисов. Некоторые из них бесплатные, некоторые требуют оплату за использование:

1. Яндекс.Вебмастер – панель для вебмастеров от компании Яндекс. Позволяет получить информацию о сайте, посмотреть ошибки, рекомендации.
2. Центр вебмастеров Google – аналогичный сервис от компании Google.
3. http://pr-cy.ru/tools/ – бесплатный сервис, позволяющий собирать о сайте различную информацию (IP сайта, наличие IP в спам-базах и т.д.)
4. Мегаиндекс – на сервисе имеется множество бесплатных инструментов для проведения аудита сайта.
5. Xtoolza.info – позволяет проанализировать различные параметры сайта, составить robots.txt, карту сайта.
6. RDS-плагин для браузера – помогает просматривать важные параметры страницы. Список параметров можно настроить.
7. СайтРепорт – система позволяет получить необходимые данные для проведения технического аудита. Сервис платный, но не дорогой.

Резюме

Вы научились проводить технический аудит сайта. В следующих мастер-классах я расскажу, как оптимизировать контент на сайте и работать со ссылочными факторами. Если у Вас остались вопросы, добавьте их в комментариях. Постараюсь на все вопросы ответить.