Техническая оптимизация сайта

1. Robots.txt

Начнем с проверки наличия и корректности заполнения файла robots.txt. Если вкратце, то это технический файл, в котором перечисляются директории сайта, доступные или закрытые для индексации поисковыми роботами. К слову, при посещении ресурса краулером, данный файл проверяется им в первую очередь.

Наличие файла можно проверить вручную, добавив в URL-адрес сайта следующую конструкцию:

«/robots.txt»

Либо с помощью панелей вебмастеров от Google или Яндекса.

Что следует закрывать от индексации:

 

• Административную часть CMS.
• Прочие технические страницы: формы регистрации/восстановления паролей, страницы оформления заказа и прочее.
• Страницы системы внутреннего поиска по сайту.
• Архив.
• Версии страниц для печати.
• Дублированный контент.
• RSS-лента.

 

Robots.txt

2. Карта сайта

Файл sitemap.xml содержит в себе структуру сайта в виде URL-адресов страниц, его наличие является обязательным для больших проектов. В идеале реализовать карту сайта таким образом, чтобы она обновлялась автоматически средствами CMS.

Требования к файлу карты сайта:

 

• Содержит только актуальные URL-адреса.
• В перечень документов не входят неканонические страницы.
• Корректно указан протокол соединения (например, https).
• Код ответа всех документов 200.
• Исключены страницы, которые закрыты от индексации (в robots.txt или иным способом).
• Карта сайта валидна, проверить можно в Яндекс.Вебмастере.

 

3. Нет лишних редиректов

Редиректы (301 – постоянный, 302 – временный) показывают краулеру путь, по которому перемещена текущая страница. Однако бывают ситуации, когда цепочка редиректов не несет в себе смысла, что приводит к излишнему расходу краулингового бюджета.

Краулинговый бюджет – некий лимит количества страниц, который поисковый робот проиндексирует за определенный временной период. При его нецелесообразном расходовании могут возникнуть проблемы с индексацией целевых страниц.

Проверить редиректы на сайте можно с помощью специализированного софта, например, Screaming Frog SEO Spider.

4. Поиск зеркал сайта

Зеркала – это копии сайта (содержат в себе одинаковый контент) доступные по разным адресам. При наличии данной проблемы, поисковики объединяют подобные ресурсы в группы, но при этом в выдаче участвует только главное зеркало, все остальные исключаются.

Для того чтобы определить, является ли сайт зеркалом какого-либо ресурса, следует добавить его в панель Яндекс.Вебмастера. Если адрес не является главным зеркалом, то в этом случае в панели высветится об этом уведомление.

Добавление сайта в Яндекс.Вебмастер

5. Проверка на наличие битых ссылок

Битой считается такая ссылка, которая ведет на несуществующую страницу. Переходя по ней, система уведомляет об ошибке.

Переход по битой ссылке

Битые ссылки могут появляться в процессе редактирования сайта: удаления/переезда страниц, опечатка при создании Url-адреса и т.д. Чем сложнее сайт, тем, как правило, чаще появляются подобные ссылки.

Наличие битых ссылок усложняет процесс продвижения сайта тем, что при их большом количестве алгоритмы могут посчитать ресурс низкокачественным. К тому же, подобное явление ухудшает пользовательский опыт, негативно влияя на поведенческие факторы (например, растет процент отказов), которые напрямую влияют на ранжирование сайта.

Проверить наличие битых ссылок можно в панели Яндекс.Вебмастер: «Индексирование» – «Статистика обхода». Также можно просканировать сайт программой Screaming Frog SEO Spider.

6. Поиск дублей страниц

Дубликаты страниц – идентичные по содержанию документы, но находящиеся по разным URL-адресам внутри сайта. При этом одинаковые страницы, которые находятся на региональных поддоменах не являются дублями.

Почему с дублями страниц необходимо бороться:

 

• Поисковые алгоритмы борются со страницами, имеющими одинаковое содержимое. Другими словами, в индекс попадет один из дубликатов, но часто выбор алгоритма падает не на целевую страницу.
• Если объединение в группу дублей не произошло, то подобные страницы начинают конкурировать между собой.
• Усложняется процесс индексации сайта, целевые страницы дольше попадают в поисковую базу.
• Создается дополнительная нагрузка на сервер сайта при индексации.

 

Чтобы найти страницы-дубли, перейдите в Вебмастер: Индексирование – Страницы в поиске – Исключенные страницы.

Открываем отчет "Страницы в поиске"

Далее нажмите на значок фильтра, установив значение «Удалено: дубль».

7. Скорость загрузки сайта

Скорость загрузки сайта может напрямую влиять на качество индексации краулерами, ранжирование в органической выдаче и на количество конверсий. Если говорить о конкретных цифрах, то в идеале страница должна загружаться не более 2-4 секунд. Все значения, что выше, могут вести к появлению следующих проблем:

 

• Посетители покидают сайт, не дождавшись его загрузки.
• Это ведет не только к снижению числа конверсий, но и к росту процента отказов.
• Процент отказа является одной из составляющих поведенческих факторов, которые оказывают влияние на ранжирование сайта и его страниц в поиске.

 

Для проверки скорости загрузки сайта можно воспользоваться бесплатным инструментом от Google. Кроме оценки, он покажет иерархию загрузки элементов страницы, с помощью чего можно определить наиболее тяжеловесные объекты и в дальнейшем оптимизировать их.

Проверка скорости загрузки сайта

8. Структура сайта

Одним из ключевых этапов создания и продвижения сайта является создание его структуры. Она определяет иерархию страниц ресурса, их принадлежность к категориям, каталогам или папкам.

Структура бывает:

 

• Двухуровневая. Встречается на простых (узконишевых) сайтах, ее суть заключается в том, что ресурс состоит из главной страницы и внутренних 2-го уровня.
• Древовидная. В этом случае присутствуют категории (подкатегории), которые объединяют страницы 3-го и последующих уровней.

 

Вот основные рекомендации от Яндекса касательно создания правильной структуры сайта:

 

• Каждая из страниц должна относиться к своей категории.
• Если позволяет структура, то не следует располагать страницы более чем на пятом уровне. В противном случае может увеличиться время индексации подобных документов.
• В идеале URL-адрес страницы должен отображать всю иерархию пути, а также отражать ее содержимое.
• Исключить ситуацию, при которой в URL-адресе содержится множество повторений.
• Все URL-адреса должны быть в единой кодировке.
• Применяйте хлебные крошки для того, чтобы пользователь мог легко перемещаться между уровнями вложенности.

 

Посмотреть структуру сайта можно с помощью программы Screaming Frog SEO Spider.

Screaming Frog SEO Spider

9. ЧПУ

Человеко-понятные URL-адреса представляют собой формат ссылок документов, который отображает содержимое страницы. Исходя из самого термина, подобные ссылки понятны пользователям. Большинство современных CMS поддерживают данный инструмент из коробки.

Преимущества ЧПУ:

 

• Возможность интегрировать ключевое слово, сделав ссылку релевантной интересам пользователей.
• Красивый и лаконичный вид облегчает навигацию пользователя по страницам сайта.
• Адрес не содержит в себе техническую информацию, что может улучшить безопасность сайта.

 

Проверить URL-адреса сайта также позволит программа Screaming Frog SEO Spider.

10. Внутренняя перелинковка

Внутренняя перелинковка частично относится к структуре сайта, но в этом пункте речь пойдет о самих ссылках. Правильно выстроенная внутренняя перелинковка документов позволяет:

 

• Поднять авторитетность определенных страниц в «глазах» поисковиков. Чем больше ссылок ведет на страницу, тем более она значимая, причем это касается не только внешних, но и внутренних ссылок.
• Наиболее авторитетные страницы сканируются роботами в первую очередь. Поэтому грамотная перелинковка позволяет значительно ускорить попадание новых страниц в индекс.
• Анкоры во внутренних ссылках увеличивают релевантность страницы относительно ключевых фраз, по которым она продвигается в поиске.
• Если ресурс имеет сложную структуру, то перелинковка улучшает юзабилити и положительно сказывается на поведенческих факторах.

 

Чтобы определить, какие страницы имеют наибольший авторитет в текущей структуре сайта, его можно просканировать в Screaming Frog SEO Spider.

11. Уровень вложенности URL

Этот параметр касается исключительно структуры URL-адреса. Уровень вложенности URL – количество слешей в адресе страницы и данный термин применим исключительно к ЧПУ.

Основное, на что рекомендуется обратить внимание при построении URL-адресов, это на отображение в них структуры сайта. К слову, в Яндексе есть такое понятие, как навигационная цепочка – ссылки на разделы ресурса, к которым относится текущая страница.

Чтобы в сниппете отобразить навигационную цепочку (это может положительно сказаться на CTR), потребуется соблюсти некоторые правила оптимизации, одним из ключевых является соответствие дерева разделов сайта структуре URL-адреса страницы.

12. Наличие SSL-сертификата

SSL – защищенный протокол, обеспечивающий шифрование передаваемых данных между сервером и браузером пользователя. Установленный SSL-сертификат позволяет защитить следующие типы данных:

 

• Учетные данные для входа в личный кабинет сайта.
• Информацию по операциям с кредитными картами и банковскими счетами.
• Полное имя, адрес проживания, дату рождения и т.д.
• Информацию их медицинских и юридических документов и прочее.

 

При отсутствии SSL-сертификата в браузере пользователя будет выводиться соответствующее предупреждение, что подрывает доверие к сайту. К слову, поисковики (особенно Google) относят наличие защищенного соединения к важнейшим факторам ранжирования.

Проверить наличие SSL-сертификата можно в сервисе 2ip.ru.

13. Страница 404-ошибки

Если сайт имеет большое количество страниц и на нем ведутся постоянные работы по наполнению, часто возникают ситуации, при которых появляются битые ссылки. Перейдя по такому адресу, в ряде случаев пользователи покидают сайт. Чтобы этого избежать, помимо постоянно мониторинга и устранения битых ссылок, можно грамотно оформить страницу 404-ошибки:

 

• Выразите сожаление о том, что страница не найдена, при этом изъявив желание помочь. 
• Разместите на ней ссылки на другие страницы сайта, которые пользуются наибольшим спросом. Это могут быть акции, скидки, главная, форма поиска и прочее.
• На случай, если пользователь пришел на данную страницу путем ручного ввода ее адреса, предложите перепроверить корректность указанной ссылки.
• Если уместно, используйте юмор и прочие креативные идеи.

 

Основная задача 404-страницы – сделать так, чтобы пользователь остался на сайте.

Страница 404

14. Проверка кодов ответов страниц

Код ответа сервера – трехзначное число, которое отдается сервером при обращении пользователя к сайту. Те страницы, которые должны быть проиндексированы, должны отдавать код 200. Также часто встречаются 3XX-редиректы, которые перенаправляют пользователя или поисковый краулер на другой адрес. При этом проверять коды ответов следует у всех типов страниц сайта.

Чтобы узнать коды ответов можно воспользоваться одним из парсеров (например, Screaming Frog SEO Spider), либо посетив панель Вебмастера: «Индексирование» – «Статистика обхода».

15. Валидность верстки

Сайты написаны на языке разметки HTML, которая включает в себя ряд правил и спецификаций (HTML5). Соблюдение валидности верстки может давать следующие преимущества:

 

• Увеличивается скорость загрузки страниц.
• Кроссбраузерность. Сайт корректно (так, как задумали разработчики) отображается в популярных браузерах.
• Улучшается индексация. Ошибки в коде могут привести к тому, что робот некорректно проиндексирует страницу.
• Улучшение поведенческих факторов. Если страницы отображаются с ошибками расположения элементов, то это может привести к ухудшению пользовательского опыта.

 

На практике большинство современных браузеров способны корректно отображать сайты с невалидной версткой. Но в идеале, конечно же, проверять страницы ресурса в специальном валидаторе.

16. Оптимизация под мобильные устройства

Учитывая тот факт, что мобильный трафик во многих сферах начинает обгонять десктопный, поисковики обращают внимание на адаптивность сайта для всех типов устройств. Поэтому, чтобы участвовать в мобильной выдаче ресурс должен корректно отображаться на всех разрешениях экранов. Интересно то, что Яндекс имеет общую поисковую выдачу (для мобильных и десктопных устройств), а Google разделяет ее. Т.е., если у сайта нет мобильной версии, то в Google это повлияет лишь на ранжирование в соответствующей выдаче, а у Яндекса в целом пессимизирует ресурс.

Чтобы проверить адаптивность страниц, рекомендуется использовать бесплатный инструмент от Google. 

17. Канонические страницы

Как помним из пункта про дубликаты, в силу разных обстоятельств они могут появляться у документов, что негативно сказывается на SEO-показателях сайта. Поэтому существуют следующие варианты указания канонических страниц: