404 ошибка: где искать и как исправить

Содержание

• Что такое 404 ошибка (Not Found)
• Как 404 ошибки влияют на SEO
  • Отдельно рассмотрим Soft 404 ошибки — в чем их проблема?
• 3 способа, как проверить код ответа страницы
• 4 инструмента, как проверить сайт на 404 ошибки
• Как устранить ошибки 404
• Как избежать появления 404 ошибок
• Как создать страницу 404
• Примеры креативных и информативных страниц 404
• Выводы

Страница с 404 ошибкой или “страница не найдена” — довольно распространенное явление в Интернете. 404 ошибку можно встретить при переходе по ссылке или при вводе URL-адреса страницы в строке браузера, когда сервер на запрос браузера не может найти запрашиваемый документ и возвращает код ответа 404.

Рисунок 1. 404 страница Amazon.com

Люди обычно не придают этому особого значения, увидев ошибку “страница не найдена” разочаровываются, а может даже раздражаются — нажимают кнопку “Назад” или закрывают вкладку. Однако 404-е ошибки могут оказывать влияние на SEO. Степень влияния зависит от причин возникновения таких ошибок и их масштаба.

В этой статье подробнее рассмотрим, что означает 404 ошибка, как она влияет на ранжирование сайта. Расскажем, как проверить сайт на 404 ошибки и дадим рекомендации на тему того, как их устранить.

Подключить услугу «SEO | Продвижение сайтов» от ADINDEX →

Что такое 404 ошибка (Not Found)

Ошибка 404 или Not Found (“не найдено”) — это стандартный код ответа сервера, который сообщает, что сервер не может найти запрашиваемый документ.

Когда страница работает корректно, сервер возвращает код ответа 200 ОК.

Если вы сейчас читаете эту статью, это означает, что ваш браузер установил соединение с сервером, он нашел запрашиваемую страницу и возвратил код ответа 200 (просто этот код вы не видите).

Распространенные причины появления 404 ошибок:

• страница была удалена;
• битые ссылки, когда допущена ошибка в URL-адресе страницы или URL изменен, но адрес ссылки не обновлен;
• допущена ошибка пользователем при вводе URL-адреса страницы в строке браузера.

404 ошибки, связанные с удалением страниц на сайте и изменением формирования URL-адреса страниц — наиболее часто встречающиеся закономерности их появления, с которыми мы сталкиваемся на проектах ADINDEX.

Так, проводя аудит для одного клиента, мы обнаружили большое количество страниц с ошибкой 404. Проблема возникла после того, как контент-менеджер удалял товары, которых нет в наличии. В итоге это привело к частичной потере обратной ссылочной массы, так как на удаленные страницы вели внешние ссылки.

Рисунок 2. Пример динамики 404 ошибок

Как 404 ошибки влияют на SEO

Что Google говорит о 404?

Поисковая система воспринимает 404 ошибки как естественное явление. Из Cправки Google:

Рисунок 3. Cправка Google — Ошибки 404

Но при этом, 404 ошибки могут оказывать влияние на ранжирование сайта.

Ведущий SEO-специалист Екатерина Киясова

Дело в том, что не столько 404 страницы негативно влияют на SEO, сколько ссылки, содержащие URL-адреса, ведущие на 404 ошибки.

Слишком много ссылок на 404 ошибки сигнализируют о проблемах с качеством сайта. Они способны ухудшить индексацию сайта, что в свою очередь приведет к потере позиций. Также это создает негативный пользовательский опыт — рост показателя отказов и снижение времени взаимодействия с сайтом.

Именно “неработающие” ссылки являются критичным фактором. К тому же, это негативно отражается на краулинговом бюджете. Поисковый робот будет тратить свой ресурс на переход по ссылкам на страницы, отдающие 404 код ответа, вместо того, чтобы сканировать все нужные и ценные для продвижения страницы.

Поэтому, если нет битых ссылок, поисковый робот не сможет найти никаких ссылок, указывающих на 404 страницы.

Нет ссылок на 404 — нет 404.

Рисунок 4. Cправка Search Console

Отдельно рассмотрим Soft 404 ошибки — в чем их проблема?

Soft 404 ошибка или, так называемая, ложная 404 ошибка происходит, когда страница не существует, но возвращает код ответа 200 ОК. Стоит отметить, что такое понятие введено только ПС Google. В других поисковых системах термина “ложная 404 ошибка” не существует.

Причины возникновения Soft 404 ошибок следующие:

• пустая страница или очень мало контента на странице. Это может быть также связано с тем, что страница содержит ресурсы (изображения, скрипты), которые поисковому роботу не удается обработать из-за того, что доступ к ним запрещен в файле Robots.txt или ресурсов слишком много, их обработка займет слишком много времени.
• с несуществующей страницы настроен редирект на не релевантную страницу;
• некорректная работа сервера, когда для несуществующих страниц возвращается код ответа, отличимый от 404 или 410.

HTTP статус 200 ОК, то есть “успешно”, сообщает поисковым системам, что страница существует. Соответственно, несуществующая страница будет сканироваться и, как следствие, может попасть в результаты поиска.

Такая ситуация способна негативно отразиться на ранжировании всего сайта и впустую тратить ценный ресурс краулера.

3 способа, как проверить код ответа страницы

1. В браузере

Быстро проверить код ответа страницы без использования сторонних инструментов можно в браузере Google Chrome — кликнуть правой кнопкой мыши в любом месте на странице, нажать “Проверить код” и перейти в раздел “Network” — столбец “Status”. Код ответа 404 отображается так:

Рисунок 5. Google Chrome Inspector

В столбце статуса кроме 404 указано много других кодов состояния — это перечислены все ресурсы, которые загружает страница: запрошенные файлы, изображения и т.д.

2. На сайте https://httpstatus.io/

За один раз позволяет проверить до 100 url’ов:

Рисунок 6. httpstatus.io

3. Плагин для Chrome

Бесплатное расширение Redirect Path в Google Chrome. Расширение отображает 301, 302, 404 и 500 коды ответа HTTP, а также перенаправления, выполняемые посредством JavaScript.

Пример отображения 404 ошибки в расширении Redirect Path:

Рисунок 7. Redirect Path

4 инструмента, как проверить сайт на 404 ошибки

Есть масса различных инструментов и плагинов работы с 404 ошибками. В этой статье приведем основные, которыми мы пользуемся ежедневно:

1. Google Search Console

Чтобы проверить, есть ли у сайта 404 ошибки, необходимо перейти в Отчет об индексировании — раздел “Покрытие” — “Ошибка”:

Рисунок 8. Google Search Console — Отчет об индексировании — Покрытие

В разрезе каждой ошибки приведен перечень страниц с датой последнего сканирования. Чтобы получить больше данных об URL, необходимо в отчете Search Console напротив URL нажать “Проверить URL”:

Рисунок 9. Search Console — Покрытие — Ошибка — Проверить URL

Согласно справке Search Console 404 ошибки делятся на 2 группы по принципу их нахождения поисковым роботом:

• Отправленный URL не найден (ошибка 404) — означает, что URL есть в файле Sitemap.xml и его индексация не запрещена в файле Robots.txt мета тегом robots. То есть, с разрешением индексировать был отправлен запрос на обработку страницы, но она не была найдена. В этом случае Google покажет источник обнаружения 404 ошибки.

Пример:

Рисунок 10. Указан источник обнаружения 404 ошибки, отчет “Отправленный URL не найден”

• Не найдено (404) — означает, что URL был найден Google без запроса на сканирование и без помощи файла Sitemap. Возможно, робот Google обнаружил этот URL в ссылке на другом сайте. Соответственно, будет скрыта информация об источнике 404 ошибкой.

Пример:

Рисунок 11. Источник обнаружения 404 ошибки скрыт, отчет “Не найдено (404)”

2. Serpstat.com

Serpstat позволяет выполнить аудит проекта. Обычно мы используем данный сервис, когда нужно быстро оценить состояние проекта, понять его слабые и сильные стороны. После добавления проекта и парсинга сайта сервис предоставит перечень ошибок с пояснениями, рекомендациями по их устранению и градацией (высокий, средний и низкий приоритет).

Так, аудит одного небольшого западного проекта показал довольно большое число 404 ошибок:

Рисунок 12. 404 ошибки Serpstat.com

Причина была в том, что в блоге на сайте изменили принцип формирования url-адресов статей, но не обновили url’ы в ссылках на одном из его поддоменов:

Рисунок 13. Источник 404 ошибки, Serpstat.com

3. Ahrefs (Broken Links)

Инструмент Broken Link Checker показывает внутренние и внешние битые ссылки. Бесплатно отображает до 10 урлов.

Рисунок 14. Ahrefs Broken Link Checker

4. Сканеры Screaming Frog и Netpeak Spider

Эти программы используем в основном, когда анализируем техническую оптимизацию сайта и формируем ТЗ для программистов, они позволяют спарсить весь сайт и выгрузить таблицы в разрезе каждой ошибки.

Рисунок 15. 404 ошибки, Screaming Frog

Как устранить ошибки 404

Чтобы устранить 404 ошибки на сайте, необходимо определить их источник, т.е. найти местоположение битых ссылок. Для этого можно воспользоваться любым краулером. После завершения парсинга необходимо в списке всех урлов сайта отфильтровать по коду ответа — 404. Таким образом вы получите список всех 404 ошибок и внутренних ссылок на них. Данный список рекомендуется сопоставить со списком Google Search Console.

После установления источника 404 ошибок — удалить либо заменить на актуальные внутренние ссылки сайта, ведущие на страницы с 404 кодом ответа сервера. При этом, необходимо убедиться, что страницы, отдающие код 404, удалены из файла Sitemap.xml, иначе поисковый робот продолжит их сканировать.

В случае Soft или ложных 404 ошибок рекомендуется настроить код ответа сервера 404. И, аналогично, удалить или обновить ссылки, ведущие на них.

Пример отображения данных в Google Search Console после устранения 404 ошибок:

Рисунок 16. Устранение 404 ошибок

Как избежать появления 404 ошибок

Чтобы предотвратить появление 404 ошибок, рекомендуем следовать следующим правилам на примере наиболее типичных ситуаций:

Ситуация 1 — Изменение принципа формирования URL

1. Настроить 301 редирект со “старых” URL на актуальные адреса страниц.
2. Удалить старые URL-адреса страниц из файла Sitemap.xml.
3. Добавить актуальные URL-адреса страниц в файл Sitemap.xml.
4. Обновить адреса всех внутренних ссылок на сайте.

Ситуация 2 — Работа с ПОСТОЯННО отсутствующими товарами (бренды или другие похожие сущности)

В управлении отсутствующими товарами нет единого правильного подхода. Выбор варианта оптимизации зависит от приоритетов и степени приемлемого риска.

Рассмотрим часто используемые подходы в управлении отсутствующих товаров:

• Настройка кода ответа 404 — при удалении не актуальных товаров и настройки кода HTTP 404 или 410, сайт потеряет позиции по данным товарным запросам, что может привести к недополучению продаж. Хороший сценарий, когда люди перешли на сайт по странице товара “нет в наличии” и выбрали другую версию этого товара или другой товар. Также, если есть внешние обратные ссылки на товарные страницы, при удалении страниц они будут потеряны. При использовании такого подхода советуем отсрочить настройку 404 кода ответа настолько долго, насколько это возможно. То есть, какое-то время “не отключать” товары, которых нет в наличии. Несмотря на то, что товара нет в наличии, такие страницы всё равно будут ранжироваться и могут привлекать трафик. Пример алгоритма настройки:

1. В течение 1 года с момента отсутствия товара страница продолжает быть доступной и отдает код ответа 200.
2. На 2-ой год ссылка на страницу отсутствующего товара удаляется с товарного листинга, панели фильтров, файла Sitemap и т.д., но остается доступной по прямому URL и отдает код 200.
3. На 3-ий год товар удаляется с товарной базы, настройка кода ответа 404 или 410 и удаление ссылок на него со всего сайта.

Тайминги приведены условные. Цель — обеспечить максимально возможный период ранжирования по запросам отсутствующего товара.

• Настройка 301 редиректа на категорию или главную страницу — создает плохой опыт, т.к. фактически это перенаправление на нерелевантную ей страницу. Согласно требованиям поисковой системы — 301 редирект должен перенаправлять на страницу с аналогичным контентом. Выполнение переадресации на не релевантную страницу может привести к появлению ложных 404 ошибок, которые вводят в заблуждение не только пользователей, но и поисковые системы.
• Настройка 301 редиректа на страницы с аналогичным контентом. С точки зрения результата и следования правилу “не навреди” наиболее оптимальный вариант — это ставить редирект на схожие товарные страницы, например, на более новую версию этого же товара. Такой подход позволит сохранить результаты в выдаче и сохранить имеющиеся обратные ссылки. При этом важно не упустить выполнение базовых требований:

1. Обновить ссылки в Sitemap.
2. Обновить внутренние ссылки на сайте.

Ситуация 3 — Работа с ВРЕМЕННО отсутствующими товарами

В случае, когда товары периодически уходят из запасов и возвращаются, настройка 404 кода ответа сервера или настройка 301/302 редиректа крайне рискованна потому, что возобновление ранжирования товарных страниц может происходить крайне долго.

В таком случае лучше оптимизировать такие страницы, например:

— реализовать разметку структурированных данных ‘In Stock’:

Рисунок 17. Разметка структурированных данных

— предлагать альтернативные товары, которые есть в наличии;

— изменить порядок вывода товаров в листинге: отсутствующие товары выводятся в конце листинга;

— добавить новый фильтр, чтобы пользователь мог самостоятельно фильтровать товары по наличию.

Ситуация 4 — Необходимость удалить любые страницы на постоянной основе (сервисные, генерируемые CMS, ненужные, не приносящие трафик и т.д.)

1. Настроить код ответа сервера 410 для удаленных страниц.
2. Удалить страницы из Sitemap.xml.
3. Удалить на сайте все внутренние ссылки, ведущие на удаленные страницы.

Как создать страницу 404

Страницы с ошибками создают плохой пользовательский опыт, но эффективная пользовательская 404 страница способна смягчить разочарование пользователей и побудить к дальнейшему изучению сайта.

Какой должна быть оптимизированная 404 страница, основные рекомендации:

1. При запросе страницы, которая не существует, сервер должен возвращать ошибку 404, «страница не найдена».
2. Содержать четко сформулированное сообщение об ошибке и извинение за ошибку.
3. Страница должна быть в общей концепции сайта, иметь идентичный сайту дизайн.
4. Содержать упрощенную навигацию, переход на Главную страницу и важные страницы сайта.
5. Содержать окно поиска по сайту.
6. Содержать контактные данные (номера телефонов, e-mail), если это будет уместно.

Примеры креативных и информативных страниц 404

Olx.ua предлагает поиграть в крестики-нолики:

Рисунок 18. 404 страница olx.ua

Лаконичный дизайн 404 страницы Karabas.com:

Рисунок 19. 404 страница Karabas.com

У comfy.ua сохранена вся навигация в header и указаны возможные причины 404 ошибки:

Рисунок 20. 404 страница comfy.ua

Недовольный кот, шевелящий ушами и хлопающий глазами, встретит посетителей 404-й на сайте html6.com.ru:

Рисунок 21. 404 страница html6.com.ru/404

Crello «сваливает» всю ответственность на голубей =) и предлагает вернуться назад или создать новый дизайн прямо с 404-й страницы:

Рисунок 22. 404 страница crello.com/ru/404

Canva предлагает собрать закатный пазл:

Рисунок 23. 404 страница canva.com/404

Pixar предлагает перестать плакать, изобразив на 404-й странице ревущую девочку из своих мультиков:

Рисунок 24. 404 страница pixar.com/404

У Marvel на 404-й странице тоже изображена одна из их героинь (в испуганном виде):

Рисунок 25. 404 страница marvel.com/404

А у Figma надпись 404 можно растягивать, потянув за точки, отмеченные на изображении. Залипательно!:

Рисунок 26. 404 страница figma.com/404/

Страница 404 у Airbnb тоже весьма креативная: девочка роняет на пол мороженое и улыбка на ее лице сменяется эмоцией грусти:

Рисунок 27. 404 страница airbnb.com/404

ВЫВОДЫ

Непосредственно сами 404 страницы не вредят SEO, но ссылки, ведущие на 404 ошибки, особенно, если их много, могут негативно влиять на эффективность сайта в органическом поиске. Бездействуя, можно потерять посетителей и продажи. Убедитесь, что на сайте нет неработающих внутренних ссылок.

Сделайте 404 страницу привлекательной, чтобы удержать пользователя на сайте.

Подключить услугу «SEO | Продвижение сайтов» от ADINDEX →