404 ошибка: почему возникает и как ее устранить

Страница с ошибкой 404 является одной из самых распространенных проблем, с которой сталкиваются посетители различных сайтов. Их наличие негативно влияет не только на поведенческие характеристики сайта, но и может отрицательно влиять на рейтинг всего сайта.

Почему возникает 404 ошибка, как вовремя ее найти, какую роль она играет в SEO, какие инструменты помогут ее устранить — рассказывает блогу Serpstat ведущий SEO-специалист в компании ADINDEX, Екатерина Киясова.

Автор статьи: Екатерина Киясова, SEO-cпециалист в агентстве

Что такое 404 ошибка

Простыми словами ошибка 404 — это HTTP-код сервера, который сообщает, что нужная страница не найдена.

Механизм передачи информации между браузером (клиентом) и сервером таков:

1. Пользователь вручную вбивает URL-адрес страницы в строку браузера или переходит по внешней ссылке.
2. На сервер отправляется сетевой запрос, где открывается новая сессия.
3. В качестве ответа сервер отправляет HTML-страницу с HTTP-кодом. Если страница с данным адресом существует, сервер возвращает код 200 — ОК. К примеру, если сейчас вы читаете эту статью, значит сервер нашел запрашиваемую страницу.
4. Если браузер установил соединение с сервером, но нужной страницы на нем нет, на экране появится HTML-страница с кодом 404.

В случае, когда сайт не загружается вовсе, т.е. возникает ошибка сервера, показывается ошибка 5**. Однако обычный пользователь не знает, в чем разница ошибок 4** и 5**. Он уходит с сайта и может никогда не вернуться, думая, что сайт не работает.

Ссылки на страницу с ошибкой 404 часто называют «битыми», «сломанными», «мертвыми». А HTTP-ответ сервера 404 — «код 404», «ответ 404», «HTTP 404».

Подключить услугу «SEO | Продвижение сайтов» от ADINDEX →

Почему ошибка 404 Not found может возникнуть:

• страницу удалили;
• страницу перенесли на другой адрес, но адрес не обновили;
• при вводе URL-адреса пользователем допущена синтаксическая ошибка.

В проектах наших клиентов наиболее часто встречающаяся ошибка 404 связана с удалением или изменением URL-адреса страниц. Так, при аудите сайта одного клиента для запрашиваемых страниц обнаружили большое количество страниц с ответом «Not Found».

Причина была в том, что контент-менеджер удалил страницы с товарами, которых нет в наличии. В результате сайт частично потерял обратную ссылочную массу, так как на удаленные страницы вели внешние ссылки.

Какую роль в SEO играют 404 ошибки

Как Google относится к 404?

Поисковая система не считает такие ошибки существенными. Из Cправки Google:

Обычно ошибки 404 не влияют на эффективность сайта в Google Поиске. Вы можете смело игнорировать их, если они точно относятся к URL, которых не должно быть на вашем сайте. Важно, чтобы при переходе по всем недействительным URL возвращался верный код ответа HTTP (404) и чтобы доступ к ним не был заблокирован в файле robots.txt.

Но на практике оказывается, что в некоторых случаях такие ошибки негативно влияют на ранжирование сайта. Суть в том, что не столько страницы с 404 ошибкой влияют на SEO, сколько «битые» ссылки, ведущие на эти страницы.

Проблемой являются именно неработающие ссылки. Для поисковой системы большое количество битых ссылок говорит о проблемах с качеством сайта. Это приводит к ухудшению индексации и потере позиций в выдаче.

Кроме того, создается искаженная картина поведения пользователя на сайте: уменьшается время взаимодействия с сайтом, растет показатель отказов, может произойти отток посетителей.

Большое количество неработающих ссылок будет «съедать» краулинговый бюджет. Вместо того чтобы сканировать только нужные страницы, поисковый робот будет выполнять бессмысленную работу и краулить страницы, которые отдают код 404.

Что такое Soft 404 ошибки

Soft 404 ошибка, или ложная ошибка бывает только в поисковых системах Google. Она не является официальным кодом сервера, она — лишь пометка, так сказать, «для себя». Ошибка возникает, когда страница не существует, но сервер возвращает код ответа 200 ОК.

У этого явления может быть несколько причин:

1. На странице нет или очень мало контента. Также причиной может быть наличие ресурсов (изображения, скрипты), которые не удается обработать поисковому роботу. Например, из-за того, что в Robots.txt к ним закрыт доступ, или сканирование ресурсов займет больше времени, чем нужно.
2. С удаленной страницы установлена переадресация на страницу, которая не релевантна по содержанию.
3. Сервер работает неправильно: для несуществующих страниц возвращается другой код.

Если с сервера возвращается ответ 200 ОК, страница будет сканироваться и может попасть в список результатов поиска. Следовательно, ошибка вводит в заблуждение пользователей и поисковые системы. Soft error 404 негативно влияет на рейтинг сайта в выдаче и напрасно использует ресурс краулера.

3 варианта проверки HTTP-кода сервера

С помощью браузера.

В Google Chrome без сторонних инструментов можно проверить код ответа страницы. Для этого нужно:

• перейти на страницу сайта;
• нажать F12 на клавиатуре либо кликнуть правой кнопкой мыши в любой точке экрана;
• выбрать «проверить код» либо «inspect»;
• перейти во вкладку «Network» и обновить страницу (F5);
• в столбце «Status» появится список кодов состояния для всех ресурсов, которые загружаются по этому адресу (документы, изображения и т.д.). Самый первый код в этом списке — это код запрашиваемого вами URL’а.

С помощью сайта https://httpstatus.io/.

Здесь можно проверить статус-код запрашиваемого URL’а. Можно просканировать до 100 URL’ов.

С помощью расширения Redirect Path для Chrome.

Google Chrome предлагает установить бесплатный плагин, который показывает HTTP-коды 301, 302, 404 и 500 и JavaScript редирект.

3 инструмента проверки ошибки 404 Not Found

Для работы с кодом 404 существует множество инструментов. Приведем несколько самых популярных, которыми мы пользуемся каждый день.

Serpstat.com

С помощью сервиса можно быстро выполнить аудит любого проекта. Программа парсит сайт, выдает список ошибок, устанавливает приоритет (высокий, средний, низкий) и предлагает способы устранения.

Чтобы найти все ошибки, достаточно просто создать проект:

Произвести простые настройки и немного подождать, пока сервис проверит ресурс:

На этой вкладке есть возможность изменить адрес домена и название проекта, а также установить расписание аудита и тип сканирования.

Далее, устанавливаем лимит сканируемых страниц, скорость и продолжительность сканирования.

На этой вкладке выбираем глубину сканирования и плюс-/минус-слова.

Вводим логин и пароль для сайтов с ограниченным доступом и выбираем User Agent для аудита.

Настраиваем рассылку отчета по проведенному аудиту. Для того, чтобы начать проверку, нажимаем «Начать аудит»

Ждем, пока сервис просканирует сайт.

Видим все 404 ошибки:

К примеру, при парсинге иностранного проекта программа выдала большое количество ошибок 404:

Причиной стало изменение принципа формирования ссылок на ресурсы, однако на поддоменах url-адреса остались старыми.

Google Search Console

Инструмент для веб-мастеров позволяет проверить, есть ли на сайте ошибки 404. Для этого нужно зайти в отчет «индекс», в подраздел «покрытие» и затем «ошибка».

Напротив каждой ошибки указывается дата сканирования в последний раз. Для более детального изучения причин появления ошибки, необходимо напротив URL кликнуть «Проверить URL».

Из справки Search Console понятно, что ошибки 404 Not found могут относиться к двум разным группам, исходя из того, как их нашел поисковый робот:

• Отправленный URL не найден (ошибка 404). Отображается, когда файл Sitemap.xml содержит запрашиваемый URL, и его индексация разрешена в Robots.txt. Другими словами, клиент с разрешения индексации послал запрос на обработку страницы, но сервер не нашел ее. Тогда в отчете мы сможем увидеть, где была обнаружена ошибка.

Пример:

• Не найдено (404).

Встречается, когда робот самостоятельно нашел битую ссылку, независимо от информации в Sitemap. Чаще всего это случается при переходе поисковым роботом по ссылке с другого сайта. В таком случае источник обнаружения ошибки в отчете не указан.

Пример:

Screaming Frog и Netpeak Spider

Данные сканеры удобны, когда проводится технический экспресс-аудит сайта. Программа ищет все ссылки с кодом ответа 404, указывает их источники и анкоры. Все данные можно выгрузить в таблицу.

Общие рекомендации, как устранить 404 ошибку

Для этого рекомендуем:

1. Определить источник Error 404, где размещены мертвые ссылки. Для этого можно воспользоваться любой программой для сканирования сайтов на ошибки.
2. Отфильтровать все url-адреса по коду 404. Получаем список всех ошибок с внутренними ссылками на такие страницы. Желательно сравнить результат сканирования с результатами в Google Search Console.
3. Битые ссылки, ведущие на страницы с кодом 404, удалить либо заменить на правильные. Также ненужные страницы с ошибкой нужно удалить из файла Sitemap.xml. В противном случае они продолжат сканироваться поисковым роботом.
4. Если вы нашли Soft 404 ошибки, настройте для таких страниц код ответа 404. Также обновите ссылки в файле Sitemap.xml.

Пример отображения данных в Google Search Console после устранения 404 ошибок:

Как сократить количество 404 ошибок

Пример отображения данных в Google Search Console после устранения 404 ошибок:

1 вариант: когда изменился принцип формирования ссылочной массы.

1. Настроить 301 редирект с неактуальных страниц на нужные.
2. Обновить список адресов в файле Sitemap.xml.
3. Обновить необходимые внутренние ссылки на сайте.

2 вариант: когда товары на странице долго отсутствуют либо никогда больше не появятся.

В данном случае нет единого правильного решения. Чаще всего используются три подхода:

• Настройка http-кода 404

Установка кода 404 или 410 для страниц с товарами, которых уже нет в наличии, может привести к потере позиций по данным запросам, что ведет к уменьшению продаж. К тому же, внешняя обратная ссылочная масса, ведущая на эти страницы, будет потеряна.

Решение: как можно дольше не настраивать код 404. Даже если товара нет в наличии, страница будет ранжироваться и приводить трафик на сайт. Вместо закончившегося товара можно предложить пользователям другие похожие товары.

Последовательность настройки может быть такой:

1. В первый год страница индексируется, страница отдает код 200 ОК.
2. На второй год URL удаляется из файла Sitemap, из списка товаров, панели фильтров. Однако страница доступна по прямому адресу, и сервер возвращает ответ 200.
3. На третий год по данному адресу устанавливается код 404 или 410, удаляются ссылки, ведущие на эту страницу.

Периодичность приведена условная. Главное — получить как можно больше трафика на сайт и сохранить ранжирование популярной страницы.

• Настройка http-кода 301 на главную страницу

Нужно понимать, что редирект на нерелевантную страницу может привести к появлению ложных ошибок (Soft 404), которые вводят в заблуждение и поискового робота, и пользователей. Потому как, согласно требованиям поисковой системы, 301 редирект должен перенаправлять на страницу с аналогичным контентом. В дальнейшем это может плохо повлиять на ранжирование сайта.

• Настройка http-кода 301 на страницу с похожим контентом

Это самый безопасный способ сохранить позиции сайта в выдаче, не потерять обратные внешние ссылки. К тому же, перенаправление пользователей на страницу с похожими товарами не вызовет раздражения у пользователей и более вероятно приведет к покупке. Настроив редирект, важно обновить адреса в файле Sitemap и перенаправить внутренние ссылки.

3 вариант: когда товары на сайте отсутствуют временно.

Если товар часто исчезает и появляется на сайте, крайне не рекомендуется устанавливать код ошибки 404 или редирект 301, 302. Возобновление позиций в рейтинге поисковых систем происходит долго, при этом компания будет терять деньги за счет маленького количества переходов по этому запросу.

В этом случае лучше оптимизировать эту страницу, например:

1. возле каждого товара установить пометку «в наличии» (In Stock);
2. показывать отсутствующие товары в конце списка в листинге;
3. предлагать похожие товары.

4 вариант. Когда страницы нужно удалить.

Кроме страниц с устаревшим контентом, есть множество других, которые периодически нужно удалять из индекса. Это могут быть страницы, не приносящие посещений на сайт, сервисные, генерируемые CMS.

Последовательность настройки удаленных страниц такова:

1. Для всех URL’ов настроить код 404 Not found.
2. Удалить старые адреса из списка файлов Sitemap.xml.
3. Почистить внутренние ссылки, которые вели на удаленную страницу.

Как представить страницу 404 (Not found) для посетителей

Увидев страницу с ошибкой, пользователь может немедленно покинуть сайт либо остаться и продолжить изучение контента. Все зависит от правильной оптимизации страницы, главная цель которой — удержать посетителя на сайте.

Что включает в себя правильная оптимизация страницы 404:

1. После запроса клиента, сервер возвращает ошибку 404.
2. На странице языком, понятным для пользователя, описывается, что произошла ошибка. По сути, пользователь вообще не должен видеть код 404. Просто этот ответ так часто попадается, что его запомнили даже те, кто далек от программирования.
3. Дизайн страницы должен быть похож на дизайн всего сайта.
4. Страница 404 обязательно содержит навигацию: переход на главную страницу, другие разделы сайта.
5. На странице имеется окно поиска по сайту.
6. Указаны контакты: телефон, электронный адрес или окно для обращения, если это необходимо.

Но также важно не перегрузить страницу информацией, чтобы человек сразу понял, что попал на несуществующую страницу и не терял времени.

Варианты оригинального оформления страниц 404

Яркая страница у Sportmaster:

404 страница Intertop.ua выдержана в тематике интернет-магазина:

Tripadvisor объясняет не найденную страницу как «кажется, у этой страницы отпуск…» и предлагает посетителю тоже отдохнуть:

У Pokupon.ua солнечное сообщение о 404 ошибке на фоне плывущих облаков:

На 404 странице ТМ Ласунка супер герой — шарик мороженого — предлагает провести заблудившегося пользователя:

Выводы

Вопреки распространенному мнению, страницы с кодом 404 не влияют на ранжирование сайта. Однако внешние и внутренние ссылки, ведущие на эти страницы в большом количестве, могут способствовать потере позиций в выдаче. К тому же, неправильно оформленная страница 404 создает негативный опыт пользователя, что приводит к потере трафика.

Постройте правильный алгоритм оптимизации страницы, сделайте ее привлекательной для пользователя. Это поможет удержать позиции сайта в выдаче и сохранить прибыль компании.

Подключить услугу «SEO | Продвижение сайтов» от ADINDEX →