404 помилка: чому виникає і як її усунути

Сторінка з помилкою 404 є однією з найпоширеніших проблем, із якою стикаються відвідувачі різних сайтів. Їх наявність не лише негативно впливає на поведінкові характеристики сайту, а й може мати негативні наслідки для рейтингу всього сайту.

Чому виникає 404 помилка, як вчасно її знайти, яку роль вона відіграє в SEO, які інструменти допоможуть її усунути — розповідає блогу Serpstat провідний SEO-фахівець у компанії ADINDEX, Катерина Кіясова.

Автор статті: Катерина Кіясова, SEO-спеціаліст в агентстві

Що таке 404 помилка

Простими словами, помилка 404 — це HTTP-код сервера, який повідомляє, що потрібна сторінка не знайдена.

Механізм передачі між браузером (клієнтом) і сервером має такий вигляд:

1. Користувач вручну вбиває URL-адресу сторінки в рядок браузера або переходить за зовнішнім посиланням.
2. На сервер надсилається запит на мережу, де відкривається нова сесія.
3. Як відповідь, сервер відправляє HTML-сторінку з HTTP-кодом. Якщо сторінка з цією адресою існує, сервер повертає код 200 ОК. Наприклад, якщо ви читаєте цю статтю, отже сервер знайшов запитувану сторінку.
4. Якщо браузер встановив з’єднання з сервером, але потрібної сторінки на ньому немає, на екрані з’явиться сторінка HTML з кодом 404.

Якщо сайт не завантажується зовсім (несправності сервера), з’являється помилка 5**. Однак звичайний користувач не знає, у чому різниця помилок 4** та 5**. Він йде з сайту і може ніколи не повернутись, з думкою, що сайт не працює.

Посилання на сторінку з помилкою 404 часто називають «битими», «зламаними», «мертвими». А HTTP-відповідь сервера 404 — «код 404», «відповідь 404», «HTTP 404».

Підключити послугу «SEO | Просування сайтів» від ADINDEX →

Чому може виникнути помилка 404 Not found:

• сторінку видалили;
• сторінку перенесли на іншу адресу, але адресу не оновили;
• під час введення URL-адреси користувачем допущена синтаксична помилка.

У проектах наших клієнтів помилка 404, що найбільш часто зустрічається, пов’язана з видаленням або зміною URL-адреси сторінок. Так, під час аудиту сайту одного клієнта для сторінок, що запитуються, виявили велику кількість сторінок з відповіддю «Not Found».

Причина в тому, що контент-менеджер видалив сторінки з товарами, яких немає. У результаті сайт частково втратив зворотну масу посилань, оскільки на видалені сторінки вели зовнішні посилання.

Яку роль у SEO відіграють 404 помилки

Як Google ставиться до 404?

Пошукова система не вважає такі помилки суттєвими. Довідка Google:

Зазвичай помилки 404 не впливають на ефективність сайту в Google Пошуку. Ви можете сміливо ігнорувати їх, якщо вони точно належать до URL, що не повинні бути на вашому сайті. Важливо, щоб під час переходу за всіма недійсними URL-адресами, повертався правильний код відповіді HTTP (404) і щоб доступ до них не був заблокований у файлі robots.txt.

Але на практиці доведено, що в деяких випадках такі помилки негативно впливають на ранжування сайту. Суть у тому, що не стільки сторінки з помилкою 404 впливають на SEO, скільки «биті» посилання, що ведуть на ці сторінки.

Проблемою є посилання, що не працюють. Для пошукової системи велика кількість битих посилань говорить про проблеми з якістю сайту. Це призводить до погіршення індексації та втрати позицій у видачі.

Крім того, створюється спотворена картина поведінки користувача на сайті: зменшується час взаємодії з сайтом, зростає показник відмов, може статися відтік відвідувачів.

Велика кількість посилань, що не працюють, «з’їдатиме» краулінговий бюджет. Замість того, щоб сканувати лише потрібні сторінки, пошуковий робот виконуватиме безглузду роботу та краулити сторінки, які віддають код 404.

Що таке Soft 404 помилки

Soft 404 помилка, або хибна помилка буває лише у пошукових системах Google. Вона не є офіційним кодом сервера, вона — лише позначка, так би мовити, «для себе». Помилка виникає тоді, коли сторінка не існує, але сервер повертає код відповіді 200 ОК.

У цього явища може бути кілька причин:

1. На сторінці немає або мало контенту. Також причиною може бути наявність ресурсів (зображення, скрипти), які не вдається обробити пошуковому роботові. Наприклад, через те, що в Robots.txt для них закритий доступ, або сканування ресурсів займе більше часу, ніж потрібно.
2. З віддаленої сторінки встановлено переадресацію на сторінку, яка не є релевантною за змістом.
3. Сервер працює неправильно: для сторінок, що не існують, повертається інший код.

Якщо з сервера повертається відповідь 200 ОК, сторінка скануватиметься і може потрапити до списку результатів пошуку. Отже, помилка вводить в оману користувачів та пошукову систему. Soft error 404 негативно впливає на рейтинг сайту у видачі та марно використовує ресурс краулера.

3 варіанти перевірки HTTP-коду сервера

За допомогою браузера.

У Google Chrome без сторонніх інструментів можна перевірити відповідь сторінки. Для цього потрібно:

• перейти до сторінки сайту;
• натиснути F12 на клавіатурі або клікнути правою кнопкою мишки у будь-якій точці екрана;
• вибрати «перевірити код» чи «inspect»;
• перейти до вкладки «Network» та оновити сторінку (F5);
• у стовпці Status з’явиться список кодів стану для всіх ресурсів, які завантажуються за цією адресою (документи, зображення тощо). Найперший код цього списку — це код запитуваного вами URL’а.

За допомогою сайту https://httpstatus.io/.

Тут можна перевірити статус-код запитуваного URL’а. Можна просканувати до 100 URL.

За допомогою розширення Redirect Path для Chrome.

Google Chrome пропонує встановити безкоштовний плагін, який показує HTTP-коди 301, 302, 404 та 500 та JavaScript редирект.

3 інструменти перевірки помилки 404 Not Found

Для роботи з кодом 404 існує багато інструментів. Наведемо кілька найпопулярніших, якими ми користуємося щодня.

Serpstat.com

За допомогою сервісу можна швидко виконати аудит будь-якого проекту. Програма парсить сайт, видає список помилок, встановлює пріоритет (високий, середній, низький) та пропонує способи усунення.

Щоб знайти всі помилки, досить просто створити проект:

Зробити прості налаштування і трохи почекати, поки сервіс перевірить ресурс:

На цій вкладці можна змінити адресу домену та назву проекту, а також встановити розклад аудиту та тип сканування.

Далі, встановлюємо ліміт сторінок, що скануються, швидкість і тривалість сканування.

На цій вкладці вибираємо глибину сканування та плюс-/мінус-слова.

Вводимо логін та пароль для сайтів з обмеженим доступом та вибираємо User Agent для аудиту.

Налаштовуємо розсилку звіту з проведеного аудиту. Для того, щоб розпочати перевірку, натискаємо «Почати аудит»

Чекаємо, доки сервіс просканує сайт.

Бачимо всі 404 помилки:

Наприклад, під час парсингу іноземного проекту програма видала велику кількість помилок 404:

Причиною стала зміна принципу формування посилань на ресурси, проте на піддоменах URL-адреси залишилися старими.

Google Search Console

Інструмент для веб-майстрів дозволяє перевірити, чи є на сайті помилки 404. Для цього потрібно зайти у звіт «індекс», підрозділ «покриття» і потім «помилка».

Напроти кожної помилки вказується дата сканування востаннє. Для більш детального вивчення причин появи помилки, необхідно напроти URL натиснути «Перевірити URL».

З довідки Search Console зрозуміло, що помилки 404 Not found можуть належати до двох різних груп, з урахуванням того, як їх знайшов пошуковий робот:

• Надісланий URL не знайдено (помилка 404). Відображається, коли файл Sitemap.xml містить запитуваний URL, і його індексація дозволена Robots.txt. Іншими словами, клієнт із дозволу індексації надіслав запит на обробку сторінки, але сервер не знайшов її. Тоді у звіті ми зможемо побачити, де було виявлено помилку.

Приклад:

• Не знайдено (404).

Коли робот самостійно знайшов бите посилання, незалежно від інформації в Sitemap. Найчастіше це трапляється під час переходу пошуковим роботом за посиланням з іншого сайту. У такому разі джерело виявлення помилки у звіті не вказано.

Приклад:

Screaming Frog та Netpeak Spider

Ці сканери зручні, коли проводиться технічний експрес-аудит сайту. Програма шукає всі посилання з кодом відповіді 404, вказує їх джерела та анкори. Усі дані можна завантажити до таблиці.

Загальні рекомендації, як усунути 404 помилку

Для цього рекомендуємо:

1. Визначити джерело Error 404, де розміщено мертві посилання. Можна скористатись будь-якою програмою для сканування сайтів на помилки.
2. Відфільтрувати всі URL-адреси за кодом 404. Отримуємо список помилок із внутрішніми посиланнями на такі сторінки. Бажано порівняти результати сканування з результатами в Google Search Console.
3. Биті посилання, які ведуть сторінки з кодом 404, видалити чи замінити на правильні. Також непотрібні сторінки з помилками варто видалити з файлу Sitemap.xml. Якщо цього не зробити, вони продовжать скануватися пошуковим роботом.
4. Якщо ви знайшли Soft 404 помилки, налаштуйте код відповіді 404 для таких сторінок. Також оновіть посилання у файлі Sitemap.xml.

Приклад зображення даних у Google Search Console після усунення 404 помилок:

Як зменшити кількість 404 помилок

1 варіант: коли змінився принцип формування маси посилань.

1. Налаштувати 301 редирект із неактуальних сторінок на потрібні.
2. Оновити список адрес у файлі Sitemap.xml.
3. Оновити необхідні внутрішні посилання на веб-сайті.

2 варіант: коли товари на сторінці довго відсутні або ніколи більше не з’являться.

Тут немає єдиного правильного рішення. Найчастіше використовуються три підходи:

• Налаштування http-коду 404

Встановлення коду 404 або 410 для сторінок з товарами, яких вже немає, може призвести до втрати позицій за даними запитами, що веде до зменшення продажу. До того ж, зовнішня зворотна маса посилань, що веде на ці сторінки, буде втрачена.

Рішення: якомога довше не налаштовувати код 404. Навіть якщо товару немає, сторінка буде ранжуватися і наводити трафік на сайт. Замість товару, що закінчився, можна запропонувати користувачам інші, схожі товари.

Послідовність налаштування може бути такою:

1. Першого року сторінка індексується, сторінка віддає код 200 ОК.
2. На другий рік URL видаляється із файлу Sitemap, зі списку товарів, панелі фільтрів. Однак, сторінка доступна за прямою адресою, і сервер повертає відповідь 200.
3. На третій рік за цією адресою встановлюється код 404 або 410, видаляються посилання на цю сторінку.

Періодичність наведено умовну. Головне — отримати якнайбільше трафіку на сайт та зберегти ранжування популярної сторінки.

• Налаштування http-коду 301 на головну сторінку

Потрібно розуміти, що редирект на нерелевантну сторінку може призвести до хибних помилок (Soft 404), які вводять в оману і пошукового робота, і користувачів. Оскільки, згідно з вимогами пошукової системи, 301 редирект повинен перенаправляти на сторінку з аналогічним контентом. Надалі це може погано вплинути на ранжування сайту.

• Налаштування http-коду 301 на сторінку зі схожим контентом

Це найбезпечніший спосіб зберегти позиції сайту у видачі, не втратити зворотні зовнішні посилання. До того ж, перенаправлення користувачів на сторінку зі схожими товарами не спровокує роздратування у користувачів і, ймовірніше, призведе до покупки. Налаштувавши редирект, важливо оновити адреси у файлі Sitemap та перенаправити внутрішні посилання.

3 варіант: коли товари на сайті відсутні тимчасово.

Якщо товар часто зникає і з’являється на сайті, не рекомендується встановлювати код помилки 404 або редирект 301, 302. Відновлення позицій у рейтингу пошукових систем відбувається довго, водночас компанія втрачатиме гроші за рахунок невеликої кількості переходів за цим запитом.

У цьому випадку краще оптимізувати сторінку, наприклад:

1. біля кожного товару встановити позначку «в наявності» (In Stock);
2. показувати відсутні товари наприкінці списку у лістингу;
3. пропонувати схожі товари.

4 варіант. Коли потрібно видалити сторінки.

Крім сторінок із застарілим контентом, є безліч інших, які періодично потрібно видаляти з індексу. Це можуть бути сторінки, які не приносять відвідування сайту, сервісні, що генеруються CMS.

Послідовність налаштування віддалених сторінок така:

1. Для всіх URL налаштувати код 404 Not found.
2. Видалити старі адреси зі списку Sitemap.xml.
3. Почистити внутрішні посилання, що вели на віддалену сторінку.

Як презентувати сторінку 404 (Not found) для відвідувачів

Після того, як користувач побачить сторінку з помилкою, він може негайно покинути сайт або залишитися та продовжити вивчення контенту. Все залежить від правильної оптимізації сторінки, головною метою якої є утримання відвідувача на сайті.

Що містить у собі правильна оптимізація сторінки 404:

1. Після запиту клієнта сервер повертає помилку 404.
2. На сторінці мовою, зрозумілою для користувача, описується помилка. Користувач взагалі не повинен бачити код 404. Просто ця відповідь так часто трапляється, що її запам’ятали навіть ті, хто далекий від програмування.
3. Дизайн сторінки повинен  бути схожим на дизайн всього сайту.
4. Сторінка 404 обов’язково містить навігацію: перехід на головну сторінку, інші розділи сайту.
5. На сторінці є вікно пошуку на сайті.
6. Вказані контакти: телефон, електронна адреса або вікно для звернення, якщо це необхідно.

Але також важливо не перевантажити сторінку інформацією, щоб людина одразу зрозуміла, що потрапила на пустий розділі, і не втрачала свого часу.

Варіанти оригінального оформлення сторінок 404

Яскрава сторінка у Sportmaster:

404 сторінка Intertop.ua витримана в тематиці інтернет-магазину:

Tripadvisor пояснює не знайдену сторінку як «здається, у цієї сторінки відпустка…» і пропонує відвідувачу також відпочити:

У Pokupon.ua сонячне повідомлення про 404 помилки на тлі хмар, що пливуть:

На 404 сторінці ТМ Ласунка супер герой — кулька морозива — пропонує провести заблуканого користувача:

Висновки

Незважаючи на поширену думку, сторінки з кодом 404 не впливають на ранжування сайту. Однак зовнішні та внутрішні посилання, що ведуть на ці сторінки у великій кількості, можуть сприяти втраті позицій у видачі. До того ж, неправильно оформлена сторінка 404 створює негативний досвід користувача, що призводить до втрати трафіку.

Побудуйте правильний алгоритм оптимізації сторінки, зробіть її привабливою для користувача. Це допоможе утримати позиції сайту у видачі та зберегти прибуток компанії.

Підключити послугу «SEO | Просування сайтів» від ADINDEX →