404 помилка: де шукати та як виправити

Зміст

• Що таке 404 помилка (Not Found)
• Як 404 помилка впливає на SEO
  • Окремо розглянемо Soft 404 помилки — у чому їхня проблема?
• 3 способи, як перевірити код відповіді сторінки
• 4 інструменти, як перевірити сайт на 404 помилку
• Як усунути помилку 404
• Як уникнути появи 404 помилки
• Як створити сторінку 404
• Приклади креативних та інформативних сторінок 404
• Висновки

Сторінка з 404 помилкою або «сторінка не знайдена» — досить поширене явище в Інтернеті. 404 помилку можна зустріти під час переходу за посиланням або під час введення URL-адреси сторінки в рядку браузера, коли сервер на запит браузера не може знайти запитуваний документ і повертає код відповіді 404.

Малюнок 1. 404 сторінка Amazon.com

Люди зазвичай не надають цьому особливого значення, після того, як бачать помилку «сторінка не знайдена», розчаровуються, а може навіть дратуються — натискають кнопку «Назад» або закривають вкладку. Однак 404 помилка може впливати на SEO. Ступінь впливу залежить від причин виникнення такої помилки та її масштабу.

У цій статті розглянемо докладніше, що означає 404 помилка, як вона впливає на ранжування сайту. Розповімо, як перевірити сайт на 404 помилки та дамо рекомендації на тему того, як їх усунути.

Підключити послугу «SEO | Просування сайтів» від ADINDEX →

Що таке 404 помилка (Not Found)

Помилка 404 або Not Found («не знайдено») — це стандартний код відповіді сервера, який повідомляє, що сервер не може знайти запитуваний документ.

Коли сторінка працює правильно, сервер повертає код відповіді 200 ОК.

Якщо ви зараз читаєте цю статтю, це означає, що ваш браузер встановив з’єднання з сервером, він знайшов потрібну сторінку і повернув код відповіді 200 (просто цей код ви не бачите).

Поширені причини появи 404 помилок:

• сторінку було видалено;
• биті посилання, коли помилка в URL-адресі сторінки або URL змінена, але адреса посилання не оновлена;
• помилка користувача під час введення URL-адреси сторінки в рядку браузера.

404 помилки, пов’язані з видаленням сторінок на сайті і зміною формування URL-адреси сторінок — закономірності їх появи, що найчастіше трапляються, з якими ми зіштовхуємося на проектах ADINDEX.

Так, під час проведення аудиту для одного клієнта, ми виявили велику кількість сторінок з помилкою 404. Проблема виникла після того, як контент-менеджер видаляв товари, яких немає. У результаті це призвело до часткової втрати зворотної маси, оскільки на віддалені сторінки вели зовнішні посилання.

Малюнок 2. Приклад динаміки 404 помилки

Як 404 помилка впливає на SEO

Що Google говорить про 404?

Пошукова система сприймає 404 помилку як природне явище. Довідка Google:

Малюнок 3. Допомога Google — Помилки 404

Але водночас 404 помилки можуть впливати на ранжування сайту.

Справа в тому, що не так 404 сторінки негативно впливають на SEO, як посилання, що містять URL-адреси, що ведуть на 404 помилки.

Занадто багато посилань на 404 помилки сигналізують про проблеми з якістю сайту. Вони здатні погіршити індексацію сайту, що призведе до втрати позицій. Також це створює негативний досвід користувача — зростання показника відмов і зниження часу взаємодії з сайтом.

Саме «непрацюючі» посилання є критичним фактором. До того ж, це негативно впливає на краулінговий бюджет. Пошуковий робот витрачатиме свій ресурс на перехід за посиланнями на сторінки, що віддають 404 код відповіді, замість того, щоб сканувати всі потрібні та цінні для просування сторінки.

Тому, якщо немає битих посилань, пошуковий робот не зможе знайти жодних посилань, що вказують на 404 сторінки.

Немає посилань на 404 — немає 404.

Окремо розглянемо Soft 404 помилки — у чому їхня проблема?

Soft 404 помилка або так звана хибна 404 помилка відбувається, коли сторінка не існує, але повертає код відповіді 200 ОК. Варто зазначити, що таке поняття запроваджено лише ПС Google. В інших пошукових системах терміна «хибна помилка» не існує.

Причини виникнення Soft 404 помилок такі:

• порожня сторінка або дуже мало вмісту на сторінці. Це може бути також пов’язано з тим, що сторінка містить ресурси (зображення, скрипти), які пошуковому роботу не вдається обробити через те, що доступ до них заборонено у файлі Robots.txt або ресурсів занадто багато, їх обробка займе надто багато часу .
• з неіснуючої сторінки налаштований редирект на нерелевантну сторінку;
• некоректна робота сервера, коли для неіснуючих сторінок повертається код відповіді, який відрізняється від 404 або 410.

HTTP статус 200 ОК, тобто «успішно», повідомляє пошукові системи, що сторінка існує. Відповідно, неіснуюча сторінка скануватиметься і, як наслідок, може потрапити до результатів пошуку.

Така ситуація здатна негативно вплинути на ранжування всього сайту і даремно витрачати цінний ресурс краулера.

3 способи, як перевірити код відповіді сторінки

1. У браузері

Швидко перевірити код відповіді сторінки без використання сторонніх інструментів можна в браузері Google Chrome — клацнути правою кнопкою мишки в будь-якому місці на сторінці, натиснути «Перевірити код» і перейти в розділ «Network» — стовпець «Status». Код відповіді 404 відображається так:

Малюнок 5. Google Chrome Inspector

У стовпці статусу крім 404 вказано багато інших кодів стану — це перераховані всі ресурси, які завантажує сторінка: запитані файли, зображення тощо.

2. На сайті https://httpstatus.io/

За один раз дозволяє перевірити до 100 URL:

Малюнок 6. httpstatus.io

3. Плагін для Chrome

Безкоштовне розширення Redirect Path у Google Chrome. Розширення показує 301, 302, 404 та 500 коди відповіді HTTP, а також перенаправлення, що виконуються за допомогою JavaScript.

Приклад зображення 404 помилок у розширенні Redirect Path:

Малюнок 7. Redirect Path

4 інструменти, як перевірити сайт на 404 помилку

Є багато різних інструментів і плагінів роботи з 404 помилками. У цій статті наведемо основні, якими ми користуємося щодня:

1. Google Search Console

Щоб перевірити, чи є на сайті 404 помилки, необхідно перейти до «Звіту про індексування» — розділ «Покриття» — «Помилка»:

Малюнок 8. Google Search Console — Звіт про індексування — Покриття

У межах кожної помилки наведено перелік сторінок з датою останнього сканування. Щоб отримати більше даних про URL, необхідно у звіті Search Console навпаки URL натиснути «Перевірити URL»:

Малюнок 9. Search Console — Покриття — Помилка — Перевірити URL

Відповідно до довідки Search Console 404 помилки поділяють на 2 групи за принципом їх знаходження пошуковим роботом:

• Надісланий URL не знайдено (помилка 404) — означає, що URL є у файлі Sitemap.xml і його індексація не заборонена у файлі Robots.txt мета тегом robots. Тобто, з дозволом індексувати було надіслано запит на обробку сторінки, але її не було знайдено. У цьому випадку Google покаже джерело виявлення 404 помилки.

Приклад:

Малюнок 10. Вказано джерело виявлення 404 помилки, звіт «Відправлений URL не знайдено»

• Не знайдено (404) — означає, що URL знайдено Google без запиту на сканування та без допомоги файлу Sitemap. Можливо, робот Google виявив цю URL-адресу в посиланні на іншому сайті. Відповідно, буде прихована інформація про джерело 404 помилкою.

Приклад:

Малюнок 11. Джерело виявлення 404 помилки приховано, звіт «Не знайдено (404)»

2. Serpstat.com

Serpstat дозволяє виконати аудит проекту. Зазвичай ми використовуємо цей сервіс, коли потрібно швидко оцінити стан проекту, зрозуміти його слабкі та сильні сторони. Після додавання проекту та парсингу сайту сервіс надасть перелік помилок із поясненнями, рекомендаціями щодо їх усунення та градацією (високий, середній та низький пріоритет).

Так, аудит одного невеликого західного проекту показав досить велику кількість 404 помилок:

Малюнок 12. 404 помилки Serpstat.com

Причина була в тому, що у блозі на сайті змінили принцип формування URL-адрес статей, але не оновили URL в посиланнях на одному з його піддоменів:

Малюнок 13. Джерело 404 помилки, Serpstat.com

3. Ahrefs (Broken Links)

Інструмент Broken Link Checker показує внутрішні та зовнішні биті посилання. Безкоштовно надає до 10 урлів.

Малюнок 14. Ahrefs Broken Link Checker

4. Сканери Screaming Frog та Netpeak Spider

Ці програми використовуємо в основному, коли аналізуємо технічну оптимізацію сайту та формуємо ТЗ для програмістів, вони дозволяють спарсити весь сайт та вивантажити таблиці у межах кожної помилки.

Малюнок 15. 404 помилки, Screaming Frog

Як усунути помилки 404

Щоб усунути 404 помилки на сайті, необхідно визначити їхнє джерело, тобто знайти розташування битих посилань. Для цього можна скористатися будь-яким краулером. Після завершення парсингу необхідно у списку всіх урлів сайту відфільтрувати за кодом відповіді — 404. Таким чином ви отримаєте список усіх 404 помилок та внутрішніх посилань на них. Цей список рекомендується порівняти зі списком Google Search Console.

Після встановлення джерела 404 помилок — видалити або замінити актуальні внутрішні посилання сайту, що ведуть на сторінки з 404 кодом відповіді сервера. Водночас необхідно переконатися, що сторінки, що видають код 404, видалені з файлу Sitemap.xml, інакше пошуковий робот продовжить їх сканувати.

У випадку Soft або хибних помилок 404 рекомендується налаштувати код відповіді сервера 404. І, аналогічно, видалити або оновити посилання, що ведуть на них.

Приклад зображення даних у Google Search Console після усунення 404 помилок:

Малюнок 16. Усунення 404 помилок

Як уникнути появи 404 помилок

Щоб запобігти появі 404 помилок, рекомендуємо дотримуватись наступних правил на прикладі найбільш типових ситуацій:

Ситуація 1 — Зміна принципу формування URL

• Налаштувати 301 редирект зі «старих» URL на актуальні адреси сторінок.
• Видалити старі URL-адреси сторінок із файлу Sitemap.xml.
• Додати актуальні URL-адреси сторінок у файл Sitemap.xml.
• Оновити адреси всіх внутрішніх посилань на веб-сайті.

Ситуація 2 — Робота з постійно відсутніми товарами (бренди або інші схожі сутності)

В управлінні відсутніми товарами немає жодного правильного підходу. Вибір варіанта оптимізації залежить від пріоритетів та ступеня прийнятного ризику.

Розглянемо найчастіше використовувані підходи в управлінні відсутніх товарів:

• Налаштування коду відповіді 404 — під час видалення неактуальних товарів та налаштування коду HTTP 404 або 410, сайт втратить позиції за даними товарними запитами, що може призвести до недоотримання продажу. Хороший сценарій, коли люди перейшли на сайт по сторінці товару «немає в наявності» і обрали іншу версію цього товару або інший товар. Також, якщо є зовнішні зворотні посилання на товарні сторінки, під час видалення сторінок вони будуть втрачені. Під час використання такого підходу радимо відтермінувати налаштування 404 коду відповіді настільки, наскільки це можливо. Тобто, певний час «не вимикати» товари, яких немає. Незважаючи на те, що товару немає, такі сторінки все одно будуть ранжуватися і можуть залучати трафік. Приклад алгоритму налаштування:

• Протягом 1 року, з моменту відсутності товару, сторінка продовжує бути доступною та віддає код відповіді 200.
• На другий рік посилання на сторінку відсутнього товару видаляється з товарного лістингу, панелі фільтрів, файлу Sitemap тощо, але залишається доступним по прямому URL і віддає код 200.
• На третій рік товар видаляється з товарної бази, налаштування коду відповіді 404 або 410 та видалення посилань на нього з усього сайту.

Таймінги наведено умовні. Мета — забезпечити максимально можливий період ранжування за запитами відсутнього товару.

• Налаштування 301 редиректу на категорію або головну сторінку — створює негативний досвід, оскільки фактично це перенаправлення на нерелевантну сторінку. Відповідно до вимог пошукової системи — 301 редирект має перенаправляти на сторінку з аналогічним контентом. Виконання переадресації на нерелевантну сторінку може призвести до появи хибних 404 помилок, які вводять в оману не лише користувачів, а й пошукові системи.

• Налаштування 301 редиректу на сторінки з аналогічним контентом. З погляду результату і дотримання правила «не нашкодь», найбільш оптимальний варіант — ставити редирект на схожі товарні сторінки, наприклад, більш нову версію цього ж товару. Такий підхід дозволить зберегти результати у видачі та зберегти наявні зворотні посилання. Водночас важливо не проґавити виконання базових вимог:

• Оновити посилання в Sitemap.
• Оновити внутрішні посилання на веб-сайті.

Ситуація 3 — Робота з тимчасово відсутніми товарами

У випадку, коли товари періодично йдуть із запасів і повертаються, налаштування 404 коду відповіді сервера або налаштування 301/302 редиректу дуже ризиковане тому, що відновлення ранжування товарних сторінок може відбуватися дуже довго.

У цьому випадку краще оптимізувати такі сторінки, наприклад:

• реалізувати розмітку структурованих даних ‘In Stock’:

Малюнок 17. Розмітка структурованих даних

• пропонувати альтернативні товари, які є;

• змінити порядок виведення товарів у лістингу: відсутні товари виводяться наприкінці лістингу;

• додати новий фільтр, щоб користувач міг самостійно фільтрувати товари за наявністю.

Ситуація 4 — Необхідність видалити будь-які сторінки на постійній основі (сервісні, CMS, що генеруються, непотрібні, що не приносять трафік тощо)

• Налаштувати код відповіді сервера 410 для віддалених сторінок.
• Видалити сторінки із Sitemap.xml.
• Видалити на сайті всі внутрішні посилання на віддалені сторінки.

Як створити сторінку 404

Сторінки з помилками формують негативний користувацький досвід, але ефективна 404 сторінка здатна пом’якшити розчарування користувачів і спонукати до подальшого вивчення сайту.

Якою має бути оптимізована 404 сторінка, основні рекомендації:

• Під час запиту на сторінку, якої не існує, сервер повинен повертати помилку 404, «сторінку не знайдено».
• Містити чітко сформульоване повідомлення про помилку та вибачення за помилку.
• Сторінка повинна бути в загальній концепції сайту, мати ідентичний дизайн сайту.
• Містити спрощену навігацію, перехід на «Головну сторінку» та важливі сторінки сайту.
• Містити вікно пошуку на сайті.
• Містити контактні дані (номери телефонів, e-mail), якщо це буде доречно.

Приклади креативних та інформативних сторінок 404

Olx.ua пропонує пограти в хрестики-нулики:

Малюнок 18. 404 сторінка olx.ua

Короткий дизайн 404 сторінки Karabas.com:

Малюнок 19. 404 сторінка Karabas.com

У comfy.ua збережена вся навігація в header та вказані можливі причини 404 помилки:

Малюнок 20. 404 сторінка comfy.ua

Незадоволений кіт, що ворушить вухами і кліпає очима, зустріне відвідувачів 404-ї на сайті html6.com.ru:

Малюнок 21. 404 html6.com.ru/404

Crello «звалює» всю відповідальність на голубів =) і пропонує повернутися назад або створити новий дизайн прямо з 404-ї сторінки:

Малюнок 22. 404 сторінка crello.com/ru/404

Canva пропонує зібрати пазл із заходом Сонця:

Малюнок 23. 404 сторінка canva.com/404

Pixar пропонує перестати плакати у вигляді зображення на 404-й сторінці дівчини, що реве, зі своїх мультиків:

Малюнок 24. 404 сторінка pixar.com/404

У Marvel на 404-й сторінці теж зображена одна з їх героїнь (у переляканому вигляді):

Малюнок 25. 404 сторінка marvel.com/404

А у Figma напис 404 можна розтягувати, потягнувши за точки, зазначені на зображенні. Вражає!:

Малюнок 26. 404 сторінка figma.com/404/

Сторінка 404 у Airbnb теж дуже креативна: дівчинка кидає на підлогу морозиво і посмішка на її обличчі змінюється емоцією смутку.

Малюнок 27. 404 сторінка airbnb.com/404

ВИСНОВКИ

Безпосередньо самі 404 сторінки не шкодять SEO, але посилання, що ведуть на 404 помилки, особливо якщо їх багато, можуть негативно впливати на ефективність сайту в органічному пошуку. Якщо не діяти, можна втратити відвідувачів та певну кількість продажу. Переконайтеся, що на сайті немає внутрішніх посилань.

Зробіть 404 сторінку привабливою, щоб утримати користувача на сайті.

Підключити послугу SEO | Просування сайтів» від ADINDEX →