- 1. Робот не знає про сайті / документі
- 2. Сайт або його частину недоступна для робота
- 3. Сайт знаходиться в чорному списку
- 4. Присутній технічна помилка
- 5. Окремі сторінки або розділи показують погану якість
Сайт дня: Висновок сайту з під АГС від SiteClinic.
Погана індексація сайту - одна з серйозних проблем вебмайстрів. Чому сайт або його окремі сторінки до сих пір не в індексі? Щоб відповісти на це питання, потрібно провести невеликий аналіз. Нижче наведено список основних причин поганої індексації, який можна використовувати як чекліст для вирішення проблеми.
Існує 5 основних причин, за якими сайт або його окремі документи можуть не заходити в індекс (або робити це з трудом). Ось вони:
- Робот не знає про сайті або документі
- Сайт або його частину недоступна для робота
- Сайт знаходиться в чорному списку
- Присутній технічна помилка
- Окремі сторінки або розділи показують погану якість
Нижче детально розписаний кожен перерахований вище пункт.
1. Робот не знає про сайті / документі
Робот може не знати про сайті (не включити його в свій розклад) з різних причин.
- Минуло мало часу
Для того, щоб робот дізнався про сайті або новій сторінці, необхідно час, коли він знайде посилання (внутрішню або зовнішню), або коли хтось зайде на сайт з браузера з встановленим тулбаром, або ви навмисно повідомте роботу про появу нового документа. Прискорити потрапляння документа в розклад індексації можна за допомогою адурілку .
Також, якщо ви по логам сервера вже бачите, що робот заходив на сайт, а сторінки в індексі не з'явились, потрібно почекати апдейта, який в Яндексі відбувається не частіше 2 разів на тиждень (а у свята доходить до 1 разу в 2-4 тижні ). В основний індекс сторінки можуть потрапляти за кілька годин в Google і мінімум за 2 тижні в Яндекс (якщо потрапляють раніше, то по документу скоріше за все пройшовся бистробот і пізніше сторінки можуть на якийсь час піти з індексу до приходу основного робота).
- На сайт / документ не варто посилань
Якщо сайт оновлюється рідко, то робот на нього також буде заходити рідко і при додаванні нових сторінок потрібно переконатися, що на них стоять посилання з головної, або можна поставити посилання з інших зовнішніх ресурсів (з метою підказки роботу про нові документи).
2. Сайт або його частину недоступна для робота
Навіть якщо пошуковик вже знає про сайті, ми можемо свідомо чи несвідомо закривати йому доступ до окремих розділів і документам.
- Домен не делегував (або знятий з делегування за скаргою)
Переконайтеся, що придбаний вами домен делегований і доступний по доменному імені не тільки вам, а й іншим користувачам мережі. Попросіть своїх знайомих з іншого міста зайти на сайт і перевірити, чи відкривається він.
Також, у зв'язку з прийняттям закону про піратство , Деякі сайти можуть знімати з делегування. Це рідкісний випадок, але якщо ви розміщуєте піратський контент (фільми онлайн, музичні кліпи і аудиотреки, ігри та іншу інтелектуальну власність), то цілком можливо, що на вас подали скаргу. Про це зазвичай попереджають.
- Закрито через robots.txt
Відкрийте файл /robots.txt в кореневій папці (якщо він існує) і переконайтеся, що в ньому не закриті потрібні вам розділи. Наприклад, частою ситуацією буває закриття від індексації папки зі скриптами або шаблонами, де лежать і зображення, що призводить до відсутності індексації зображень. Або розробники перед викочуванням нового сайту в процесі тестування додають директиву "Disallow: /" (що означає заборону на індексацію всього сайту) і забувають її прибрати.
- Закрито через meta-robots
Тег meta-robots розміщується всередині тегів <head> і є другим способом заборонити індексування документа. Деякі CMS-ки (наприклад, WordPress) дозволяють цим гнучко управляти, але не кожен редактор згадує приділити цьому увагу після запуску і наповнення сайту первинним контентом. Так, наприклад, пару років назад блог SeoPult довгий час утримував мета-тег <meta name = "robots" content = "nofollow, noindex" /> через що його корисні сторінки були відсутні в індексі.
- Закрито через IP або User-Agent
Це питання потрібно вирішувати з хостером. В один час пошуковик Yahoo так приділяв увагу великим сайтам, що покладав хостинг і власники хостингу блокували бота по ip-адресою. Іноді (але дуже рідко) ip-адреса випадково потрапляє в чорний список. Це легко перевірити, аналізуючи логи сервера (access_log) на предмет наявності в них ознак відвідування сайту пошуковою системою.
Попросіть також ваших програмістів перевірити, чи не блокують вони своєю системою важливі запити роботів.
- Закрито через http-заголовки X- ROBOTS -TAG
Рідко який використовується метод, але http-заголовки також можна використовувати для заборони індексації тих чи інших сторінок. Перевірте за допомогою будь-яких інструментів (наприклад, плагіна Firebug для Firefox ), Які заголовки віддають сторінки вашого сайту і чи присутній в них x-robots-tag.
- Використовує flash або ajax-навігацію
Пошукові роботи погано індексують flash або ajax-елементи сайту. Якщо в них прихована навігація, це може ускладнити індексацію сайту і розпізнавання його структури. Щоб побачити сайт як робот, можна використовувати панель для вебмайстрів Google (для установки «Пошук" - "Подивитись як Googlebot").
- Важливі елементи на сайті закриті в noindex
Закриваючи щось "непотрібне", можна також закрити і потрібне 🙂 краще не використовувати noindex , Я неодноразово стикався з ситуаціями, коли він тільки шкодив при некоректному використанні. Можливо, саме через надлишок тегів noindex робот не бачить досить унікального контенту і тому не додає сайт в індекс.
3. Сайт знаходиться в чорному списку
Є кілька причин, за якими сайт потрапляє в чорний список пошукової системи, приводячи, природно, до відсутності індексації. Ось основні з цих причин:
- На сайт накладені санкції
Іноді накладення санкцій очевидно, іноді ми можемо про це не мати на увазі (наприклад, при покупці домена). У будь-якому випадку, варто переконатися, що домен чистий. Зазвичай, до накладання санкцій наводять такі особливості сайту:
- Маніпулює видачею агресивними методами оптимізації (наприклад, приховує seo-контент або підміняє контент для користувачів, просувається спамом по каталогам або формами і при цьому не має великого авторитету).
- Створено тільки для пошукових систем (не несе цінності користувачеві)
- Є афілліатом вже існуючого сайту (вже є аналогічний сайт на іншому домені того ж власника)
- Має погану історію домену
Який сайт існував на домені до того, як ви його придбали, можна подивитися на сервісі WebArchive . Бажано це робити до покупки домену.
- Ресурс поширює віруси
Трапляється, що сайти зламують і розміщують на них шкідливий код. Коли пошуковик це виявляє, то чи не продовжує індексувати сайт поки не відновить довіру. Щоб вчасно дізнатися про проблему злому, потрібно використовувати (і моніторити) панель для вебмайстрів.
4. Присутній технічна помилка
Нерідко, причиною поганої індексації сайту виявляється елементарна технічна помилка, усунення якої швидко виправляє проблему.
- Некоректне http-заголовок
Код відповіді сервера повинен бути "200" для тих сторінок, які повинні потрапити в індекс. Перевірити це можна різними інструментами, наприклад, плагіном Firebug або командою "wget -S http: //site.tld” ; з терміналу. Також, в панелі для вебмайстрів є розділ, присвячений індексації та якщо робот виявить будь-які помилки, він повідомить вам про це.
- Некоректне DOCTYPE
Я стикався з кількома випадками, коли перед DOCTYPE в html-коді стояли додаткові теги (<? Xml або <script>), що перешкоджають сторінок потрапляти в індекс. Потрібно переконатися, що код відповідає html-стандартам і робот легко може визначити тип контенту і його основні блоки.
- Некоректні редіректи
Перший випадок некоректного редиректу це використання 302-го замість 301-го . При цьому старі сторінки не будуть замінюватися на нові в індексі, так як використовується тимчасовий редирект замість постійного. Другий випадок поганої індексації через редиректів - це використання тега rel = "canonical" з прописаний однієї і тієї ж канонічної сторінки для всіх документів.
- Проблеми з кодуванням
Є кілька способів повідомити робота про кодування документа: мета-теги, http-заголовки і сам контент. Зазвичай, процес визначення кодування не складає для пошукових систем праці, але бувають рідкісні випадки, коли http-заголовки говорять про одне, мета-теги про інше, а сам контент написаний у третій кодуванні і тоді в індекс потрапляє просто набір символів, що показує погану якість контенту .
Переконайтеся, що з кодуванням ваших документів все в порядку.
Існують і інші технічні причини поганої індексації, які зустрічаються набагато рідше і так просто їх не знайти, необхідно підключати фахівця.
5. Окремі сторінки або розділи показують погану якість
Якщо з сайтом все відмінно в технічному плані і до нього немає претензій щодо використання агресивних методів оптимізації, пошуковик поступово індексує сайт. Для початку він дає невелику квоту на кількість необхідних проіндексованих сторінок. Якщо після накопичення статистики він бачить, що сторінки показують хорошу якість, квота збільшується і більше сторінок може потрапити в індекс. Так пошуковик економить свої ресурси, індексуючи тільки потрібні документи. Які ж ознаки говорять про хороше або погану якість документів?
- Контент вже існує на інших сайтах (не унікальний)
До індексації пошук не знає, унікальний чи контент містить документ, тому, на першому етапі сторінки сайту можуть індексуватися добре. Але якщо ваш контент уже десь зустрічається точь-в-точь, то пошуковику немає сенсу знову додавати його в індекс - він знає про ці сторінки і ви можете бачити в панелі для вебмайстрів, що він бачить кілька тисяч сторінок на вашому сайті, але при цьому вони не беруть участі в пошуку, якщо немає інших сигналів, які змушують бота змінити своє рішення.
- Контент вже існує в інших розділах цього сайту
Тут мова про внутрішні дублях контенту, зазвичай це сторінки сортування, пейджінга і сторінок для друку. Всі подібні сторінки, які мало відрізняються один від одного, підуть в додатковий індекс, який не бере участі в пошуку. Необхідно переконатися, що кожна сторінка сайту має цінність для користувача і ці цінності не перетинаються між документами, кожен цінний по своєму.
- Обсяг унікального тексту на сторінці менше 500 символів
Малий обсяг унікального тексту ускладнює пошуковим алгоритмам визначити цінність цього контенту для користувача. До того ж, на таких обсягах контенту складно підтримувати унікальність кожної сторінки свого і чужих сайтів. Часто сторінки з об'ємом менше 80-100 слів (близько 500 символів) з працею потрапляють в індекс (потрапляють тільки при хорошому віц ). Якщо це ваш випадок, подумайте, чи варто цим сторінкам бути в індексі, і якщо так, то що ще ви можете на них додати для збільшення контенту (наприклад, відгуки, коментарі, характеристики або відео-огляд).
- Документи розділу мають шаблонні заголовки і тексти
Пошуковики не люблять шаблонність, коли між сторінками змінюється лише одне-два слова і інший контент залишається однаковим, і намагаються не індексувати багато шаблонних сторінок. Якщо хочете, щоб сторінки потрапляли в індекс, прописуйте їх заголовки і мета-опису вручну, або використовуйте безліч шаблонів замість одного для всього сайту.
- Сторінки розділу більше 4-го рівня вкладеності
Чим більше рівень вкладеності сторінки, тим менше її вага і значимість для пошуку (для користувача також). Потрібні для індексації сторінки, які лежать далеко вглиб сайту, необхідно виносити на 2-3 рівень вкладеності за допомогою додаткової перелинковки.
- Велика кількість 404 сторінок
При виявленні безлічі помилок, пошуковик повинен визначати патерни і не стукають туди, де свідомо (з великою ймовірністю) сторінка також буде з 404 помилкою. У зв'язку з цим, потрібно періодично моніторити свій сайт на предмет різних помилок через вже згадану вище панель вебмайстрів або спеціалізованих програм .
- Повільна швидкість віддачі документів
Повільна швидкість віддачі документів через проблеми в хостингу або CMS не дозволить роботу швидко індексувати сайт. Він буде продовжувати його сканувати, але не так швидко, як якщо б документи віддавалися моментально. Проста оптимізація швидкості завантаження сайту може істотно поліпшити його індексацію.
Звичайно ж, існують і інші причини поганої індексації сайту. Якщо жоден з перерахованих вище ознак вам не підходить, необхідно звернутися до служби підтримки пошукової системи, або зв'язатися з фахівцями.
Якщо у вашому досвіді зустрічалися якісь інші проблеми, що заважають сайту нормально індексуватися, діліться ними в коментарях!
Чому сайт або його окремі сторінки до сих пір не в індексі?Lt;?
Які ж ознаки говорять про хороше або погану якість документів?