Нові безкоштовні інструменти: аналіз логів сервера і внутрішніх посилань. API перевірки тексту

1. Аналіз логів сервера
2. Аналіз внутрішніх посилань
3. API аналізу тексту

Додав в добірку безкоштовних сервісів bez-bubna.com ще два скрипта, якими сам давно користуюся.

Аналіз логів сервера

На великих проектах настійно рекомендуються вести постійний моніторинг активності пошукових роботів. Власникам маленьких сайтів теж не варто упускати поведінку Googlebot і YandexBot з поля зору. Вдумливе вивчення access.log може дати дуже багато поживи для роздумів.

Особливо актуальна робота з логами на етапі запуску - коли в панелях вебмайстрів ще нічого не відображається, позицій немає і не може бути, а трафік представлений випадковими візитами. У цей момент access.log - єдине надійне джерело інформації про сприйняття сайту пошуковими системами.

Інструмент доступний за адресою: https://bez-bubna.com/free/log.php

Завантажуєте файл, чекаєте кілька секунд і отримуєте наступні звіти:

• Популярні сторінки (з великим числом візитів робота, посилання з них можна використовувати для прискорення індексації інших url).
• Сторінки з відносно невеликим обсягом контенту (сюди можуть потрапляти і абсолютно нормальні документи, але якщо роботи повзали по порожніх технічним сторінок - ви це побачите). Привабливість у тому, що ці url не завжди можна Спарс програмою для техаудіта - адже в індекс можуть потрапляти і сторінки без внутрішніх посилань.
• Сторінки, що віддають пошуковим роботам помилки сервера (404,403, 500). У помилках як таких немає нічого страшного, але потрібно переконатися, що відповідь сервера у всіх випадках саме такий, як ви планували. Трапляється, помилково адміністратора сервера блокуються IP пошукових роботів - тоді ви будете бачити нормальний сайт, а ось пошуковим роботам доведеться довбати в 403. Варіантів виникнення небажаних помилок просто тьма, це лише один приклад.

Аналіз внутрішніх посилань

Внутрішня перелінковка не володіє чарівною силою витягувати сайт в топ. Але це не означає, що їй не треба займатися. У посилань є як мінімум один доведений ефект (не рахуючи полегшення індексації) - анкор «підшивається» до тексту сторінки, на яку веде посилання. Сторінка-акцептор може шукатися по ключу, який відповідає анкор.

Таким чином, можна використовувати внутрішні посилання для збагачення документів важливою для оптимізатора семантикою. Звичайно, проробляти це без системи не дуже правильно.

сервіс: https://bez-bubna.com/free/inlinks.php

Мені було ліньки парсити документи самому і перераховувати кожен лінк. Та й навіщо, якщо будь-який оптимізатор все одно спершу засуне сайт в Screaming Frog? Звідти можна взяти вивантаження з повною інформацією про посилання і аналізувати вже її.

Результат містить два звіти.

По-перше, це дані про відвідування сторінок, на які веде багато посилань. Потенційно це найбільш сильні сторінки, логічно буде розмітити їх по великій кількості ключів. Звіт показує які анкор вже є і яке велике їх різноманіття:

Другий звіт допомагає знайти посилання з однаковими анкорами, але різними цільовими сторінками. Така ситуація може ускладнювати вибір релевантної сторінки.

Обидва сервіси безкоштовні, але мають обмеження на розмір файлу (сервера-то не гумові!) - не більше 10 мегабайт. Для невеликих проектів цього достатньо.

Надалі викладу аналогічні інструменти зі збільшеним лімітом - ціна, втім, буде цілком символічною.

API аналізу тексту

Минулого тижня отримав відразу кілька питань про API для розширеного аналізу тексту . Здивувався такій затребуваності і вирішив не відкладаючи його реалізувати. документація тут . API-ключі поки видаю вручну за запитом. Якщо у вас біржа контенту або потокове виробництво статейніков - звертайтеся, це повинно бути зручніше, ніж робота через інтерфейс. І як ніколи актуально - Баден-Баден продовжує лютовать.