Що таке робот пошукової системи

Функції

Вся проіндексована інформація записується в загальну базу даних.

Пошукової робот - програма, яка автоматично подорожує по сторінках інтернету, запитуючи потрібні документи і отримуючи структуру сканованих сайтів. Робот самостійно вибирає сторінки, які повинні бути просканувати. У більшості випадків скановані сайти вибираються у випадковому порядку.

Типи ботів

Неправильно функціонуючий робот значно збільшує навантаження на мережу і сервер, що може стати причиною недоступності ресурсу.

У кожної пошукової системи існує кілька програм, які називаються роботами. Кожна з них може виконувати певну функцію. Наприклад, у «Яндекса» деякі роботи відповідають за сканування новинних стрічок RSS, які будуть корисні при індексації блогів. Є також програми, які займаються тільки пошуком картинок. Проте найголовнішим є індексує бот, який формує базу для проведення будь-якого пошуку. Також є допоміжний швидкий робот, призначений для пошуку оновлень по новинних стрічках і заходам.

Процедура сканування

Іншим способом заборони на сканування вмісту є створення доступу до сайту через панель реєстрації.

Відвідуючи сайт, програма проводить сканування файлової системи на предмет наявності файлів інструкції robots.txt. За наявності документа, починається зчитування директив, прописаних у документі. Robots.txt може забороняти або, навпаки, дозволяти, сканування тих чи інших сторінок і файлів на сайті.

Процес сканування залежить від типу програми. Іноді роботи зчитують тільки заголовки сторінок і кілька параграфів. У деяких випадках сканування проводиться по всьому документу в залежності від HTML-розмітки, яка також може працювати в якості засобу для вказівки ключових фраз. Деякі програми спеціалізуються на прихованих або мета-тегах.

Додавання в список

Кожен веб-майстер може заборонити сканування сторінок пошуковою системою через robots.txt або тег META. Також творець сайту може вручну додати сайт в чергу індексування, проте додавання зовсім не означає, що робот негайно просканує потрібну сторінку. Щоб додати сайт в чергу, пошуковики також надають спеціальні інтерфейси. Додавання сайту значно прискорює процес індексування. Також для швидкої реєстрації в пошуковій системі можуть бути використані системи веб-аналітики, каталоги сайтів і т.п.