Axtarış botuÜmumdünya hörümçək torunu sistematik şəkildə analiz edən və adətən veb indeksləşdirmə məqsədilə axtarış motorları tərəfindən idarə olunan internet botu.[1]

Axtarış botunun arxitekturası

Veb axtarış mühərrikləri və bəzi digər veb-saytlar öz veb məzmununu və ya digər saytların veb məzmununun indekslərini yeniləmək üçün axtarış botundan istifadə edirlər. Axtarış botu axtarış mühərriki tərəfindən emal edilməsi üçün səhifələri kopyalayır. Bu da istifadəçilərə daha səmərəli axtarış edə bilmə imkanı verir.

Axtarış botları ziyarət edilən sistemlərdə resursları istehlak edir və tez-tez saytları xəbərsiz ziyarət edirlər. Böyük səhifə kolleksiyasına rast gəldikdə planlama, yüklənmə və "nəzakət" problemləri gündəmə gəlir. Bunu axtarış botuna bildirmək üçün indekslənmək istəməyən ictimai saytlar üçün mexanizmlər mövcuddur. Məsələn, robots.txt faylı botlardan veb-saytın yalnız müxtəlif hissələrini indeksləşdirməyi və ya ümumiyyətlə indeksləşdirməməyi tələb edə bilər.

İnternet səhifələrinin sayı olduqca çoxdur; hətta ən böyük botlar belə tam indeks yaratmaqda çətinlik çəkirlər. Bu səbəbdən, axtarış sistemləri Ümumdünya hörümçək torunun ilk illərində, 2000-ci ildən əvvəl müvafiq axtarış nəticələrini vermək üçün mübarizə aparırdılar. Bu gün müvafiq nəticələr demək olar ki, dərhal verilir.

Axtarış botları hiperlinkləriHTML kodunu təsdiqləyə bilər. Onlar həmçinin veb skreypinqməlumatlara əsaslanan proqramlaşdırma üçün istifadə edilə bilər.

Həmçinin bax

redaktə

İstinadlar

redaktə
  1. "Web Crawlers: Browsing the Web". 2021-12-06 tarixində orijinalından arxivləşdirilib.

Əlavə ədəbiyyat

redaktə

Xarici keçidlər

redaktə