robots.txt
- Vikipediyanın robots.txt faylı üçün: https://az.wikipedia.org/robots.txt
robots.txt — veb-saytlar tərəfindən axtarış botlarına və digər botlara veb-saytın hansı hissələrinə daxil olmağa icazə verildiyini göstərmək üçün istifadə edilən standart olan "Robots Exclusion Protocol" protokolunu həyata keçirmək üçün istifadə edilən fayl adı.
Bu, könüllü razılığa əsaslanır. Bütün botlar standarta əməl etmir. Əksinə, təhlükəsizlik boşluqlarını skan edən e-poçt spamçıları, spam-botlar, zərərli proqramlar və robotlar veb-saytın onlardan kənarda qalmaları xahiş edilən hissələrdən (Robots Exclusion Protocol ilə) başlaya bilər.
"robots.txt" faylı veb-saytlar üçün digər robot daxiletmə standartı olan Sitemaps ilə birlikdə istifadə edilə bilər.
Tarixi redaktə
Standart Martin Koster tərəfindən[1][2] 1994-cü ilin fevralında[3] "Nexor"da işləyərkən,[4] o zaman WWW ilə əlaqəli fəaliyyətlər üçün əsas kommunikasiya kanalı olan "www-talk" poçt siyahısında təklif edilmişdir. Çarlz Stross iddia edir ki, təsadüfən Kosterin serverinə DoS-hücum etməsinə səbəb olan bot yazdıqdan sonra Kosterə "robots.txt" yaratmağı təklif edib.[5]
O tez bir zamanda "WebCrawler", "Lycos" və "AltaVista" kimi axtarış motorları tərəfindən idarə olunanlar da daxil olmaqla, ən çox uyğun gələn indiki və gələcək veb skanerlərinin əməl edəcəyi de-fakto standarta çevrildi.[6]
1 iyul 2019-cu ildə "Google" IETF çərçivəsində rəsmi standart olaraq "Robots Exclusion Protocol"nu təklif etdi.[7] Təklif olunan standart 2022-ci ilin sentyabrında RFC 9309 olaraq nəşr olundu.[8]
Həmçinin bax redaktə
İstinadlar redaktə
- ↑ "Historical". Greenhills.co.uk. 2017-04-03 tarixində arxivləşdirilib. İstifadə tarixi: 2017-03-03.
- ↑ Fielding, Roy. "Maintaining Distributed Hypertext Infostructures: Welcome to MOMspider's Web" (PostScript). First International Conference on the World Wide Web. Geneva. 1994. 2013-09-27 tarixində arxivləşdirilib. İstifadə tarixi: September 25, 2013.
- ↑ Koster, Martijn. "Important: Spiders, Robots and Web Wanderers". www-talk mailing list. 25 February 1994. October 29, 2013 tarixində orijinalından (Hypermail archived message) arxivləşdirilib.
- ↑ "The Web Robots Pages". Robotstxt.org. 1994-06-30. 2014-01-12 tarixində arxivləşdirilib. İstifadə tarixi: 2013-12-29.
- ↑ "How I got here in the end, part five: "things can only get better!"". Charlie's Diary. 19 June 2006. 2013-11-25 tarixində arxivləşdirilib. İstifadə tarixi: 19 April 2014.
- ↑ Barry Schwartz. "Robots.txt Celebrates 20 Years Of Blocking Search Engines". Search Engine Land. 30 June 2014. 2015-09-07 tarixində arxivləşdirilib. İstifadə tarixi: 2015-11-19.
- ↑ "Formalizing the Robots Exclusion Protocol Specification". Official Google Webmaster Central Blog (ingilis). 2019-07-10 tarixində arxivləşdirilib. İstifadə tarixi: 2019-07-10.
- ↑ Koster, M.; Illyes, G.; Zeller, H.; Sassman, L. "Robots Exclusion Protocol". IETF Documents. 2022-09-14. 2022-09-22 tarixində arxivləşdirilib. İstifadə tarixi: 2022-09-22.
Xarici keçidlər redaktə
- robotstxt.org — Robots.txt rəsmi saytı
- Koster, Martijn; Illyes, Gary; Zeller, Henner; Sassman, Lizzi. "Robots Exclusion Protocol". Internet Engineering Task Force. September 2022.