Vikipediya

Böyük verilənlər

Böyük verilənlər (ing. big data) — ənənəvi məlumat emalı proqramı ilə idarə oluna bilməyəcək qədər böyük və ya mürəkkəb verilənlər dəstləri. Çoxlu daxiletməsi (sətir) olan məlumatlar daha böyük statistik güc təklif edir, halbuki daha yüksək mürəkkəbliyə malik məlumatlar (daha çox atribut və ya sütun) daha yüksək yanlış aşkaretmə dərəcəsinə səbəb ola bilər.[2] Rəsmi tərifin olmaması səbəbindən bəzən sərbəst şəkildə istifadə olunsa da, ən yaxşı şərh odur ki, o, yalnız kiçik miqdarda istifadə edildikdə dərk edilə bilməyən böyük bir məlumat toplusudur.[3]

Rəqəmsal qlobal məlumat saxlama qabiliyyətinin qeyri-xətti artımı və analoq yaddaşın azalması[1]

Böyük verilənlərin təhlili ilə bağlı problemlərə məlumatların toplanması, saxlanması, təhlili, axtarış, paylaşma, ötürmə, vizuallaşdırma, sorğulama, yeniləmə, məlumat məxfiliyi və məlumat mənbələri daxildir. Böyük verilənlər əvvəlcə üç əsas anlayışla əlaqələndirildi: həcm, müxtəliflik və sürət.[4] Böyük məlumatların təhlili seçmə zamanı çətinliklər yaradır və bu səbəbdən, əvvəlcə yalnız müşahidələrə və seçmələrə imkan verir. Beləliklə, dördüncü anlayış, doğruluq, məlumatların keyfiyyətinə və ya dərinliyinə aiddir. Böyük verilənlərin doğruluğu üçün ekspertizaya kifayət qədər sərmayə qoyulmadan, məlumatların həcmi və müxtəlifliyi təşkilatın böyük verilənlərdən dəyər yaratmaq və əldə etmək imkanlarını aşan xərclər və risklər yarada bilər.[5]

Böyük verilənlər termininin cari istifadəsi proqnozlaşdırıcı analitika, istifadəçi davranışının analitikası və ya böyük verilənlərdən dəyər çıxaran digər müəyyən qabaqcıl məlumat analitikası metodlarının istifadəsinə, nadir hallarda isə məlumat dəstinin müəyyən ölçüsünə aiddir. "Hazırda mövcud olan məlumatların miqdarının həqiqətən böyük olduğuna şübhə yoxdur, lakin bu, bu yeni məlumat ekosisteminin ən aktual xüsusiyyəti deyil."[6] Məlumat dəstlərinin təhlili "biznes meyllərini aşkar etmək, xəstəliklərin qarşısını almaq, cinayətlə mübarizə və s." üçün yeni korrelyasiya tapa bilər.[7] Alimlər, biznes rəhbərləri, həkimlər, reklamlar və hökumətlər müntəzəm olaraq internet axtarışları, fintech, səhiyyə analitikası, coğrafi informasiya sistemləri, şəhər informatikası və biznes informatikası da daxil olmaqla böyük məlumat dəstləri ilə bağlı çətinliklərlə üzləşirlər. Alimlər meteorologiya, genomika,[8] konnektomika, mürəkkəb fizika simulyasiyaları, biologiya və ətraf mühit tədqiqatları daxil olmaqla e-elm işində məhdudiyyətlərlə qarşılaşırlar.[9] Mobil cihazlar, ucuz və çoxsaylı məlumat aşkar edən əşyaların interneti cihazları, antenna, proqram qeydləri, kameralar, mikrofonlar, radiotezlik identifikasiya oxuyucuları və simsiz sensor şəbəkələr kimi cihazlar tərəfindən toplandığı üçün mövcud məlumat dəstlərinin ölçüsü və sayı sürətlə artmışdır.[10][11] Dünyada adambaşına düşən texnoloji məlumat saxlamaq qabiliyyəti 1980-ci illərdən bəri hər 40 ayda təxminən iki dəfə artmışdır.[12] 2012-ci ildən etibarən hər gün 2,5 ekzabayt (2,17×260 bayt) məlumat yaradılır.[13] Beynəlxalq Verilənlər Korporasiyasının (BVK) hesabat proqnozuna əsasən, qlobal məlumat həcminin 2013–2020-ci illər arasında 4,4 zettabaytdan 44 zettabaytadək artacağı proqnozlaşdırılır. 2025-ci ilə qədər BVK 163 zettabayt məlumat olacağını proqnozlaşdırır.[14] BVK-nin məlumatına görə, 2021-ci ildə böyük verilənlər və biznes analitikası (BDA) həllərinin qlobal xərclərinin 215,7 milyard dollara çatacağı təxmin edilir.[15][16] Lakin Statista təşkilatı qlobal böyük məlumat bazarının 2027-ci ilə qədər 103 milyard dollara qədər artacağını proqnozlaşdırır.[17] 2011-ci ildə McKinsey & Company bildirdi ki, əgər ABŞ səhiyyəsi səmərəliliyi və keyfiyyəti artırmaq üçün böyük məlumatlardan yaradıcı və effektiv istifadə etsə, sektor hər il 300 milyard dollardan çox dəyər yarada bilər.[18] Avropanın inkişaf etmiş iqtisadiyyatlarında hökumət idarəçiləri böyük verilənlərdən istifadə etməklə təkcə əməliyyat səmərəliliyinin artırılmasına 100 milyard avrodan (149 milyard dollar) çox qənaət edə bilərdilər.[18] Şəxsi məkan məlumatları ilə aktivləşdirilən xidmətlərin istifadəçiləri isə 600 milyard dollar istehlakçı profisiti əldə edə bilər.[18] Böyük müəssisələr üçün problem bütün təşkilata təsir edən böyük məlumat təşəbbüslərinin kimə məxsus olduğunu müəyyən etməkdir.[19]

Verilənlərin vizuallaşdırılması üçün istifadə olunan relyasiyalı verilənlər bazası idarəetmə sistemləri və masaüstü statistik proqram paketləri çox vaxt böyük verilənləri emal etmək və təhlil etməkdə çətinlik çəkirlər. Böyük verilənlərin emalı və təhlili "onlarla, yüzlərlə və hətta minlərlə serverdə işləyən kütləvi paralel proqram təminatı" tələb edə bilər.[20] "Böyük verilənlər" kimi təsnif edilənlər onu təhlil edənlərin imkanlarından və alətlərindən asılı olaraq dəyişir. Bundan əlavə, genişlənən imkanlar böyük verilənləri hərəkətli hədəfə çevirir. "Bəzi təşkilatlar üçün ilk dəfə yüzlərlə giqabayt verilənlərlə qarşılaşmaq məlumatların idarə edilməsi variantlarına yenidən baxmağa ehtiyac yarada bilər. Digərləri üçün verilənlərin ölçüsünün əhəmiyyətli bir məsələyə çevrilməsi onlarla və ya yüzlərlə terabayt çəkə bilər."[21]

Xarakteristika

redaktə
 
Bu şəkil böyük verilənlərin həcm, sürət və müxtəliflik kimi əsas xüsusiyyətlərinin artımını göstərir.

Böyük verilənlər dedikdə "həcmi mövcud üsul və sistemlərin imkanlarını ötüb keçən verilənlər" təsəvvür edilir. "Böyük" məfhumu mövcud hesablama səviyyəsinə görə nisbidir. Massaçusets Texnologiya İnstitutunun professoru S. Madden "böyük verilənlər"i "çox böyük", "çox sürətli", "çox çətin" kimi təsvir edir. Burada "çox çətin" ifadəsi mövcud alətlərlə emal oluna bilməyən verilənlərə aiddir.[22] Stuart Ward və Adam Barker bu ideyaları ümumiləşdirərək böyük verilənləri böyük və ya mürəkkəb verilənlər dəstinin saxlanması və analizi NoSQL, MapReduce, maşın təlimi ilə məhdudlaşmayan bir sıra üsulların köməyi ilə təsvir edilən termin kimi təyin etmişlər.[23] Göründüyü kimi, BV-nin anlaşılmasında 3V modelini daha çox istifadə olunan və geniş yayılmış tərif kimi qəbul etmək olar.[24] Çünki bu model uyğun texnologiya və məhsullara olan tələbləri əldə etmək üçün Böyük verilənləri daha yaxşı xarakterizə edir.[25]

Virtuallaşdırma

redaktə

Data virtuallaşdırma bir yerdə çox mənbələrdən məlumat toplamaq üçün bir yoldur. Assambleya virtualdır: Digər metodlardan fərqli olaraq, məlumatların əksəriyyəti mənşə yerində qalır və tələb olunan xammal mənbələrindən əldə edilir.[26]

İstinadlar

redaktə
  1. ↑ Hilbert, Martin; López, Priscila. "The World's Technological Capacity to Store, Communicate, and Compute Information". Science. 332 (6025). 2011: 60–65. Bibcode:2011Sci...332...60H. doi:10.1126/science.1200970. PMID 21310967. 14 April 2016 tarixində arxivləşdirilib. İstifadə tarixi: 13 April 2016.
  2. ↑ Breur, Tom. "Statistical Power Analysis and the contemporary "crisis" in social sciences". Journal of Marketing Analytics. London, England: Palgrave Macmillan. 4 (2–3). July 2016: 61–65. doi:10.1057/s41270-016-0001-3. ISSN 2050-3318.
  3. ↑ Mahdavi-Damghani, Babak. Data-Driven Models & Mathematical Finance: Apposition or Opposition? (DPhil thesis). Oxford, England: University of Oxford. 2019. səh. 21. SSRN 3521933 (#bad_ssrn). 2023-03-30 tarixində arxivləşdirilib. İstifadə tarixi: 2023-12-26.
  4. ↑ "The 5 V's of big data". Watson Health Perspectives (ingilis). 2016-09-17. 18 January 2021 tarixində arxivləşdirilib. İstifadə tarixi: 2021-01-20.
  5. ↑ Cappa, Francesco; Oriani, Raffaele; Peruffo, Enzo; McCarthy, Ian. "Big Data for Creating and Capturing Value in the Digitalized Environment: Unpacking the Effects of Volume, Variety, and Veracity on Firm Performance". Journal of Product Innovation Management (ingilis). 38 (1). 2021: 49–67. doi:10.1111/jpim.12545. ISSN 0737-6782. 2023-07-06 tarixində arxivləşdirilib. İstifadə tarixi: 2023-12-26.
  6. ↑ boyd, dana; Crawford, Kate. "Six Provocations for Big Data". Social Science Research Network: A Decade in Internet Time: Symposium on the Dynamics of the Internet and Society. 21 September 2011. doi:10.2139/ssrn.1926431. 28 February 2020 tarixində arxivləşdirilib. İstifadə tarixi: 12 July 2019.
  7. ↑ "Data, data everywhere". The Economist. 25 February 2010. 27 May 2018 tarixində arxivləşdirilib. İstifadə tarixi: 9 December 2012.
  8. ↑ "Community cleverness required". Nature. 455 (7209): 1. September 2008. Bibcode:2008Natur.455....1.. doi:10.1038/455001a. PMID 18769385.
  9. ↑ Reichman OJ, Jones MB, Schildhauer MP. "Challenges and opportunities of open data in ecology". Science. 331 (6018). February 2011: 703–5. Bibcode:2011Sci...331..703R. doi:10.1126/science.1197962. PMID 21311007. 19 October 2020 tarixində arxivləşdirilib. İstifadə tarixi: 12 July 2019.
  10. ↑ Hellerstein, Joe. "Parallel Programming in the Age of Big Data". Gigaom Blog. 9 November 2008. 7 October 2012 tarixində arxivləşdirilib. İstifadə tarixi: 21 April 2010.
  11. ↑ Segaran, Toby; Hammerbacher, Jeff. Beautiful Data: The Stories Behind Elegant Data Solutions. O'Reilly Media. 2009. səh. 257. ISBN 978-0-596-15711-1. 12 May 2016 tarixində arxivləşdirilib. İstifadə tarixi: 31 December 2015.
  12. ↑ Hilbert M, López P. "The world's technological capacity to store, communicate, and compute information" (PDF). Science. 332 (6025). April 2011: 60–5. Bibcode:2011Sci...332...60H. doi:10.1126/science.1200970. PMID 21310967. 19 August 2019 tarixində arxivləşdirilib (PDF). İstifadə tarixi: 11 May 2019.
  13. ↑ "IBM What is big data? – Bringing big data to the enterprise". ibm.com. 24 August 2013 tarixində arxivləşdirilib. İstifadə tarixi: 26 August 2013.
  14. ↑ Reinsel, David; Gantz, John; Rydning, John. "Data Age 2025: The Evolution of Data to Life-Critical" (PDF). seagate.com. Framingham, MA, US: International Data Corporation. 13 April 2017. 8 December 2017 tarixində arxivləşdirilib (PDF). İstifadə tarixi: 2 November 2017.
  15. ↑ "Global Spending on Big Data and Analytics Solutions Will Reach $215.7 Billion in 2021, According to a New IDC Spending Guide". 23 July 2022 tarixində orijinalından arxivləşdirilib. İstifadə tarixi: 31 July 2022.
  16. ↑ "Big data and business analytics revenue 2022". 2022-07-20 tarixində arxivləşdirilib. İstifadə tarixi: 2023-12-26.
  17. ↑ "Global big data industry market size 2011-2027". 2023-08-02 tarixində arxivləşdirilib. İstifadə tarixi: 2023-12-26.
  18. ↑ 1 2 3 "Big data: The next frontier for innovation, competition, and productivity" (PDF). McKinsey Global Institute. may 2011. 2023-03-15 tarixində arxivləşdirilib (PDF). İstifadə tarixi: 2023-12-26.
  19. ↑ Oracle; FSN. "Mastering Big Data: CFO Strategies to Transform Insight into Opportunity" (PDF). dekabr 2012. 31 mart 2020 tarixində arxivləşdirilib (PDF).
  20. ↑ Jacobs, A. "The Pathologies of Big Data". ACMQueue. 6 July 2009. 8 December 2015 tarixində arxivləşdirilib. İstifadə tarixi: 21 April 2010.
  21. ↑ Magoulas, Roger; Lorica, Ben. "Introduction to Big Data". Release 2.0. Sebastopol, CA: O'Reilly Media (11). February 2009. 2 November 2021 tarixində arxivləşdirilib. İstifadə tarixi: 26 February 2021.
  22. ↑ Madden S. From Databases to Big Data // IEEE Internet Computing, 2012, vol.16, issue 3, pp.4–6
  23. ↑ Witt D., Gray J. Parallel Database Systems: The Future of High Performance Database Systems // Communications of the ACM, 1992, 35(6), pp. 85–98
  24. ↑ Laney D. 3D Data Management: Controlling Data Volume, Velocity and Variety. Technical report, META Group, Inc (now Gartner, Inc.), February 2001. http://blogs.gartner.com/ Arxivləşdirilib 2020-09-28 at the Wayback Machine
  25. ↑ Ward J. S. and Barker A. Undefined By Data: A Survey of Big Data Definitions. http://arxiv.org/pdf/1309.5821.pdf Arxivləşdirilib 2022-06-19 at the Wayback Machine
  26. ↑ "What Is Data Virtualization?". 2018-04-10 tarixində orijinalından arxivləşdirilib. İstifadə tarixi: 2018-05-03.

Ədəbiyyat

redaktə

Əlavə ədəbiyyat

redaktə

Xarici keçidlər

redaktə
Mənbə — "https://az.wikipedia.org/w/index.php?title=Böyük_verilənlər&oldid=7391316"