Үндсэн ялгаа – Big Data ба Hadoop
Өгөгдлийг дэлхий даяар өргөн цуглуулдаг. Энэ их хэмжээний өгөгдлийг Big data эсвэл Big Data гэж нэрлэдэг бөгөөд үүнийг энгийн хадгалах төхөөрөмжөөр зохицуулах боломжгүй. Энэ асуудлыг даван туулахын тулд Apache програм хангамжийн сангийн нээлттэй эхийн хүрээ болох Hadoop програм хангамжийн хүрээг ашиглаж болно. Big Data болон Hadoop хоёрын гол ялгаа нь Big Data нь их хэмжээний нарийн төвөгтэй өгөгдөл, харин Hadoop нь том өгөгдлийг үр дүнтэй, үр ашигтай хадгалах механизм юм.
Big Data гэж юу вэ?
Өгөгдөл нь өдөр бүр, их хэмжээгээр гардаг. Цуглуулсан өгөгдлийг зохих ёсоор хадгалж, илүү сайн үр дүнд хүрэхийн тулд дүн шинжилгээ хийх нь чухал юм. Google, Facebook өдөр бүр асар их хэмжээний мэдээлэл цуглуулдаг. Мэдээллийг цэгцэлж, дүн шинжилгээ хийх нь байгууллагад ашиг тусаа өгөх болно. Банкны хувьд харилцагчийн мэдээлэл, гүйлгээ, харилцагчийн асуудлыг ойлгохын тулд өгөгдөлд дүн шинжилгээ хийх нь чухал юм. Эдгээр өгөгдөлд дүн шинжилгээ хийж, шийдлийг боловсруулах нь ашгийг нэмэгдүүлэх болно. Энэ нь байгууллага үр дүнтэй, үр дүнтэй ажиллахад өгөгдөл чухал үүрэг гүйцэтгэдэг болохыг харуулж байна. Өгөгдөл хурдацтай өсч байгаа тул харилцааны мэдээллийн сан эсвэл ердийн хадгалах төхөөрөмж хангалтгүй байна. Хадгалах, боловсруулахад хэцүү ийм төрлийн том өгөгдлийн цуглуулгыг Big data эсвэл Big Data гэж нэрлэж болно.
Big Data
Том өгөгдөл нь гурван шинж чанартай. Эдгээр нь хэмжээ, хурд, олон янз байдал юм. Нэгдүгээрт, Big Data бол их хэмжээний өгөгдөл юм. Эдгээр өгөгдөл нь Гига байт, тера байт эсвэл түүнээс ч их хэмжээтэй байж болно. Хоёрдахь шинж чанар нь хурд юм. Энэ нь өгөгдөл үүсгэх хурд юм. Энэ нь хүрээлэн буй орчны өөрчлөлтөд дүн шинжилгээ хийх, нисэх онгоцыг илрүүлэх гол шинж чанар юм. Ийм нөхцөлд өгөгдөл нь үнэн зөв, тасралтгүй байх ёстой. Энэ нь бодит цаг хугацаанд шийдвэр гаргахад чухал хүчин зүйл болдог. Өөр нэг гол шинж чанар бол өгөгдлийн төрлийг тодорхойлдог төрөл зүйл юм. Өгөгдөл нь текст формат, видео, аудио, зураг, XML формат, мэдрэгчийн өгөгдөл гэх мэтийг авах боломжтой.
Hadoop гэж юу вэ?
Энэ нь Apache Програм хангамжийн сангаас гаргасан нээлттэй эхийн хүрээ юм. Энэ нь өгөгдөл боловсруулах механизмтай үр дүнтэй түгээлтийн сантай. Hadoop хадгалах системийг Hadoop Distributed File System (HDFS) гэж нэрлэдэг. Энэ нь өгөгдлийг зарим машинуудын хооронд хуваадаг. Hadoop нь мастер-боол архитектурыг дагадаг. Мастер зангилааг Name-node, боолуудыг Data-node гэж нэрлэдэг. Өгөгдөл нь бүх өгөгдлийн зангилаанд хуваарилагдсан.
Hadoop дээр өгөгдөл боловсруулахад ашигладаг үндсэн алгоритмыг Map Reduce гэж нэрлэдэг. Газрын зургийг багасгах программуудыг ашигласнаар ажлын байрыг боол зангилаа руу илгээж болно. Газрын зургийг багасгах программ бичих үндсэн хэл нь Java боловч бусад хэлийг бас ашиглаж болно. Өгөгдлийн зангилаа эсвэл боол зангилаа нь дүн шинжилгээ хийх ажлыг гүйцэтгэх бөгөөд үр дүнг мастер-зангилаа/нэр-зангилаа руу буцааж илгээнэ. Мастер-зангилаа/нэр-зангилаа нь боол зангилаанууд дээр газрын зураг багасгах ажлыг ажиллуулахын тулд Job Tracker-тэй. Боол зангилаа/өгөгдлийн зангилаа нь өгөгдөлд дүн шинжилгээ хийж дуусгах, үр дүнг мастер зангилаа руу буцаан илгээх Даалгаврын хяналтын төхөөрөмжтэй.
Hadoop Архитектур
Hadoop-д зарим давуу тал бий. Энэ нь зардал, өгөгдлийн нарийн төвөгтэй байдлыг бууруулж, үр ашгийг нэмэгдүүлдэг. Hadoop кластерт өөр машин нэмэхэд хялбар.
Том өгөгдөл болон Hadoop хоёрын ижил төстэй зүйл юу вэ?
Big Data болон Hadoop хоёулаа их хэмжээний өгөгдөлтэй холбоотой
Big Data болон Hadoop хоёрын ялгаа юу вэ?
Big Data vs Hadoop |
|
| Big Data нь хадгалахад хэцүү, төрөл бүрийн өгөгдлийн томоохон цуглуулга бөгөөд уламжлалт хадгалах аргыг ашиглан дүн шинжилгээ хийдэг. | Hadoop нь том өгөгдлийг үр дүнтэй, үр ашигтайгаар хадгалах, боловсруулах програм хангамжийн хүрээ юм. |
| Ач холбогдол | |
| Big Data нь тийм ч их утгагүй. | Hadoop нь том өгөгдлийг илүү утга учиртай болгож, машин суралцах болон статистик дүн шинжилгээ хийхэд хэрэгтэй. |
| Хадгалах | |
| Том өгөгдөл нь бүтэцлэгдсэн болон бүтэцгүй өгөгдөл зэрэг олон төрлийн өгөгдлөөс бүрддэг тул хадгалахад хэцүү байдаг. | Hadoop нь төрөл бүрийн өгөгдлийг хадгалах боломжийг олгодог Hadoop Distributed File System (HDFS) ашигладаг. |
| Хандалт | |
| Том өгөгдөлд хандах нь хэцүү. | Hadoop нь том өгөгдөлд илүү хурдан хандах, боловсруулах боломжийг олгодог. |
Хураангуй – Big Data ба Hadoop
Өгөгдөл хурдацтай өсч байна. Төрийн болон бизнесийн байгууллагууд бүгд мэдээлэл цуглуулж байна. Мэдээлэлд дүн шинжилгээ хийх нь маш үнэ цэнэтэй юм. Их хэмжээний мэдээлэл хадгалахад ганц компьютер хангалтгүй. Энэ их хэмжээний нарийн төвөгтэй өгөгдлийг Big data гэж нэрлэдэг. Тиймээс Hadoop ашиглан том өгөгдлийг зарим зангилааны хооронд тарааж болно. Big Data болон Hadoop хоёрын ялгаа нь Big Data нь их хэмжээний нарийн төвөгтэй өгөгдөл бөгөөд Hadoop нь Big Data-г үр дүнтэй, үр ашигтай хадгалах механизм юм.
Big Data болон Hadoop-ийн PDF хувилбарыг татаж авах
Та энэ нийтлэлийн PDF хувилбарыг татаж аваад офлайн зорилгоор ашиглах боломжтой. PDF хувилбарыг эндээс татаж авна уу Big Data болон Hadoop-ын ялгаа
