新網(wǎng)知識社區(qū)
>
云服務(wù)資訊
>正文
hadoop云存儲能實(shí)現(xiàn)什么功能？基于Hadoop平臺的云存儲解決方案是怎樣的？
分類：云服務(wù)資訊
編輯：聊聊云計(jì)算
瀏覽量：116
2021-04-16 10:20:25
hadoop其實(shí)是一個有某個基金會所開發(fā)的一種分布式的系統(tǒng)基礎(chǔ)架構(gòu)，大家如果對分布式底層細(xì)節(jié)不太了解的話，也沒有關(guān)系，還可以開發(fā)分布式程序，以充分的利用集群威力來做高速的運(yùn)算和存儲。而hadoop云存儲就是一個分布式的存儲系統(tǒng)，我們可以在任何時候?qū)ξ募龉芾砗拖螺d等，下面新網(wǎng)就來具體說下hadoop云存儲能實(shí)現(xiàn)什么功能？基于Hadoop平臺的云存儲解決方案是怎樣的。
hadoop云存儲開發(fā)環(huán)境
Hadoop2.x分布式環(huán)境；
Eclipse；
Tomcat7；
JDK1.7；
hadoop云存儲主要技術(shù)
HDFS-API的運(yùn)用；
JSP+Servlet；
Bootstrap框架渲染；
系統(tǒng)B/S結(jié)構(gòu)；
MVC開發(fā)模式。
hadoop云存儲
hadoop云存儲實(shí)現(xiàn)功能
對文件的管理，其包含對文件的刪除，上傳，下載，新建文件夾等；
對后臺系統(tǒng)的實(shí)現(xiàn)，包含用戶登陸，系統(tǒng)退出等；
后續(xù)待完善功能；
增加用戶注冊以及用戶基本信息修改功能；
用戶權(quán)限修改功能；
文件分享模塊。
基于Hadoop平臺的云存儲解決方案
云計(jì)算（Cloud Computing）是一種基于因特網(wǎng)的超級計(jì)算模式，在遠(yuǎn)程的數(shù)據(jù)中心里，成千上萬臺電腦和服務(wù)器連接成一片電腦云。用戶通過電腦、筆記本、手機(jī)等方式接人數(shù)據(jù)中心，按自己的需求進(jìn)行運(yùn)算。目前，對于云計(jì)算仍沒有普遍一致的定義。結(jié)合上述定義，可以總結(jié)出云計(jì)算的一些本質(zhì)特征，即分布式計(jì)算和存儲特性、高擴(kuò)展性、用戶友好性、良好的管理性。
1云存儲架構(gòu)圖
橘色的作為存儲節(jié)點(diǎn)（Storage Node）負(fù)責(zé)存放文件，藍(lán)色作為控制節(jié)點(diǎn)（（Control Node）則是負(fù)責(zé)文件索引，并負(fù)責(zé)監(jiān)控存儲節(jié)點(diǎn)間容量及負(fù)載的均衡，這兩個部分合起來便組成一個云存儲。存儲節(jié)點(diǎn)與控制節(jié)點(diǎn)都是單純的服務(wù)器，只是存儲節(jié)點(diǎn)的硬盤多一些，存儲節(jié)點(diǎn)服務(wù)器不需要具備RAID的功能，只要能安裝Linux即可，控制節(jié)點(diǎn)為了保護(hù)數(shù)據(jù)，需要有簡單的RAID level O1的功能。
云存儲不是要取代現(xiàn)有的盤陣，而是為了應(yīng)付高速成長的數(shù)據(jù)量與帶寬而產(chǎn)生的新形態(tài)存儲系統(tǒng)，因此云存儲在設(shè)計(jì)時通常會考慮以下三點(diǎn)：
（1）容量、帶寬的擴(kuò)容是否簡便
擴(kuò)容是不能停機(jī)，會自動將新的存儲節(jié)點(diǎn)容量納入原來的存儲池。不需要做繁復(fù)的設(shè)定。
（2）帶寬是否線形增長
使用云存儲的客戶，很多是考慮未來帶寬的增長，因此云存儲產(chǎn)品設(shè)計(jì)的好壞會產(chǎn)生很大的差異，有些十幾個節(jié)點(diǎn)便達(dá)到飽和，這樣對未來帶寬的擴(kuò)容就有不利的影響，這一點(diǎn)要事先弄清楚，否則等到發(fā)現(xiàn)不符合需求時，已經(jīng)買了幾百TB，后悔就來不及了。
（3）管理是否容易。
2云存儲關(guān)鍵技術(shù)
云存儲必須具備九大要素：
①性能;
②安全性;
③自動ILM存儲;
④存儲訪問模式;
⑤可用性;
⑥主數(shù)據(jù)保護(hù);
⑦次級數(shù)據(jù)保護(hù);
⑧存儲的靈活;
⑨存儲報(bào)表。
云計(jì)算的發(fā)展離不開虛擬化、并行計(jì)算、分布式計(jì)算等核心技術(shù)的發(fā)展成熟。下面對其介紹如下：
（1）集群技術(shù)、網(wǎng)格技術(shù)和分布式文件系統(tǒng)
云存儲系統(tǒng)是一個多存儲設(shè)備、多應(yīng)用、多服務(wù)協(xié)同工作的集合體，任何一個單點(diǎn)的存儲系統(tǒng)都不是云存儲。
既然是由多個存儲設(shè)備構(gòu)成的，不同存儲設(shè)備之間就需要通過集群技術(shù)、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)多個存儲設(shè)備之間的協(xié)同工作，使多個的存 儲設(shè)備可以對外提供同一種服務(wù)，并提供更大更強(qiáng)更好的數(shù)據(jù)訪問性能。如果沒有這些技術(shù)的存在，云存儲就不可能真正實(shí)現(xiàn)，所謂的云存儲只能是一個一個的獨(dú)立 系統(tǒng)，不能形成云狀結(jié)構(gòu)。
（2）CDN內(nèi)容分發(fā)、P2P技術(shù)、數(shù)據(jù)壓縮技術(shù)、重復(fù)數(shù)據(jù)刪除技術(shù)、數(shù)據(jù)加密技術(shù)
CDN內(nèi)容分發(fā)系統(tǒng)、數(shù)據(jù)加密技術(shù)保證云存儲中的數(shù)據(jù)不會被未授權(quán)的用戶所訪問，同時，通過各種數(shù)據(jù)備份和容災(zāi)技術(shù)保證云存儲中的數(shù)據(jù)不會丟失，保證云存儲自身的安全和穩(wěn)定。如果云存儲中的數(shù)據(jù)安全得不到保證，也沒有人敢用云存儲了。
（3）存儲虛擬化技術(shù)、存儲網(wǎng)絡(luò)化管理技術(shù)
云存儲中的存儲設(shè)備數(shù)量龐大且分布多在不同地域，如何實(shí)現(xiàn)不同廠商、不同型號甚至于不同類型（例如FC存儲和IP存儲）的多臺設(shè)備之間的邏輯卷管 理、存儲虛擬化管理和多鏈路冗余管理將會是一個巨大的難題，這個問題得不到解決，存儲設(shè)備就會是整個云存儲系統(tǒng)的性能瓶頸，結(jié)構(gòu)上也無法形成一個整體，而 且還會帶來后期容量和性能擴(kuò)展難等問題。
hadoop云存儲能夠?qū)崿F(xiàn)什么樣的功能？以上就給大家簡要的介紹了關(guān)于hadoop云存儲技術(shù)和功能方面的問題，hadoop云存儲使用的技術(shù)比較多，它具有多種功能，比如文件管理，分享文件模塊等，另外，對于hadoop云存儲的解決方案，大家最好也要了解一下，如有疑問，可以咨詢新網(wǎng)。
聲明：免責(zé)聲明：本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻(xiàn)自行上傳，本網(wǎng)站不擁有所有權(quán)，也不承認(rèn)相關(guān)法律責(zé)任。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容，請發(fā)
送郵件至：operations@xinnet.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，本站將立刻刪除涉嫌侵權(quán)內(nèi)容。本站原創(chuàng)內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時
需注明出處：新網(wǎng)idc知識百科
商品已成功加入購物車