大資料儲存需要具備什麼

2021-12-22 07:38:59 字數 2432 閱讀 2909

1樓:奧迪託雷

大資料之大

大是相對而言的概念。例如,對於像saphana那樣的記憶體資料庫來說,2tb可能就已經是大容量了;而對於像谷歌這樣的搜尋引擎,eb的資料量才能稱得上是大資料。

大也是一個迅速變化的概念。hds在2023年釋出的usp儲存虛擬化平臺具備管理32pb內外部附加儲存的能力。當時,大多數人認為,usp的儲存容量大得有些離譜。

但是現在,大多數企業都已經擁有pb級的資料量,一些搜尋引擎公司的資料儲存量甚至達到了eb級。由於許多家庭都儲存了tb級的資料量,一些雲端計算公司正在推廣其檔案共享或家庭資料備份服務。  有容乃大

由此看來,大資料儲存的首要需求儲存容量可擴充套件。大資料對儲存容量的需求已經超出目前使用者現有的儲存能力。我們現在正處於pb級時代,而eb級時代即將到來。

過去,許多企業通常以五年作為it系統規劃的一個週期。在這五年中,企業的儲存容量可能會增加一倍。現在,企業則需要制定儲存資料量級(比如從pb級到eb級)的增長計劃,只有這樣才能確保業務不受干擾地持續增長。

這就要求實現儲存虛擬化。儲存虛擬化是目前為止提高儲存效率最重要、最有效的技術手段。它為現有儲存系統提供了自動分層和精簡配置等提高儲存效率的工具。

擁有了虛擬化儲存,使用者可以將來自內部和外部儲存系統中的結構化和非結構化資料全部整合到一個單一的儲存平臺上。當所有儲存資產變成一個單一的儲存資源池時,自動分層和精簡配置功能就可以擴充套件到整個儲存基礎設施層面。在這種情況下,使用者可以輕鬆實現容量**和容量利用率的最大化,並延長現有儲存系統的壽命,顯著提高it系統的靈活性和效率,以滿足非結構化資料增長的需求。

中型企業可以在不影響效能的情況下將hus的容量擴充套件到近3pb,並可通過動態虛擬控制器實現系統的快速預配置。此外,通過hdsvsp的虛擬化功能,大型企業可以建立0.25eb容量的儲存池。

隨著非結構化資料的快速增長,未來,檔案與內容資料又該如何進行擴充套件呢?  不斷生長的大資料

與結構化資料不同,很多非結構化資料需要通過網際網路協議來訪問,並且儲存在檔案或內容平臺之中。大多數檔案與內容平臺的儲存容量過去只能達到tb級,現在則需要擴充套件到pb級,而未來將擴充套件到eb級。這些非結構化的資料必須以檔案或物件的形式來訪問。

基於unix和linux的傳統檔案系統通常將檔案、目錄或與其他檔案系統物件有關的資訊儲存在一個索引節點中。索引節點不是資料本身,而是描述資料所有權、訪問模式、檔案大小、時間戳、檔案指標和檔案型別等資訊的後設資料。傳統檔案系統中的索引節點數量有限,導致檔案系統可以容納的檔案、目錄或物件的數量受到限制。

hnas和hcp使用基於物件的檔案系統,使得其容量能夠擴充套件到pb級,可以容納數十億個檔案或物件。位於vsp或hus之上的hnas和hcp閘道器不僅可以充分利用模組儲存的可擴充套件性,而且可以享受到通用管理平臺hitachicommandsuite帶來的好處。hnas和hcp為大資料的儲存提供了一個優良的架構。

大資料儲存平臺必須能夠不受干擾地持續擴充套件,並具有跨越不同時代技術的能力。資料遷移必須在最小範圍內進行,而且要在後臺完成。大資料只要複製一次,就能具有很好的可恢復性。

大資料儲存平臺可以通過版本控制來跟蹤資料的變更,而不會因為大資料發生一次變更,就重新備份一次所有的資料。hds的所有產品均可以實現後臺的資料移動和分層,並可以增加vsp、hus資料池、hnas檔案系統、hcp的容量,還能自動調整資料的佈局。傳統檔案系統與塊資料儲存裝置不支援動態擴充套件。

大資料儲存平臺還必須具有彈性,不允許出現任何可能需要重建大資料的單點故障。hds可以實現vsp和hus的冗餘配置,並能為hnas和hcp節點提供相同的彈性。

2樓:匿名使用者

大資料儲存作為一個資料平臺,其並不僅僅是一個用於資料儲存的裝置,其需要能夠提供符合成本效益的規模和能力,消除資料遷移,沒有儲存孤島,提供全域性可訪問的資料保護和保持資料的可用性。

1.提供符合成本效益的規模和能力,不僅需要購買行業標準的伺服器和儲存產品,同時還要保證產品的擴充套件能力和效能。而且隨著硬體的推移,能夠根據需要進行擴充套件,儲存系統需要能夠持續保證企業的需求,通過增加儲存系統來維持資料增長的效能需求。

2.消除資料遷移,大資料平臺必須滿足資料增長而不會受到系統約束的能力。

3.拒絕儲存孤島,為了能夠充分利用大資料的機會,企業必須能夠訪問所有的資料,要實現這一點,新的儲存平臺必須能夠滿足這個要求,消除那些傳統的儲存孤島,而不是簡單的新增另一個儲存解決方案。

4.提供全域性管理方式,一個集中的資料管理方式在大資料增長迅速的年代已經是不可行的了,一個單點故障的成本會很高,一個大資料儲存平臺必須能夠管理分佈在全球企業中的資料。

5.保護和維護資料的可用性,資料價值越來越重要,為了防止企業級的產品硬體發生故障,儲存平臺必須通過智慧軟體來保持資料的可用性和完整性。

3樓:匿名使用者

大資料其實我的理解就是中下企業不需要再花大成本買伺服器了,直接託管給人家去做這個事情,大資料的目的是促成交易,交易的前提是對不規則的資料有個很好的分析,但是也有的資料是分析不出來,像**雲這種,資料如果託管出去,也分析不出來什麼,因為是資料本身加密的,都是全亂碼,所以大資料比較傾向於明文的資料

為什麼需要大資料技術,為什麼大資料技術很重要

資料科學與大資料技術 大資料時代怎麼理解呢?1 對大量消費者提供產品或bai服務的企業可以利用大資料進行精準營銷 2 做小du而美模式的中小微企業可以利用大資料做服務轉型 3 面臨網際網路壓力之下必須轉型的傳統企業需要與時俱進充分利用大資料的價值 為什麼大資料技術很重要 大資料 big data 是...

大資料是什麼,什麼是大資料?什麼叫大資料?

大資料指無法在一定時間範圍內用常規軟體工具進行捕捉 管理和處理的資料集合。通過大量的統計瞭解大家的喜好,想要的東西,從而得到他們想要的,比如精準營銷,徵信分析,消費分析等等 大資料是指無法在一定時間內用常規軟體工具對其內容進行抓取 管理和處理的資料集合。大資料技術是指從各種各樣型別的資料中,快速獲得...

什麼是大資料,大資料指的是什麼

大資料指無法在一定時間範圍內用常規軟體工具進行捕捉 管理和處理的資料集合。通過大量的統計瞭解大家的喜好,想要的東西,從而得到他們想要的,比如精準營銷,徵信分析,消費分析等等 大資料是指無法在一定時間內用常規軟體工具對其內容進行抓取 管理和處理的資料集合。大資料技術是指從各種各樣型別的資料中,快速獲得...