學習Hadoop前提需要哪些,hadoop通俗點說是什麼?應該怎麼學?有哪些前提的知識條件嗎?

2023-01-19 18:05:04 字數 1966 閱讀 3256

1樓:

cpu要支援intel vt-d, 硬碟隨意,記憶體4g以上就滿足基本的all in one openstack實驗環境進行練習的需要了。

要用虛擬機器玩多節點,考慮到hadoop,最好是4核8執行緒以上,16g記憶體+。

另外考慮到linux對某些網絡卡和顯示卡支援問題,主機板板載網絡卡和顯示卡不要選太偏的型號,顯示卡可用核芯顯示卡。

2樓:萬萬沒想到之

先虛擬機器學一下不就好了。。。

有比較好的hadoop**教程嗎?請給推薦下,謝謝!要最基礎的!適合自學的!

3樓:龍佐天下

正準備學大資料,但spark和hadoop,現在學哪個較好?

4樓:

在企業中,hadoop和spark都會用的,spark出來時間較短,以前在hadoop平臺上的應用還沒有完全遷移過來。它們能夠整合在yarn之上,在同一個叢集上執行這兩個框架。spark只是個計算框架,儲存還是要依靠hadoop中的hdfs或hbase或其它檔案系統。

可以主攻spark,學的時候肯定還是要接觸hadoop方面的知識,用的時候再補。

5樓:愛可生雲資料庫

spark已經取代hadoop成為最活躍的開源大資料專案,但是,在選擇大資料框架時,企業不能因此就厚此薄彼

近日,著名大資料專家bernard marr在一篇文章中分析了spark和 hadoop 的異同

hadoop和spark均是大資料框架,都提供了一些執行常見大資料任務的工具,但確切地說,它們所執行的任務並不相同,彼此也並不排斥

雖然在特定的情況下,spark據稱要比hadoop快100倍,但它本身沒有一個分散式儲存系統

而分散式儲存是如今許多大資料專案的基礎,它可以將 pb 級的資料集儲存在幾乎無限數量的普通計算機的硬碟上,並提供了良好的可擴充套件性,只需要隨著資料集的增大增加硬碟

因此,spark需要一個第三方的分散式儲存,也正是因為這個原因,許多大資料專案都將spark安裝在hadoop之上,這樣,spark的高階分析應用程式就可以使用儲存在hdfs中的資料了

與hadoop相比,spark真正的優勢在於速度,spark的大部分操作都是在記憶體中,而hadoop的mapreduce系統會在每次操作之後將所有資料寫回到物理儲存介質上,這是為了確保在出現問題時能夠完全恢復,但spark的彈性分散式資料儲存也能實現這一點

另外,在高階資料處理(如實時流處理、機器學習)方面,spark的功能要勝過hadoop

在bernard看來,這一點連同其速度優勢是spark越來越受歡迎的真正原因

實時處理意味著可以在資料捕獲的瞬間將其提交給分析型應用程式,並立即獲得反饋

在各種各樣的大資料應用程式中,這種處理的用途越來越多,比如,零售商使用的推薦引擎、製造業中的工業機械效能監控

spark平臺的速度和流資料處理能力也非常適合機器學習演算法,這類演算法可以自我學習和改進,直到找到問題的理想解決方案

這種技術是最先進製造系統(如**零件何時損壞)和無人駕駛汽車的核心

spark有自己的機器學習庫mlib,而hadoop系統則需要藉助第三方機器學習庫,如apache mahout

實際上,雖然spark和hadoop存在一些功能上的重疊,但它們都不是商業產品,並不存在真正的競爭關係,而通過為這類免費系統提供技術支援贏利的公司往往同時提供兩種服務

例如,cloudera 就既提供 spark服務也提供 hadoop服務,並會根據客戶的需要提供最合適的建議

bernard認為,雖然spark發展迅速,但它尚處於起步階段,安全和技術支援基礎設施方還不發達,在他看來,spark在開源社群活躍度的上升,表明企業使用者正在尋找已儲存資料的創新用法

養兔子需要哪些前提,飼養兔子需要什麼溫度?

兔子的食物 乾草 兔糧 蔬菜水果 3個月以上 等 養兔子要準備的東西 籠子 木削 裝水的盤子。養兔子要小心的地方 不能洗澡,不要讓它驚嚇過度,不要讓它喝太多水。籠子裡準備飼料碗和水碗,一根直徑5 10公分的乾淨的木頭讓它磨牙,放一些乾的木屑和稻草 不要的乾毛巾也可以 兔子是草食性的,早晚要喂一次。在...

考二建需要學習哪些,考二建需要學習哪些資料

二建考試內容有哪些?報考二級註冊建築師需要學習的資料介紹如下 中國建築工業出版社考試用書 建築設計 設計前期與場地設計 建築經濟施工與設計業務管理 建築結構與裝置 法律法規經濟與施工 建築構造與詳圖 設計前期場地與建築設計 擴充套件資料 二建考試題型 二級建造師執業資格考試以紙筆作答方式進行。其中,...

網上購物需要哪些前提條件和要求,網上購物哪個商城好?

1.假設你是再 買的話,你需要註冊 帳號,可以辦個支付寶也可以不辦。辦支付寶的好處是方面,不辦支付寶可以直接用卡交易。但是不管你辦不辦支付寶你都需要一張開通了網上銀行的銀行卡。就是說,你的銀行卡可以在網上查詢並交易。農行,工行都行。郵政不行。銀行卡可以是普通你常用的,但必須得能在網上使用。2.買東西...