如何編寫分散式計算框架,如何編寫一個分散式計算框架

2021-12-19 19:03:02 字數 523 閱讀 2273

1樓:吉祥二進位制

給個最簡單的方案。

1. pickle和marshal可以序列化簡單的python物件,甚至source也可以通過各種自省方法獲得。

2. 隨便找一個web框架都可以實現一個rest風格的伺服器作為worker,eval相關的機制也可以方便地對已有**進行求值。

3. redis實現一個簡單的任務分發系統很方便,比如可以直接使用訂閱釋出機制,分佈的worker獲取redis裡待執行的任務,執行完後將結果統一放到另一個位置。

4. 呼叫者需要做的事就是分割計算任務,把相關的任務,包括使用的資料、引數等扔給redis資料庫,還有收集結果並拼成最終的計算結果。一個最簡單的策略是直接分佈實現一個map函式。

2樓:匿名使用者

1:mapreduce(mr),最為general和流行的一個分散式計算框架,其開源實現hadoop已經得到了極為廣泛的運用(facebook, yahoo!等等),同時在hadoop基礎上發展起來的專案也有很多(hive是發展最好的)

如何配置hadoop偽分散式配置

hdfs hadoop01 9000 hadoop.tmp.dir home park work hadoop 2.5.2 tmp 3 修改 hdfs site.xml 通過vim開啟 vim hadoop etc hadoop hdfs site.xml 配置包括自身在內的備份副本數量。dfs.r...

分散式光伏如何與扶貧結合起來

古瑞瓦特光伏企業是這樣做的,深入貧困地區結合當地實際情況,利用荒山荒坡或是集中的農業設施與農戶屋頂資源,開發分散式光伏電站,並有專人負責運營。怎樣申請扶貧太陽能光伏發電專案 當然是!2013年,安徽在全國率先開展了 光伏下鄉扶貧工程 2014年11月,國家能源局 扶貧辦聯合下發 關於組織開展光伏扶貧...

如何編寫BasePage類

將常量,如 url引數,session引數,頁面跳轉引數 公用方法,如過濾字特殊符串,驗證等等.c 在做專案時總是會建立一些基類 如pagebase 的原因?樓上的回答很正確,有了基類,共同的方法只需要呼叫就可以了,沒必要每個頁面都寫一遍了,定義一些特定的方法,可以通過重寫來實現頁面間類似的功能。節...