⑴ hadoop要求電腦內存
1、使用apache原生的hadoop來搭建集群,除了配置繁瑣之外,還可能會有很多版本兼容性的問題(這很是頭疼的問題),當然在一些組件的官網有明確的版本依賴性說明,搭建haddop+hive或者hadoop+hbase等,管理起來也非常的不便,得自己寫腳本來實現監控。當然了,也有它的好處,就是達到能運行起來,佔用的內存並不多,8G的筆記本也能運行hadoop+hive或者hadoop+hbase,現在主流的pc機器應該都支持,也適合入門,對了解各個配置文件的作用及一些參數的調整有好處。
2、使用hortonworks的ambari來搭建 hadoop集群,這個佔用的內存不算太多,也支持添加常用的組件同時運行,如zookeeper,hadoop,hive,hbase,flume等,ambari也是開源的,能滿足大部分的初學者及一些為節約成本的企業需求。但ambari對一些組件的支持還是不夠,如impala,ku,hue等,這些組件最早都是由cloudera公司開發的,雖然目前ambari也支持,但可能對他們的兼容性還不夠完善,可能會遇到一些問題。對於16G的筆記本來說,用ambari來搭建學習環境是完全沒問題的。
3、對於CDH愛好者來說,16G筆記本其實也是可以搭建並運行起來的,當然了,這個真只能單節點了。只是在安裝集群時候,最開始先只添加必要的服務,如zookpper,hdfs。其它服務可以安裝完成之後再添加的。安裝完成後,把下面的Cloudera Management Service給停掉,這可以節約幾個G的內存(至少2-3G),停用後,不影響集群的正常工作,這只是用於資源監控的,我停用後,添加的組件和CM界面效果如下:
目前上述服務全部都是啟動狀態,可以正常使用。本人筆記本16G內存,下面是我虛擬機的內存情況:
當然本人物理機打開的應用除了虛擬機之外,還可以開一個xshell和idea開發工具,再多開一些應用就會卡了,當然也可以停掉一些用不到的服務來減小內存消耗。