Hadoopable — 適能適算,對 Big Data 價值抱持正確的期待


現象 1:自 Etu 於 8.30 開出台灣第一班 Big Data 認證課程以來,兩梯三場在台北的場次,線上報名都在 24 小時內爆滿,向隅者眾。報名的學員,橫跨電信業、製造業、金融服務業、政府機關、教育機構、媒體服務、流通業、資訊服務等不同產業;技術、行銷、營運、資料分析等職務人員皆有,其中不乏高階主管。根據課後的問卷調查,有 65% 的學員認為 Big Data 解決方案會對他們的公司有所幫助;高達 80% 的學員表示:Etu 所設計的 Big Data 手作初級體驗課程 (Hands-on Training Level 1) 與他們自身的工作相關。

現象 2:某跨國雲服務業者來與 Etu 團隊交流,提及自身的用戶行為分析需求。他們已經用上了 DW 等傳統結構化 OLAP 工具來進行商業智能的探索,但面對日益增長的 Log 資料 (日增幾百 GB ~ TB),顯然必須在 Hadoop 這個 Big Data 處理主流平台上,找尋 TCO 更加合理、處理時效可以與工作節點數量呈線性提高的可能。對談人是技術與商務兼具的高階主管,對 Hadoop 應用擁有實際的經驗。經過討論,雙方都認同:


  1. Hadoop 非常適用在他們的資料量級裡,幫既有的 DW、BI 工具進行預處理 (Pre-processing),一來可以減量,二來可以提高 OLAP 結果的呈現時效性。
  2. Hadoop 叢集部署安裝與運行管理,對系統管理者與程式開發者都是一件複雜的事,用戶需要更簡化的系統或工具來進行日常維運。
關於第 1. 點,說的其實是 Hadoop 的應用價值:重點不在「取代」既有的結構化 OLAP 系統,更多的是在「互補協助」提高企業資料處理的整體運作效能。這也就是為何近來「減輕 DW 的負擔」(Data Offload) 討論漸熱的一個原因。

關於第 2. 點,則是我們設計與開發 Etu Appliance 時念茲在茲的目標所在,造就 Etu Appliance「一鍵式」自動部署 (One-Click Deployment),10 分鐘內可以完成 100 台以上工作節點的部署,從作業系統、系統服務、網路服務、安全系統、到 Hadoop Ecosystem Software Stack、HA 架構,立馬可以跑 Hadoop 應用程式。全叢集 GUI 管理,系統管理者與程式開發者不必再使用 ssh 連到每一個節點進行管理工作。

"Hadoopable" 一詞原意是說透過 Hadoop 能夠做到的事、能夠解決的問題。Hadoopable 非 Everything is doable,唯有分辨特性與優勢,Hadoop 才能適能適算,為企業做出 Big Data 貢獻,而非期待 Hadoop 方案去取代已經運作順暢的資料應用;攜手合作,更顯價值。

Hadoopable — 可實際展現 Big Data 創新價值的行業應用舉例

而 Etu Appliance 的到來,讓企業在系統管理層面省心不少,讓 Developer 可以專心寫程式、讓 Administrator 輕鬆管 Hadoop Cluster ,對老闆來說,讓寫程式的更愛寫程式、愛管系統的都去管其他系統,這樣不是更能發揮 Hadoopable 的應用價值嗎?

Etu Appliance 把整個 Hadoop 動物園與管理員都包起來了

歡迎大家 10.2 來 Hadoop in Taiwan 2012 大會的 Etu 攤位上,一探 Etu Appliance 漂漂藍機器的神奇。




留言