2013年12月29日 星期日

Hadoop vs. Data Warehouse,多結構化資料人才的需求趨勢

Indeed 這個網站搜羅了成千上萬的職缺,服務號稱涵蓋超過 50 個國家、26 種語言,觸角所及之處,佔有全球總 GDP 的 94%。

它有一個 Job Trends 的功能,使用者可以在其中輸入一或多組關鍵字 (用 ',' 隔開),系統就會顯示該關鍵字的多年趨勢走向。趨勢有兩種觀點:

1. Absolute (絕對):該關鍵字佔有整體的百分比。
2. Relative (相對):該關鍵字的成長百分比。

如果我們在其中輸入兩個關鍵字:"hadoop, data warehouse",則可以看到以下的比較走勢圖:

圖 1. Job Trends: hadoop vs. data warehouse (Absolute)


關於關鍵字的挑選:hadoop vs. data warehouse

筆者除了想要知道 Hadoop 這類的半/非結構化資料人才需求趨勢,也想要了解企業傳統的結構化資料處理或分析人才需求,是否也有值得關注之處?由於目前 Hadoop 的使用者幾乎都是大型企業,所以在挑選代表結構化資料的關鍵字時,就避開中小企業也廣泛使用的 "database"、"RDB"、或 "SQL" 等,而選擇了也是大型企業才會使用的 "data warehouse"。

從圖 1. 的結果來看,代表結構化資料的 "data warehouse",在人才需求上,雖然隨時間略有起伏,但整體來看,還是維持在 0.6%~0.8% 之間。而 "hadoop" 從 2009 年開始,人才需求就有了持續上升的趨勢,以絕對的數值來說,目前來到約 0.2% 左右,比 "data warehouse" 少了 2 倍。

圖 2. Job Trends: hadoop vs. data warehouse (Relative)

再切換到 Relative 觀點,看成長的百分比,如圖 2.。顯而易見地,相較於 "data warehouse" 貼近 0 度線的平緩,Hadoop 人才需求的成長勢頭,雖偶有拉回,但基本上還是一條漂亮的上升曲線。

從以上的觀察,我們得出以下的結論:

Hadoop 的人才需求成長,並沒有造成 Data Warehouse 人才需求的降低。也就是半/非結構化資料與結構化資料的人才之間,並不存在取代或互為消長的關係。我們甚至可以預測,由於半/非結構化資料一般要先進行結構化處理,之後才能拿來分析,所以隨著 Hadoop 的工作供給增加,還有可能會帶動 Data Warehouse 的人才需求。

至於 Hadoop 與 Data Warehouse 人才的薪資水準 (美國),筆者查到的是:

Salary Estimate for "hadoop"
$50,000+ (6254)
$70,000+ (4804)
$90,000+ (2853)
$110,000+ (1398)
$130,000+ (694)

Salary Estimate for "data warehouse"
$20,000+ (18060)
$40,000+ (13287)
$60,000+ (10231)
$80,000+ (6293)
$100,000+ (3114)

美金數值為估算的平均年薪,括號中為職缺數量。很顯然的,Hadoop 相關的工作薪資報酬,要優於 Data Warehouse,這應該符合預期。






沒有留言:

張貼留言