Hadoop vs. Data Warehouse，多結構化資料人才的需求趨勢

Indeed 這個網站搜羅了成千上萬的職缺，服務號稱涵蓋超過 50 個國家、26 種語言，觸角所及之處，佔有全球總 GDP 的 94%。

它有一個 Job Trends 的功能，使用者可以在其中輸入一或多組關鍵字 (用 ',' 隔開)，系統就會顯示該關鍵字的多年趨勢走向。趨勢有兩種觀點：

1. Absolute (絕對)：該關鍵字佔有整體的百分比。
2. Relative (相對)：該關鍵字的成長百分比。

如果我們在其中輸入兩個關鍵字："hadoop, data warehouse"，則可以看到以下的比較走勢圖：

圖 1. Job Trends: hadoop vs. data warehouse (Absolute)

關於關鍵字的挑選：hadoop vs. data warehouse

筆者除了想要知道 Hadoop 這類的半/非結構化資料人才需求趨勢，也想要了解企業傳統的結構化資料處理或分析人才需求，是否也有值得關注之處？由於目前 Hadoop 的使用者幾乎都是大型企業，所以在挑選代表結構化資料的關鍵字時，就避開中小企業也廣泛使用的 "database"、"RDB"、或 "SQL" 等，而選擇了也是大型企業才會使用的 "data warehouse"。

從圖 1. 的結果來看，代表結構化資料的 "data warehouse"，在人才需求上，雖然隨時間略有起伏，但整體來看，還是維持在 0.6%~0.8% 之間。而 "hadoop" 從 2009 年開始，人才需求就有了持續上升的趨勢，以絕對的數值來說，目前來到約 0.2% 左右，比 "data warehouse" 少了 2 倍。

圖 2. Job Trends: hadoop vs. data warehouse (Relative)

再切換到 Relative 觀點，看成長的百分比，如圖 2.。顯而易見地，相較於 "data warehouse" 貼近 0 度線的平緩，Hadoop 人才需求的成長勢頭，雖偶有拉回，但基本上還是一條漂亮的上升曲線。

從以上的觀察，我們得出以下的結論：

Hadoop 的人才需求成長，並沒有造成 Data Warehouse 人才需求的降低。也就是半/非結構化資料與結構化資料的人才之間，並不存在取代或互為消長的關係。我們甚至可以預測，由於半/非結構化資料一般要先進行結構化處理，之後才能拿來分析，所以隨著 Hadoop 的工作供給增加，還有可能會帶動 Data Warehouse 的人才需求。

至於 Hadoop 與 Data Warehouse 人才的薪資水準 (美國)，筆者查到的是：

Salary Estimate for "hadoop"

$50,000+ (6254)

$70,000+ (4804)

$90,000+ (2853)

$110,000+ (1398)

$130,000+ (694)

Salary Estimate for "data warehouse"

$20,000+ (18060)

$40,000+ (13287)

$60,000+ (10231)

$80,000+ (6293)

$100,000+ (3114)

美金數值為估算的平均年薪，括號中為職缺數量。很顯然的，Hadoop 相關的工作薪資報酬，要優於 Data Warehouse，這應該符合預期。