資料工程師是甚麼 在台灣的薪資與分布

資料工程師是甚麼 在台灣的薪資與分布¶

資料工程師，英文是Data Engineer，從名稱看，主要是負責跟數據相關的工作

工作內容基本離不開資料的ETL:

E是萃取，就是去找到資料在哪邊，然後把資料拿到手上。

T是轉換，拿到的資料有可能格式不統一或是有殘缺等，例如說公司資料還是紙本的，那就要思考怎麼轉換成電子檔；又或是資料有text, csv各種格式，就要先統一。

L是儲存，好不容易找到資料整理完後，就要依照資料特性找到適合放的地方，例如結構化資料(structure data) 可以放在關聯性資料庫，可以簡單想成一份很大的excel，想要資料的時候就可以去拿，當然實際情況要更複雜；如果是影像或圖片等就可以放在非關聯性資料庫，現在火紅的圖像辨識需要這樣的資料存放

以常見語言技能分的話

SQL: 基本一定離不開SQL，SQL可以用在big query, mysql…

Python: 在104上似乎也相對受歡迎，語言本身簡單好上手，程式庫強大，蠻多人在使用

Java: Hadoop生態系較常在使用

現在還有須多套裝軟體可以輔助資料庫更新與拉取資料，取決於公司使用哪一種

薪資，工作機會

104的新資情報蠻不錯，可以看台灣公司的資料工程師薪資水準

整體中位數年薪在90萬，box plot Q1/Q3 = 68/102.5

以新人價來說年均74萬，box plot相對均衡，如果以單純中位數，1~3年後，年薪水成長幅度大約在5%上下，來到88萬，但中位數後期漲幅有限

但已box plot分布來說，開始有long tail趨勢，高薪區間也不算低，但能拿到的人已經不多

以地區機會來說，不令人意外基本都是台北桃園新竹台中居多，台北+新北的職缺數幾乎超過七成，工作機會多，應該也多分布在金融以及轉體或電子資訊業

以公司規模給出的薪水來說，最小跟最大規模比，可以差到10萬，其實可以理解可能小間公司能開出的價碼會稍低，比不上大型公司的吸引力。

整體而言，資料工程師對於一間公司是不可或缺的存在，需要每天進行資料的維護，確保使用者想要拿資料時能夠有效率，明確的拿到乾淨的資料。