數(shù)據(jù)科學(xué)是一種將業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)化為資產(chǎn)的方法，可幫助組織增加收入、降低成本、捕捉商機(jī)并改善客戶體驗(yàn)。

什么是數(shù)據(jù)科學(xué)？將數(shù)據(jù)轉(zhuǎn)化為價值

數(shù)據(jù)科學(xué)定義

數(shù)據(jù)科學(xué)是一種使用從統(tǒng)計分析到機(jī)器學(xué)習(xí)的方法從結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中收集見解的方法。對于大多數(shù)組織而言，數(shù)據(jù)科學(xué)用于以增加收入、降低成本、提高業(yè)務(wù)敏捷性、改善客戶體驗(yàn)和新產(chǎn)品開發(fā)的形式將數(shù)據(jù)轉(zhuǎn)化為價值。

首席數(shù)據(jù)科學(xué)家 Adam Hunt 說：“如果你愿意的話，一家公司可用的數(shù)據(jù)量是巨大的，但如果它什么都不做并把它變成有趣的東西怎么辦？數(shù)據(jù)科學(xué)就是提供數(shù)據(jù)的目的。”

數(shù)據(jù)科學(xué)與分析

盡管密切相關(guān)，但數(shù)據(jù)分析是數(shù)據(jù)科學(xué)不可或缺的一部分，用于理解組織的數(shù)據(jù)。數(shù)據(jù)科學(xué)使用分析的輸出來解決問題。

“數(shù)據(jù)科學(xué)正在得出驅(qū)動數(shù)據(jù)的結(jié)論，”亨特說。“如果你不是用數(shù)據(jù)來解決問題，如果你只是在做研究，那就是分析。如果你真的想用結(jié)果來解釋一些事情，你需要分析科學(xué)。數(shù)據(jù)科學(xué)更多地與解決實(shí)際問題有關(guān)而不是觀察、檢查和繪制數(shù)據(jù)圖表。”

對于 Green- 的首席數(shù)據(jù)科學(xué)家，數(shù)據(jù)分析和數(shù)據(jù)科學(xué)之間的區(qū)別在于時間尺度。她說，數(shù)據(jù)分析描述了當(dāng)前的現(xiàn)實(shí)。數(shù)據(jù)科學(xué)使用這些數(shù)據(jù)來預(yù)測或了解未來。

Green- 說：“許多人認(rèn)為數(shù)據(jù)分析師只是初級數(shù)據(jù)科學(xué)家；有些人長大后想成為數(shù)據(jù)科學(xué)家。有時這是真的，但事實(shí)上我發(fā)現(xiàn)一個非常優(yōu)秀的分析師擁有不同的數(shù)據(jù)科學(xué)家技能組合”

數(shù)據(jù)科學(xué)與大數(shù)據(jù)

數(shù)據(jù)科學(xué)和大數(shù)據(jù)經(jīng)常重合，但數(shù)據(jù)科學(xué)可用于從各種規(guī)模的數(shù)據(jù)中提取價值，無論是結(jié)構(gòu)化、非結(jié)構(gòu)化還是半結(jié)構(gòu)化。當(dāng)然，在很多情況下，大數(shù)據(jù)對數(shù)據(jù)科學(xué)家很有用，因?yàn)楣緭碛械臄?shù)據(jù)越多，給定模型中可以包含的參數(shù)就越多。“有了大數(shù)據(jù)，公司就不必受限于小數(shù)據(jù)的維度，”亨特說。大數(shù)據(jù)確實(shí)在某些方面有所幫助，但更多并不總是更好。如果股市在正確的地方，它就不會起作用。”

數(shù)據(jù)科學(xué)的商業(yè)價值

數(shù)據(jù)科學(xué)的商業(yè)價值取決于組織需求。數(shù)據(jù)科學(xué)可以幫助組織構(gòu)建工具來預(yù)測硬件故障，使組織能夠執(zhí)行維護(hù)并防止意外停機(jī)。它可以幫助預(yù)測超市貨架上的商品，或根據(jù)產(chǎn)品的屬性預(yù)測產(chǎn)品的受歡迎程度。

MapR 的首席應(yīng)用程序架構(gòu)師 Ted 說：“數(shù)據(jù)科學(xué)團(tuán)隊(duì)可以擁有的最大價值是當(dāng)他們?nèi)谌霕I(yè)務(wù)團(tuán)隊(duì)時。幾乎根據(jù)定義，尋找新人，真正創(chuàng)新的人，會發(fā)現(xiàn)價值或漏洞價值，而不是人們所期望的。通常他們對商業(yè)人士來說是一個驚喜。價值不是人們最初認(rèn)為的。

數(shù)據(jù)科學(xué)團(tuán)隊(duì)

數(shù)據(jù)科學(xué)通常是團(tuán)隊(duì)科學(xué)。數(shù)據(jù)科學(xué)家是大多數(shù)數(shù)據(jù)科學(xué)團(tuán)隊(duì)的前瞻性核心，但從數(shù)據(jù)到分析，再將分析轉(zhuǎn)化為生產(chǎn)價值需要一系列技能和角色。例如，數(shù)據(jù)分析師應(yīng)該在維護(hù)數(shù)據(jù)模型之前向團(tuán)隊(duì)提供數(shù)據(jù)并進(jìn)行調(diào)查。數(shù)據(jù)工程師必須構(gòu)建數(shù)據(jù)管道來豐富數(shù)據(jù)集，并使它們可供公司中的其他人使用。

分析副總裁馬克 - 警告不要尋找數(shù)據(jù)科學(xué)“獨(dú)角獸”，他們將非線性思維與高級數(shù)學(xué)、統(tǒng)計知識和編碼技能相結(jié)合。

- 解釋說it技術(shù)工程師，“我不認(rèn)為數(shù)據(jù)工程是數(shù)據(jù)科學(xué)家的關(guān)鍵特征。我希望有人真正添加其他東西。如果我能讓某人建立模型，我可以評估統(tǒng)計數(shù)據(jù)并傳達(dá)好處將模型提交給業(yè)務(wù)部門，然后我可以聘請一名足夠成熟的數(shù)據(jù)工程師來采用該模型并實(shí)施它。”

嵌入式數(shù)據(jù)科學(xué)方法

一些組織選擇將數(shù)據(jù)科學(xué)家與其他職能相結(jié)合。例如，Mapr 的建議遵循一種數(shù)據(jù)方法，將數(shù)據(jù)科學(xué)家嵌入到負(fù)責(zé)業(yè)務(wù)領(lǐng)域的團(tuán)隊(duì)中。這些數(shù)據(jù)運(yùn)營團(tuán)隊(duì)通常具有運(yùn)營、軟件工程、架構(gòu)和產(chǎn)品管理等跨職能技能和技能，能夠自始至終協(xié)調(diào)數(shù)據(jù)、工具、代碼和環(huán)境。數(shù)據(jù)運(yùn)營團(tuán)隊(duì)傾向于將分析管道視為類似于生產(chǎn)線。

說：“一個孤立的數(shù)據(jù)科學(xué)團(tuán)隊(duì)可能希望部署最復(fù)雜的模型，而嵌入式數(shù)據(jù)科學(xué)家將尋找負(fù)擔(dān)得起的低成本勝利。他們對他們選擇的解決方案很務(wù)實(shí)。”

數(shù)據(jù)科學(xué)目標(biāo)和可交付成果數(shù)據(jù)科學(xué)的目標(biāo)是構(gòu)建從數(shù)據(jù)中提取以業(yè)務(wù)為中心的洞察力的方法。這需要了解價值和信息在企業(yè)中的流動方式，并能夠利用這種理解來識別商機(jī)。雖然這可能涉及一次性項(xiàng)目，但更典型的是，數(shù)據(jù)科學(xué)團(tuán)隊(duì)尋求確定可以轉(zhuǎn)換為數(shù)據(jù)管道以支持可維護(hù)工具和解決方案的關(guān)鍵數(shù)據(jù)資產(chǎn)。例如，銀行使用的信用卡欺詐監(jiān)控解決方案，或用于優(yōu)化風(fēng)力渦輪機(jī)在風(fēng)電場中的布置的工具。

傳達(dá)團(tuán)隊(duì)所做工作的演示文稿也越來越成為重要的可交付成果。Riskq 的 Hunt 說：“確保他們將結(jié)果傳達(dá)給公司的其他部門非常重要。當(dāng)數(shù)據(jù)科學(xué)團(tuán)隊(duì)陷入困境的時間過長時，它就會開始陷入困境。產(chǎn)品經(jīng)理理所當(dāng)然地認(rèn)為工作已經(jīng)完成，除非我們一直在談?wù)撍?并注意它。”

數(shù)據(jù)科學(xué)過程和方法論

生產(chǎn)工程團(tuán)隊(duì)按周期工作，并有計劃的時間表。亨特說，這對于數(shù)據(jù)科學(xué)團(tuán)隊(duì)來說通常很難做到，因?yàn)榇_定一個項(xiàng)目是否可行需要時間。

“很多時候，第一周甚至第一個月都是研究，收集和清理數(shù)據(jù)。我們能回答這個問題嗎？我們能有效地做到嗎？我們花了很多時間設(shè)計和調(diào)查，遠(yuǎn)遠(yuǎn)超出了標(biāo)準(zhǔn)的工程團(tuán)隊(duì)表現(xiàn)。”

對于亨特來說，數(shù)據(jù)科學(xué)應(yīng)該遵循科學(xué)方法，盡管他指出情況并非總是如此，甚至可能并非如此。

亨特說：“企業(yè)正試圖從數(shù)據(jù)中提取一些見解。為了反復(fù)和自信地做到這一點(diǎn)，必須用科學(xué)的方法來準(zhǔn)確地證明他們的假設(shè)。但我認(rèn)為很多數(shù)據(jù)科學(xué)家實(shí)際上并沒有使用任何科學(xué)。”

亨特說真正的科學(xué)需要時間。公司花時間確認(rèn)他們的假設(shè)，然后花很多時間反駁自己。

亨特說：“有了數(shù)據(jù)科學(xué)，公司需要深入研究數(shù)據(jù)來檢驗(yàn)這些假設(shè)。我們試圖回答的許多問題都是短暫的。例如，試圖找到安全威脅的解決方案。”

因此，他說，數(shù)據(jù)科學(xué)通常意味著采用“足夠好”的答案，而不是最佳答案。然而，危險在于結(jié)果可能成為確認(rèn)偏差或過度擬合的受害者。

“如果這不是真正的科學(xué)，也就是說，公司使用科學(xué)方法來證明假設(shè)，那么他們所做的就是使用數(shù)據(jù)來檢驗(yàn)他們的假設(shè)，”他說。

數(shù)據(jù)科學(xué)工具

數(shù)據(jù)科學(xué)團(tuán)隊(duì)使用各種工具，包括 SQL、R、Java 以及 Hive、oozie 和 . 這些工具用于各種與數(shù)據(jù)相關(guān)的任務(wù)，從提取和清理數(shù)據(jù)到通過統(tǒng)計方法或機(jī)器學(xué)習(xí)對數(shù)據(jù)進(jìn)行算法分析。算法分析是通過統(tǒng)計方法或機(jī)器學(xué)習(xí)進(jìn)行的。

“企業(yè)需要好的可視化工具。編程工具是目前最流行的。企業(yè)需要能夠構(gòu)建有趣模型的工具，”MapR 說。

該公司表示，當(dāng) MapR 對其客戶數(shù)據(jù)團(tuán)隊(duì)進(jìn)行調(diào)查時，該團(tuán)隊(duì)至少使用了五種建模工具，甚至沒有使用可視化工具。

“事情正在增加，因?yàn)槿藗兏討岩伞＿@種其他建模技術(shù)會產(chǎn)生更好的模型嗎？” 鄧寧說。

數(shù)據(jù)科學(xué)家薪水

根據(jù) Data 的數(shù)據(jù)，以下是一些最受歡迎的數(shù)據(jù)科學(xué)相關(guān)工作和每個職位的平均工資：

分析經(jīng)理：67,000 美元至 126,000 美元

助理數(shù)據(jù)科學(xué)家：58,000 美元至 101,000 美元

商業(yè)智能分析師：49,000 至 95,000 美元

數(shù)據(jù)分析師：42,000 美元至 83,000 美元

數(shù)據(jù)：77,000 美元至 153,000 美元

數(shù)據(jù)工程師：64,000 美元至 132,000 美元

數(shù)據(jù)科學(xué)家：65,000 美元至 134,000 美元

IT 數(shù)據(jù)科學(xué)家：61,000 美元至 135,000 美元

首席數(shù)據(jù)科學(xué)家：95,000 美元至 172,000 美元

研究分析師：40,000 至 70,000 美元

研究科學(xué)家：48,000 至 118,000 美元

高級數(shù)據(jù)科學(xué)家：93,000 美元至 160,000 美元

統(tǒng)計學(xué)家：50,000 美元至 108,000 美元

數(shù)據(jù)科學(xué)技能

雖然數(shù)據(jù)科學(xué)學(xué)位課程的數(shù)量正在迅速增加，但它們不一定是組織在尋找數(shù)據(jù)科學(xué)家時所尋找的。公司 - 說他正在尋找具有統(tǒng)計背景的候選人，所以他們知道他們是否正在查看實(shí)際結(jié)果，領(lǐng)域知識以將結(jié)果付諸實(shí)踐；和溝通技巧，以便他們可以將結(jié)果傳達(dá)給業(yè)務(wù)用戶。

“如果我有一位數(shù)據(jù)科學(xué)家可以完成所有工作，那么我擔(dān)心通過數(shù)據(jù)工程團(tuán)隊(duì)來完成，”他說。

Seek表示對具有博士學(xué)位的候選人非常感興趣。“我更愿意雇用擁有博士學(xué)位的人，但我不會放棄擁有豐富經(jīng)驗(yàn)的人，”亨特說。“醫(yī)生可以對一個主題進(jìn)行非常深入的研究，并將該信息傳播給其他人。但對于扎實(shí)的背景或個人項(xiàng)目來說，卻非常有趣。”

亨特說他在物理學(xué)、數(shù)學(xué)、計算機(jī)科學(xué)、經(jīng)濟(jì)學(xué)甚至社會科學(xué)方面都有天賦。他不看具有數(shù)據(jù)科學(xué)或分析學(xué)位的候選人，但他對雇用他們持保留態(tài)度。“我個人的經(jīng)驗(yàn)是，我發(fā)現(xiàn)它們非常有用，但它們過于關(guān)注模型的運(yùn)作方式，而不是思維方式，”他說。MapR 更關(guān)注申請人的個人能力，而不是展示新事物的能力。他說：“當(dāng)我聘請數(shù)據(jù)科學(xué)家時，我首先想到的是：面試者能不能教我一些東西？我不想要一個能告訴我怎么做的人。我真的想找到一個能做我想做的事的人。”不能。要做的事情。或者可以傳授給團(tuán)隊(duì)的才能。”

鄧寧指出，一些優(yōu)秀的數(shù)據(jù)科學(xué)家或數(shù)據(jù)科學(xué)領(lǐng)域的領(lǐng)導(dǎo)者具有非傳統(tǒng)背景，并指出與他共事過的一些最優(yōu)秀的人包括從事園丁工作六年的人、具有藝術(shù)背景的人、一些人。即使是擁有法國文學(xué)學(xué)位但沒有接受過計算機(jī)培訓(xùn)的新聞專業(yè)學(xué)生。

“我想用數(shù)據(jù)感知來測試人，而不是公式。我希望能夠看到并理解他們，”鄧寧說。

數(shù)據(jù)科學(xué)培訓(xùn)

鑒于目前缺乏數(shù)據(jù)科學(xué)人才，許多組織正在制定計劃來培訓(xùn)內(nèi)部數(shù)據(jù)科學(xué)人才。培訓(xùn)是另一種快速增長的培訓(xùn)員工擔(dān)任數(shù)據(jù)科學(xué)家角色的方法。

數(shù)據(jù)科學(xué)學(xué)位

根據(jù)美國新聞與世界報道，這些是數(shù)據(jù)科學(xué)領(lǐng)域的頂級研究生學(xué)位課程：

統(tǒng)計學(xué)碩士：斯坦福大學(xué)數(shù)據(jù)科學(xué)

信息與數(shù)據(jù)科學(xué)碩士：伯克利信息學(xué)院

數(shù)據(jù)科學(xué)碩士：哈佛大學(xué)約翰保爾森工程與應(yīng)用科學(xué)學(xué)院

分析學(xué)碩士：芝加哥大學(xué)格雷厄姆學(xué)院

計算機(jī)數(shù)據(jù)科學(xué)碩士：卡內(nèi)基梅隆大學(xué)

數(shù)據(jù)科學(xué)碩士：華盛頓大學(xué)

跨學(xué)科數(shù)據(jù)科學(xué)理學(xué)碩士：杜克大學(xué)

應(yīng)用數(shù)據(jù)科學(xué)碩士：密歇根大學(xué)信息學(xué)院

數(shù)據(jù)科學(xué)認(rèn)證

組織需要具有數(shù)據(jù)分析技術(shù)專業(yè)知識的數(shù)據(jù)科學(xué)家和分析師。他們還需要大數(shù)據(jù)架構(gòu)師將需求轉(zhuǎn)化為系統(tǒng)it技術(shù)工程師，需要數(shù)據(jù)工程師來構(gòu)建和維護(hù)數(shù)據(jù)管道，需要了解集群和其他技術(shù)的開發(fā)人員，以及連接一切的系統(tǒng)管理員和管理員。認(rèn)證是求職者展示其具備合適技能的一種方式。

一些頂級大數(shù)據(jù)和數(shù)據(jù)分析認(rèn)證包括：

數(shù)據(jù)科學(xué)專業(yè)成就認(rèn)證

認(rèn)證分析師專家

認(rèn)證助理 (CCA) 數(shù)據(jù)分析師

EMC 認(rèn)證專業(yè)數(shù)據(jù)科學(xué)家協(xié)會 ( )

MapR 認(rèn)證數(shù)據(jù)分析師

認(rèn)證解決方案專家 (MCSE)：數(shù)據(jù)管理和分析

SAS 認(rèn)證數(shù)據(jù)科學(xué)家使用 SAS 9