一份關於人工智慧、機器學習和大資料的報告

　　在當今世界，印度近年來的發展是有目共睹的，雖然在我們國內對於印度的印象屬於比較喜劇的一個國家，並且出於對印度國家的喜愛，網上稱印度為阿三，三哥。但是任何事物都是由兩面性的，雖然印度在一些事情上的發展比較緩慢，並且總是逗人開心，但是印度因為一些機緣巧合在軟體上面的實力是非常強大的，這一點是無法忽視的，我們可以需要從任何人的身上發現並吸取他們的優點，這樣我們才能不斷的發展下去，下面就是一份有關於人工智慧領域是如何改變世界的報告，讓我們看一下這個世界第二大軟體國家是如何看待人工智慧、機器學習和大資料的吧。

摘要

　　本報告旨在提供未來資料相關領域的職業機會概述。這份報告將有助於人們理解這些正在發展的技術以及這些技術帶來的各種機遇和影響。

前言

Analytics Vidhya

　　2018是特殊的一年。我們看到來自實驗室的人工智慧和機器學習成為了我們日常生活的一部分。無論是亞馬遜開設的無人便利店"Amazon Go"還是Google在Gmail上推出的智慧回覆功能，都可以看出人工智慧已經成為了我們身邊的常客。

　　建立這份報告的目的是為我們的資料科學社群描繪巨集觀層面所發生變化的背景，以及他們如何為即將到來的變化做好充分的準備。所以，如果你已經是資料科學專業人員或者你想進入資料科學領域，我們希望這份報告可以為你提供背景資訊併為你未來的學習做好準備。

　　Analytics Vidhya和Great learning 目前都處於建立印度下一代資料科學生態系統的最前沿，我們真的希望這份報告可以幫助你一睹未來的發展方向。

為了你自己最好的未來，請不斷的學習。

Kunal jain —— 創始人兼執行長

great learning

　　人工智慧和機器學習的時代已經到來了，這些領域都有可能對印度的行業產生重大的影響。要使人工智慧系統成為可能的技術，需要資料和人才的組合達到臨界值，以及推動人工智慧的投資增長。在印度努力重振生產力增長的同時，AI人工智慧和機器學習有望填補這一空白。事實上，金融，國防，網路安全，醫療保健和環境保護等行業都已經採用了人工智慧，並且取得了進展。但真正讓公司有優勢的是找到適合解決內部問題的人工智慧方案。

　　如何找到這個方案，創新才是關鍵。為了實現這一目標我們需要時間建立一個生態系統來培訓人工智慧專業的人員，我們正在尋找培養在人工智慧領域的人工智慧專業人員。這份報告不是我們自己的努力，而是與Analytics Vidhya一起努力完成的，這份報告也是為了讓人們在這個快速發展的領域抓住機遇。

　　現在正是一個使AI人工智慧實現飛躍的時代

Mohan Lakhamraju——創始人兼執行長

以資料為中心的轉換和變更

　　"正如電力在100年前幾乎改變了一切，今天的我很難找到一個理由不認為人工智慧將在未來的幾年內改變行業"-Andrew NG(吳恩達)

　　我們在生活的方方面面都感受到了資料科學和人工智慧的影響。

　　Amazon 是如何知道你對那種產品最感興趣?或者你的手機是如何明白是"你"需要將手機解鎖呢。

　　當我們需要送朋友禮物的時候，我們會糾結於我們的朋友會喜歡什麼樣的禮物。這個時候，Google不僅會建議各種禮物，還會在瞬間展示這些產品的廣告。

　　即使是你所去的超市，也可以確保在結賬櫃檯吸引你的注意。你的銀行能夠實時的區分潛在的欺詐和真實的交易。不僅如此，他們還可以決定哪些客戶值得信任，以及客戶信用卡的額度是多少。

　　不僅僅是這些，人工智慧的可能性和影響性在我們的生活中是無限的

　　在接下來的十年左右的時間中，我們將看到每個行業都會發生巨大的變化。醫療，銀行，網路安全只是這其中的一小部分。所以如何捕獲資料並利用它們將會是在未來的日子裡面定義這些行業新格局的關鍵。

當你讀到這篇文章的時候時代正在發生轉變 - 而資料將會是這一切的核心

　　這就是為什麼現在幾乎任何職業都需要不斷的提高自己的技能並且學習這場遊戲的新規則。我們現在需要的管理人員不僅僅要了解負責的業務領域，還要了解我們正在獲得的資料，以及如何去利用這些資料為公司創造競爭的優勢。

資料科學在今天的顛覆

　　我們現在獲取，儲存和分析資料的能力已經徹底改變了當今行業的運作方式。當人們從床上醒來的那一刻，智慧手機上的應用程式已經開始儘可能多地獲取資料，並利用這些資料為他們帶來好處。這清晰的描繪了當今行業正在努力的獲取並利用人們的行為模式。這份報告的目的就是幫助人們瞭解資料是如何幾乎改變了所有行業的運作方式。

在我們在進一步討論之前，我們來看一個簡單的統計資料-在印度有超過100萬家註冊公司，在Gartner公司的一項調查中顯示，這些公司中有75%的公司已經投資或者計劃投資大資料領域。

大公司，大投資，大資料

　　首先讓我們來看一些有趣的資料

• 在今天的網際網路世界中存在著2.7兆兆位元組的資料。

• 在Facebook中單獨儲存，訪問和分析30+PB使用者生成的資料。

• 超過50億人在全球範圍內通過手機撥打電話，發簡訊，發推文和瀏覽網頁、

• 幾年前，解碼人類的基因最初需要10年才能完成。現在由於有處理大量解碼資訊的能力，所以在一週之內就可以完成解碼人類的基因。

• 沃爾瑪需要處理每小時100多萬筆客戶的交易，這些交易被匯入到估計超過2.5PB資料的資料庫中。

• 糟糕的資料會使企業損失20%-35%的營業收入。

　　這些簡單的陳述強調了我們今天通過生成，獲取，儲存和分析資料所擁有的強大能力。但是現在的問題是，我們是否擁有處理好資料和利用資料的能力?

　　鑑於這些大量的資料，我們需要具有不同技能的人來安排，儲存和理解資料。

資料科學中的角色

資料科學家

　　在印度，資料科學家肯定是現在最受歡迎的職位之一，資料科學家底薪為7.7萬盧比，也是資料科學行業的最高收入者之一。資料科學家能夠使用最新的技術處理原始資料，通過清理和組織（大）資料執行必要的分析，並以資訊的方式向團隊提供所獲得的資料。

語言/工具:R，SAS，SPSS，Matlab，Stata，Python，Perl，SQL，Hive，Pig，Spark

僱傭單位:領英，強生，百事

資料庫管理員

　　資料庫管理員需要確保組織中的每個需要資料的人都可以訪問資料庫。此外，還需要採取必要的安全措施，以確保儲存的資料安全。要成為資料庫管理員，需要掌握從SQL和XML到更通用的程式語言（如java）的不同技術。

語言/工具:SQL，Java，Ruby on Rails，XML，C#，Python

僱傭單位:Reddit，twitter，Tableau

業務分析師

　　這可能是資料科學領域中技術含量最低的。但是，業務分析師通過對各種業務流程的深刻理解來彌補技術知識的缺乏。因此，業務分析師經常扮演業務人員和技術人員之間的中介角色。

語言/工具:SQL

僱傭單位:Uber，Dell，oracle

資料分析經理

　　資料分析經理負責指導資料科學團隊的方向。這個職位需要有各種各樣的基礎（如SQL，R，SAS）和特定技能，以及處理小組所需的社交能力

語言/工具:SQL，R，SAS，Python，Matlab，Java

僱傭單位:Coursera，Slack，Motorola Solutions

資料科學的工作在哪裡

　　統計資料顯示，印度目前有超過50,000個與資料分析相關的職位處於空缺狀態。這清楚地表明，我們並沒有真正掌握這些機會的合適技能。

　　目前與世界相比，印度提供了12%的就業機會，然而，由於世界上缺乏這類技能的人和對這類技能的潛在需求，此類工作的人才需求數量可能會呈指數級增長。

　　如果我們看一下資料科學家職位的招聘數量，就業崗位以及求職者的興趣，就會發現這類需求的數量在2017年創下歷史新高。然而，求職者的數量幾乎是招聘職位數量的一半。這清楚地表明瞭該行業是多麼的需要資料科學家。

　　資料科學並沒有侷限於任何特定的行業。它的應用跨越多個領域。

　　銀行和金融服務是分析和資料科學專業人士的最大市場。2017年，該領域創造了44%的就業崗位。銀行業廣泛使用資料科學與分析領域來估計和預測市場風險。資料科學廣泛應用於欺詐檢測和信用風險預測。

　　電子商務也成為分析專業人士的一個巨大市場。電子商務網站推薦引擎的廣泛使用為這一領域提供了大量的機會。2017年，電子商務行業創造了12%的分析職位。

　　醫療保健行業也一直在使用資料科學來預測疾病的風險、疾病的模式、癌症風險等。

　　媒體等其他行業正在使用資料科學來理解和設計媒體策略，以獲得最佳效果。

提高技能-前進的方向

　　有了這麼多的機會，我們現在應該利用我們的技能來充分利用它們。要在任何特定領域取得優異成績，我們都需要掌握正確的基礎知識，即使在今天，仍然可以觀察到SQL在indeed(作業門戶)上作業的數量最多。Python和Java緊隨其後，但是隨著深度學習庫的的更大支援，Python越來越受歡迎。

　　Hadoop擁有大資料功能，可以處理數百GB的資料。其次是R，這是一個廣泛使用的統計和機器學習工具，其次是c。隨著Python和R市場的巨大需求，SAS中的工作崗位數量最近出現了下降。

　　雖然這些工具是當前業界最流行的需求工具，但是還需要了解業界中各種資料驅動角色。儘管各種複雜工具的應用使資料科學家的工作比沒有它們時容易得多，但有些技能只有實踐經驗才能傳授。其中之一就是領域知識。對於擁有領域知識的資料科學家或分析師來說，需要深入研究並理解領域的整個功能。成為一名優秀的資料科學家的另一個重要方面是擁有一種分析方法，學習新的工具是一回事，但是需要有正確的方法來對應最合適的結果。

　　每個人都可以挑選認為適合自己的角色，然後努力獲取該角色所必要的技能，這個網格是有助於理解特定角色最重要技能的一個集合。

分析和資料科學產業-及其未來的領域

　　我們都看到並經歷了資料科學在電子商務和銀行等領域的滲透。但是資料的力量並不僅限於這些領域。在當今世界，幾乎所有的行業都在努力利用資料的力量，我們估計到2020年，在以下每個領域中，將有很多人從事分析和資料科學工作:

　　網路安全——你可能以前聽說過——公司必須保護自己免受各種攻擊。但是攻擊者只需要一次成功的嘗試。因為這一點，公司不能只是試圖阻止攻擊發生。分析公司一直在撰寫報告，並就“大資料分析對各行業網路安全的影響”向“客戶”提供諮詢。目前，25％的全球最大公司已採用大資料分析技術，以實現至少一種欺詐檢測用例的安全性。

　　到2020年，印度此類的分析工作崗位估計將達到5000個

　　醫療保健——在不同的醫療機構(支付方、提供者、製藥公司)中，已經有大量的醫療資料可用。這些資料集的龐大和複雜給臨床環境的分析和後續應用帶來了巨大的挑戰。

　　到2020年，印度此類分析工作崗位估計為15000個

　　基因組學——基因組學是研究生物體完整的遺傳物質(基因組)。該領域包括測序對映和分析廣泛的RNA和DNA程式碼。大資料幫助解開了這些基因組序列的基本原理。分析現在被用來檢測異常和識別疾病。

　　到2020年，印度此類分析工作崗位估計將達到2000個

　　太空探索——大資料已經取得了巨大而有影響力的進展。雖然大資料分析已經被用於研究暗物質，但通過資料發現技術，統計學家和天體物理學家正在應用先進技術來解開宇宙之謎。

　　到2020年，印度此類分析工作崗位估計將達到350個

　　農業-農業不再是一個非技術性工作。分析被廣泛應用於農業，特別是精確農業，在那裡植物和種子被特別選擇用於雜交育種。它還被用來了解土壤成分，加速作物改良。在農業領域發生的大量技術和資料採集使電腦科學成為其中的一個重要部分

　　到2020年，印度此類分析工作崗位將達到5500個

　　航空——你知道航空公司使用分析已經很長時間了嗎?長期以來，航空公司一直在對客戶進行細分。他們觀察客戶的模式、行為、偏好、支付能力和意願等，以提供更好的客戶體驗，並獲得最大的收益。

　　到2020年，印度此類分析工作崗位將達到4500個

　　無人駕駛交通——無人駕駛汽車成為人工智慧和機器學習最流行的應用。無人駕駛汽車可以進行多次自動駕駛，並學會根據交通狀況自動理解和行動。自動駕駛汽車已經成為機器學習、深度學習、物聯網和人工智慧融合的先鋒產品。

　　到2020年，印度此類分析的工作崗位將達到7000個。

使用資料能力的熱門技能

　　資料科學目前的發展已經超越了統計學，甚至機器學習。這個行業需要有技能的人來設計和開發機器人和智慧機器，這是現在非常大的需求。

人工智慧

　　這就是目前世界正在走向的潮流——擁有一臺與人類大腦智力水平相當或超過人類的機器。正是因為這個原因，人工智慧技術受到了人們的高度追捧。

機器人

　　機器人目前正在崛起，它們以遠遠高於人類的速度執行特殊的重複性工作，網路爬蟲，網際網路機器人，聊天機器人等，目前的需求量很大，所以根據這個形式不言而喻，能夠設計這些機器人的人更受歡迎。

物聯網

　　據預測，到2020年聯網裝置將達到500億部，到2021年市場價值將達到6610億美元，物聯網是目前最熱門的技術。物聯網與大資料和分析相結合，將為組織和專業人士創造巨大的機會

AR/VR

　　虛擬現實可以定義為計算機生成的對真實生活環境的模擬。一個例子是3D商店貨架，它可以適應為每個顧客提供更多相關的商品。增強現實可以定義為一種技術，它將計算機生成的增強層置於現有的現實之上，並通過互動性使其更有意義。

專家的觀點

　　mudit kulshreshta博士

古爾岡大湖管理學院卓越分析中心副主任

由於各行各業都出現瞭如此多的混亂，應對這種局面的壓力可能是壓倒性的。考慮到這一點，我們請到了mudit kulshreshta博士。

讓我們看看他有什麼要說的。

1. 這些年來，技術領域發生了怎樣的變化?您如何看待資料科學在當今世界日益重要的地位?

　　企業級儲存和計算能力對個人來說越來越容易獲得並且負擔得起。在接下來的十年裡。大多數企業將通過SAAS、PAAS、DAAS等，將儲存、應用和資料平臺轉移到雲端計算，物聯網不再是戰略選擇，而是勢在必行。它已經處於大資料和海量資料出現的拐點。我們已經看到千兆位元組的資料以空前的規模和速度通過數字渠道實時流動。從圖片到點選流再到視訊，如今一切都是資料。開源革命可以讓公眾參與共同創造IT產品、機器學習、人工智慧、機器人。我們目前正在經歷一場技術革命，尤其是資料的獲取和使用方式。

2. 目前在機器學習和人工智慧領域中，哪些領域從正在進行的工作中獲益最多?

　　從資本貨物到零售，從製造到服務，從金融銀行到醫療保健的每個領域都將受益並建立基於ML和人工智慧的差異化商業模式。營銷、零售、金融科技和醫療保健等領域已經採用了這種模式，並正在取得進展。

3. 未來5年，哪些工業領域將從這些技術中受益最多?

　　為了生存和差異化，所有工業領域無一例外地將擁抱這場數字革命。此外，一些新的領域也將被創造出來——從自動駕駛汽車到工業規模的3D列印、增強現實、虛擬娛樂、機器人、基因組研究、大氣科學等。

4. 人們在這個階段應該扮演什麼樣的角色，這樣他們才能在未來的5-10年裡做好準備?

　　坦白地說，這是一場無人倖免的洪水——人們需要參與其中並與之共舞——他們能做的最好的事情就是開始學習技術和技能——大資料、ML、人工智慧、雲、技術產品管理等等。

5. 從行業對這一領域的高需求來看，專業人士是否有足夠的技能來滿足這一需求?教育系統需要更新嗎?

　　並沒有——這不僅僅是從技能的角度來看——現在整個世界都毫無準備——就好像整個世界都走在了教育體系的前面——傳統的教育機構現在正對其需求做出迴應，但這些努力充其量也只是零散的。由數字平臺和線上教育推動的點對點學習，將填補傳統學校本應填補的空白。

6. 專業人士目前應該關注哪些最重要的技能?

　　雲、大資料分析、機器學習、人工智慧、深度學習——產品管理也將變得至關重要。

7. 另一個大問題是機器人的自動化。有些人擔心將來的工作可能會更少。你認為這是真的嗎?

　　傳統領域的工作崗位將減少，而上述領域的工作崗位將增加——隨著自動化成為一個自我維持的過程，人們將不得不進行變革，並走上持續學習的道路。希望在於，以數字、資料和人工智慧為核心的新產業將會出現。這些行業將創造新的就業機會和新的機會

8. 有關於終結者中AI的討論 - 你對AI作為巨集觀層面來講對人類物種的影響有什麼看法？

　　儘管人工智慧帶來了重大機遇，但世界還沒有準備好迎接人工智慧帶來的風險。技術可能有有一個糟糕的主人，甚至會被濫用(可能是無意中的)，濫用的規模可能是全球性的，影響到數百萬人的生活，在這個潛在的人工智慧驅動的世界裡，我們離全面瞭解後果還很遠。我們將需要大量的經濟，法律和社會法規，來對涉及隱私，未經請求的資訊使用和網路欺詐的預防。這些機器人如果擁有了自己的意識，無論它看起來多麼牽強，都是一種可能性。並且已經出現了這種威脅的例子。

未來的發展方向

　　正如Mudit博士所說，傳統領域的工作崗位可能會減少，因為我們將能夠實現重複性工作的自動化。然而，到2020年，非傳統領域的工作機會將大幅增加。我們正在邁向一個機器可以幫助人類的智慧世界，可以幫助人類在不同領域提高能力。我們進入了一個可以理解我們是否感到寒冷的世界，我們的醫生可以預測我們是否有患致命疾病的風險。

原文連結：https://www.analyticsvidhya.com/blog/2018/09/artificial-intelligence-machine-learning-and-big-data-a-comprehensive-rep