1. 程式人生 > >[Spark周邊]--SQL Server 2019預覽結合了SQL Server和Apache Spark來建立統一的資料平臺

[Spark周邊]--SQL Server 2019預覽結合了SQL Server和Apache Spark來建立統一的資料平臺

感謝原文作者:https://cloudblogs.microsoft.com/sqlserver/2018/09/24/sql-server-2019-preview-combines-sql-server-and-apache-spark-to-create-a-unified-data-platform/
        今天在Ignite上,微軟宣佈推出SQL Server 2019。25年來,SQL Server幫助企業管理其關係資料的各個方面。在最近的版本中,SQL Server不僅通過統一圖形和關係資料來查詢關係資料,還通過R和Python模型培訓和評分將機器學習帶到資料所在的位置。隨著資料量和種類的增加,客戶需要輕鬆地跨所有型別的資料整合和分析資料。

         現在,有史以來第一次,SQL Server 2019建立了一個統一的資料平臺,其中Apache Spark TM和Hadoop分散式檔案系統(HDFS)與SQL Server一起打包為一個整合的解決方案。通過建立大資料叢集的能力,SQL Server 2019提供了令人難以置信的資料庫管理功能擴充套件,進一步重新定義了SQL Server,超越了傳統的關係資料庫。與每個版本一樣,SQL Server 2019通過智慧查詢處理,資料合規性工具和對永續性記憶體的支援,繼續為每個工作負載突破安全性,可用性和效能的界限。使用SQL Server 2019,您可以承擔任何資料專案,從傳統的SQL Server工作負載(如OLTP,資料倉庫和BI)到AI和高階資料的高階分析。

        SQL Server提供了一個真正的混合平臺,具有從資料中心到公共雲的一致SQL Server表面區域,使其易於在您選擇的位置執行。由於SQL Server 2019大資料叢集作為Kubernetes上的容器部署並具有內建管理服務,因此客戶可以在本地和雲中的各種支援平臺上獲得一致的管理和部署體驗:OpenShift或Kubernetes, Azure Kubernetes服務(AKS),Azure Stack(在AKS上)和Azure上的OpenShift。藉助Azure Hybrid Benefit許可證可移植性,您可以選擇在本地或Azure中執行SQL Server工作負載,而成本只是其他任何雲提供商的一小部分。

SQL Server - 對所有資料的洞察

      SQL Server繼續採用開源,從SQL Server 2017支援Linux和容器到SQL Server 2019,現在擁抱Spark和HDFS為您帶來統一的資料平臺。使用SQL Server 2019,對資料執行分析所需的所有元件都內建在託管叢集中,託管叢集易於部署,並且可以根據業務需求進行擴充套件。HDFS,Spark,Knox,Ranger,Livy都與SQL Server一起打包,可以快速輕鬆地部署為Kubernetes上的Linux容器。SQL Server通過消除結構化資料和非結構化資料之間當前存在的任何障礙,簡化了對所有企業資料的管理。

以下是我們如何讓您輕鬆打破所有資料中實現的洞察力的障礙,在整個組織中提供一個數據檢視:

  • 簡化SQL Server使用者的大資料分析。SQL Server 2019使管理大資料環境變得更加容易。它提供了建立資料湖所需的一切,包括Microsoft和分析工具提供的HDFS和Spark,它們都與SQL Server深度整合,並得到Microsoft的全面支援。現在,您可以在結構化和非結構化資料上執行應用程式,分析和AI - 使用熟悉的T-SQL查詢或熟悉Spark的人可以使用Python,R,Scala或Java來執行Spark作業以進行資料準備或分析 - 所有這些都在相同的整合叢集。
  • 使用他們喜歡的工具為開發人員,資料分析師和資料工程師提供所有資料(結構化和非結構化)的單一來源。使用SQL Server 2019,資料科學家可以通過Spark作業輕鬆分析SQL Server和HDFS中的資料。分析師可以使用SQL Server機器學習服務對大資料執行高階分析:在Hadoop中訓練大型資料集並在SQL Server中操作。資料科學家可以在Azure Data Studio的新擴充套件中使用在Jupyter筆記本引擎上執行的全新筆記本體驗,以互動方式執行資料的高階分析,並輕鬆與同事共享分析。
  • 使用資料虛擬化分解資料孤島並在所有資料中提供一個檢視。從SQL Server 2016開始,PolyBase使您能夠在SQL Server中執行T-SQL查詢,從資料湖中提取資料並以結構化格式返回 - 所有這些都無需移動或複製資料。現在,在SQL Server 2019中,我們正在將資料虛擬化的概念擴充套件到其他資料來源,包括Oracle,Teradata,MongoDB,PostgreSQL等。使用新的PolyBase,您可以使用虛擬化來分解資料孤島並輕鬆組合來自多個來源的資料,從而避免資料移動和複製所產生的時間,精力,安全風險和重複資料。新的可彈性擴充套件的“資料池”和“計算池”通過快取資料和跨SQL Server的許多例項分發查詢執行,可以快速查詢虛擬化資料。

 

“從一開始,Sloan Digital Sky Survey資料庫就在SQL Server上執行,而SQL Server也儲存了大型宇宙模擬中的物件目錄。我們很高興SQL Server 2019大資料叢集的承諾,這將使我們能夠增強我們的資料庫,以包括我們所有的大資料集。SQL Server 2019的分散式特性使我們能夠擴充套件我們的新型模擬和下一代天文測量,資料集高達10PB或更高,遠遠超出我們當前資料庫解決方案的限制。“ - Gerard Lemson博士,約翰霍普金斯大學資料密集工程與科學研究所。

增強的效能,安全性和可用性

SQL Server 2019關係引擎將在關鍵任務效能,安全性和合規性以及資料庫可用性以及開發人員,Linux上的SQL Server和容器以及通用引擎增強功能方面提供新的和增強的功能。

業界領先的效能 - 智慧資料庫

  • 智慧查詢處理的功能系列基於自適應查詢處理的擴音效能優化功能,在有行模式記憶體授予反饋,近似COUNT DISTINCT,在rowstore批處理模式,表變數遞延編譯SQL伺服器2017年。
  • 此版本中的持久記憶體支援得到了改進,新的優化I / O路徑可用於與永續性記憶體儲存互動。
  • 現在,預設情況下啟用輕量級查詢分析基礎結構,以便隨時隨地為每個查詢運算子提供統計資訊。

高階安全性 - 機密計算

  • 始終使用安全區域進行加密擴充套件了SQL Server 2016中引入的客戶端加密技術。安全區域保護資料庫內硬體或軟體建立的安全區中的敏感資料,使其免受惡意軟體和特權使用者的攻擊,同時對加密資料啟用高階操作。
  • SQL資料發現和分類現在內置於SQL Server引擎中,具有新的元資料和審計支援,可幫助滿足GDPR和其他合規性需求。
  • 使用SQL Server配置管理器可以更輕鬆地進行認證管理

任務關鍵型可用性 - 高正常執行時間

  • Always On Availability組已得到增強,包括基於讀/寫意圖自動重定向到主伺服器的連線。
  • 可以使用Kubernetes使用Always On Availability Groups啟用在容器中執行的SQL Server的高可用性配置
  • 可恢復的線上索引現在支援建立操作幷包括資料庫作用域預設值。

開發經驗

  • SQL Graph的增強功能包括對T-SQL MERGE和邊緣約束的匹配支援。
  • 新的UTF-8支援使客戶能夠減少SQL Server的字元資料儲存空間。
  • 新的Java語言擴充套件將允許您呼叫預編譯的Java程式,並使用SQL Server在同一伺服器上安全地執行Java程式碼。通過使您的工作負載更接近您的資料,這減少了移動資料的需求並提高了應用程式效能。
  • 機器學習服務有幾項增強功能,包括Windows故障轉移群集支援,分割槽模型以及Linux上對SQL Server的支援。

選擇的平臺

  • Linux上SQL Server的其他功能包括分散式事務,複製,Polybase,機器學習服務,記憶體通知和OpenLDAP支援。
  • 容器具有新的增強功能,包括使用支援RedHat Enterprise Linux映像的新Microsoft Container Registry和支援Kubernetes的Always On Availability Groups。
    您可以在我們的文件中閱讀有關SQL Server 2019的新功能的更多資訊。

Azure Data Studio中的SQL Server 2019支援

在SQL Server中擴充套件對更多資料工作負載的支援需要擴充套件工具。由於微軟已經與其資料平臺的使用者合作,我們已經看到了以前不同的角色的聚集:資料庫管理員,資料科學家,資料開發人員,資料分析師和新角色仍然被定義。這些使用者越來越希望使用相同的工具,無縫地,跨內部部署和雲,使用關係和非結構化資料,使用OLTP,ETL,分析和流式工作負載協同工作。

Azure Data Studio提供現代編輯器體驗,具有閃電般的智慧感知,程式碼片段,原始碼控制整合和整合終端。它以資料平臺使用者為設計理念,內建查詢結果圖表,整合筆記本和可自定義的儀表板。Azure Data Studio目前提供對SQL Server內部部署和Azure SQL資料庫的內建支援,以及對Azure SQL託管例項和Azure SQL資料倉庫的預覽支援。

Azure Data Studio現在釋出了一個新的SQL Server 2019預覽擴充套件,以新增對選定的SQL Server 2019功能的支援。該擴充套件為SQL Server大資料叢集提供連線和工具,包括預覽SQL Server工具集中的首個筆記本體驗,以及新的PolyBase建立外部表嚮導,使遠端SQL Server和Oracle例項的資料輕鬆快速地訪問。

入門

通過訪問以下連結,查詢其他資源並立即開始: