Spring系列學習之Spring Data Apache Hadoop資料訪問
英文原文:https://spring.io/projects/spring-hadoop
目錄
概述
注意:Spring for Apache Hadoop專案將於2019年4月5日達到生命週期終止狀態。我們將根據需要釋出偶爾的2.5.x維護版本,直到那時為止,然後將專案移至閣樓。 當前的Apache Hadoop 2.5.0版本是使用Apache Hadoop 2.7.3版本構建的,應該與最流行的Hadoop發行版的最新版本相容。
介紹
Spring for Apache Hadoop通過提供統一的配置模型和易於使用的API來簡化Apache Hadoop的開發,以便使用HDFS,MapReduce,Pig和Hive。它還提供與其他Spring生態系統專案(如Spring Integration和Spring Batch)的整合,使您能夠為大資料攝取/匯出和Hadoop工作流程編排開發解決方案。
檢視O'Reilly Media Spring Data:Modern Java Access for Enterprise Java中的書,其中包含有關使用Spring for Apache Hadoop的幾個章節。該書的示例程式碼也可以在GitHub專案spring-data-book中找到。
特性
- 支援建立使用依賴注入配置的Hadoop應用程式,並作為標準Java應用程式執行,而不是使用Hadoop命令列實用程式。
- 與Spring Boot整合,可以簡單地建立連線到HDFS以讀取和寫入資料的Spring應用程式。
- 建立和配置使用Java MapReduce,Streaming,Hive,Pig或HBase的應用程式
- Spring Batch的擴充套件,支援為任何型別的Hadoop作業或HDFS操作建立基於Hadoop的工作流。
- 使用任何基於JVM的指令碼語言編寫HDFS操作指令碼。
- 輕鬆建立基於Spring Boot的自定義應用程式,可以部署在YARN上執行。
- HBase的DAO支援(模板和回撥)。
- 支援Hadoop安全性。
版本和分發支援
Spring for Apache Hadoop支援許多Apache版本以及Pivotal,Hortonworks和Cloudera的商業發行版。
受支援的發行版因發行版本而異,有關詳細資訊,請參閱
另外,請參閱Mavi構建詳細資訊的Wiki頁面。
可以在構建頁面上看到大多數受支援版本的持續整合構建。
Spring Boot 配置
<dependencies>
<dependency>
<groupId>org.springframework.data</groupId>
<artifactId>spring-data-hadoop</artifactId>
<version>2.5.0.RELEASE</version>
</dependency>
</dependencies>
快速開始
使用Spring Initializr引導您的應用程式。
學習
文件
每個Spring專案都有自己的; 它詳細解釋瞭如何使用專案功能以及使用它們可以實現的功能。
2.5.0 CURRENT GA | Reference Doc. | API Doc. |
2.5.1 SNAPSHOT | Reference Doc. | API Doc. |
示例
嘗試一些示例: