1. 程式人生 > >Spring系列學習之Spring Data Apache Hadoop資料訪問

Spring系列學習之Spring Data Apache Hadoop資料訪問

英文原文:https://spring.io/projects/spring-hadoop

目錄

概述

介紹

特性

版本和分發支援

Spring Boot 配置

快速開始

學習

文件

示例


概述

注意:Spring for Apache Hadoop專案將於2019年4月5日達到生命週期終止狀態。我們將根據需要釋出偶爾的2.5.x維護版本,直到那時為止,然後將專案移至閣樓。 當前的Apache Hadoop 2.5.0版本是使用Apache Hadoop 2.7.3版本構建的,應該與最流行的Hadoop發行版的最新版本相容。

介紹

Spring for Apache Hadoop通過提供統一的配置模型和易於使用的API來簡化Apache Hadoop的開發,以便使用HDFS,MapReduce,Pig和Hive。它還提供與其他Spring生態系統專案(如Spring Integration和Spring Batch)的整合,使您能夠為大資料攝取/匯出和Hadoop工作流程編排開發解決方案。

檢視O'Reilly Media Spring Data:Modern Java Access for Enterprise Java中的書,其中包含有關使用Spring for Apache Hadoop的幾個章節。該書的示例程式碼也可以在GitHub專案spring-data-book中找到。

特性

  •     支援建立使用依賴注入配置的Hadoop應用程式,並作為標準Java應用程式執行,而不是使用Hadoop命令列實用程式。
  •     與Spring Boot整合,可以簡單地建立連線到HDFS以讀取和寫入資料的Spring應用程式。
  •     建立和配置使用Java MapReduce,Streaming,Hive,Pig或HBase的應用程式
  •     Spring Batch的擴充套件,支援為任何型別的Hadoop作業或HDFS操作建立基於Hadoop的工作流。
  •     使用任何基於JVM的指令碼語言編寫HDFS操作指令碼。
  •     輕鬆建立基於Spring Boot的自定義應用程式,可以部署在YARN上執行。
  •     HBase的DAO支援(模板和回撥)。
  •     支援Hadoop安全性。


版本和分發支援

Spring for Apache Hadoop支援許多Apache版本以及Pivotal,Hortonworks和Cloudera的商業發行版。

受支援的發行版因發行版本而異,有關詳細資訊,請參閱

Wiki頁面

另外,請參閱Mavi構建詳細資訊的Wiki頁面

可以在構建頁面上看到大多數受支援版本的持續整合構建。

Spring Boot 配置



<dependencies>
    <dependency>
        <groupId>org.springframework.data</groupId>
        <artifactId>spring-data-hadoop</artifactId>
        <version>2.5.0.RELEASE</version>
    </dependency>
</dependencies>

快速開始


使用Spring Initializr引導您的應用程式。

學習

文件

每個Spring專案都有自己的; 它詳細解釋瞭如何使用專案功能以及使用它們可以實現的功能。

2.5.0 CURRENT GA Reference Doc. API Doc.
2.5.1 SNAPSHOT Reference Doc. API Doc.

示例

嘗試一些示例: