快速構建第一個Flink工程
本文簡述通過maven和gradle快速構建的Flink工程。建議安裝好Flink以後構建自己的Flink專案,安裝與示例執行請檢視:Flink快速入門--安裝與示例執行.
在安裝好Flink以後,只要快速構建Flink工程,並完成相關程式碼開發,就可以輕鬆入手Flink。
構建工具
Flink專案可以使用不同的構建工具進行構建。為了能夠快速入門,Flink 為以下構建工具提供了專案模版:
- Maven
- Gradle
這些模版可以幫助你搭建專案結構並建立初始構建檔案。
Maven
環境要求
唯一的要求是使用 Maven 3.0.4 (或更高版本)和安裝 Java 8.x。
建立專案
使用以下命令之一來 建立專案:
使用Maven archetypes
$ mvn archetype:generate \
-DarchetypeGroupId=org.apache.flink \
-DarchetypeArtifactId=flink-quickstart-java \
-DarchetypeVersion=1.9.0
執行quickstart指令碼
curl https://flink.apache.org/q/quickstart.sh | bash -s 1.9.0
下載完成後,檢視專案目錄結構:
tree quickstart/ quickstart/ ├── pom.xml └── src └── main ├── java │ └── org │ └── myorg │ └── quickstart │ ├── BatchJob.java │ └── StreamingJob.java └── resources └── log4j.properties
示例專案是一個 Maven project,它包含了兩個類:StreamingJob 和 BatchJob 分別是 DataStream and DataSet 程式的基礎骨架程式。
main 方法是程式的入口,既可用於IDE測試/執行,也可用於部署。
我們建議你將 此專案匯入IDE 來開發和測試它。
IntelliJ IDEA 支援 Maven 專案開箱即用。如果你使用的是 Eclipse,使用m2e 外掛 可以
匯入 Maven 專案。
一些 Eclipse 捆綁包預設包含該外掛,其他情況需要你手動安裝。
請注意:對 Flink 來說,預設的 JVM 堆記憶體可能太小,你應當手動增加堆記憶體。
在 Eclipse 中,選擇 Run Configurations -> Arguments
並在 VM Arguments
對應的輸入框中寫入:-Xmx800m
。
在 IntelliJ IDEA 中,推薦從選單 Help | Edit Custom VM Options
來修改 JVM 選項。
構建專案
如果你想要 構建/打包你的專案,請在專案目錄下執行 ‘mvn clean package
’ 命令。命令執行後,你將 找到一個JAR檔案,裡面包含了你的應用程式,以及已作為依賴項新增到應用程式的聯結器和庫:target/-.jar
。
注意: 如果你使用其他類而不是 StreamingJob 作為應用程式的主類/入口,我們建議你相應地修改 pom.xml
檔案中的 mainClass
配置。這樣,Flink 可以從 JAR 檔案執行應用程式,而無需另外指定主類。
Gradle
環境要求
唯一的要求是使用 Gradle 3.x (或更高版本) 和安裝 Java 8.x 。
建立專案
使用以下命令之一來 建立專案:
Gradle示例:
build.gradle
buildscript {
repositories {
jcenter() // this applies only to the Gradle 'Shadow' plugin
}
dependencies {
classpath 'com.github.jengelman.gradle.plugins:shadow:2.0.4'
}
}
plugins {
id 'java'
id 'application'
// shadow plugin to produce fat JARs
id 'com.github.johnrengelman.shadow' version '2.0.4'
}
// artifact properties
group = 'org.myorg.quickstart'
version = '0.1-SNAPSHOT'
mainClassName = 'org.myorg.quickstart.StreamingJob'
description = """Flink Quickstart Job"""
ext {
javaVersion = '1.8'
flinkVersion = '1.9.0'
scalaBinaryVersion = '2.11'
slf4jVersion = '1.7.7'
log4jVersion = '1.2.17'
}
sourceCompatibility = javaVersion
targetCompatibility = javaVersion
tasks.withType(JavaCompile) {
options.encoding = 'UTF-8'
}
applicationDefaultJvmArgs = ["-Dlog4j.configuration=log4j.properties"]
task wrapper(type: Wrapper) {
gradleVersion = '3.1'
}
// declare where to find the dependencies of your project
repositories {
mavenCentral()
maven { url "https://repository.apache.org/content/repositories/snapshots/" }
}
// 注意:我們不能使用 "compileOnly" 或者 "shadow" 配置,這會使我們無法在 IDE 中或通過使用 "gradle run" 命令執行程式碼。
// 我們也不能從 shadowJar 中排除傳遞依賴(請檢視 https://github.com/johnrengelman/shadow/issues/159)。
// -> 顯式定義我們想要包含在 "flinkShadowJar" 配置中的類庫!
configurations {
flinkShadowJar // dependencies which go into the shadowJar
// 總是排除這些依賴(也來自傳遞依賴),因為 Flink 會提供這些依賴。
flinkShadowJar.exclude group: 'org.apache.flink', module: 'force-shading'
flinkShadowJar.exclude group: 'com.google.code.findbugs', module: 'jsr305'
flinkShadowJar.exclude group: 'org.slf4j'
flinkShadowJar.exclude group: 'log4j'
}
// declare the dependencies for your production and test code
dependencies {
// --------------------------------------------------------------
// 編譯時依賴不應該包含在 shadow jar 中,
// 這些依賴會在 Flink 的 lib 目錄中提供。
// --------------------------------------------------------------
compile "org.apache.flink:flink-java:${flinkVersion}"
compile "org.apache.flink:flink-streaming-java_${scalaBinaryVersion}:${flinkVersion}"
// --------------------------------------------------------------
// 應該包含在 shadow jar 中的依賴,例如:聯結器。
// 它們必須在 flinkShadowJar 的配置中!
// --------------------------------------------------------------
//flinkShadowJar "org.apache.flink:flink-connector-kafka-0.11_${scalaBinaryVersion}:${flinkVersion}"
compile "log4j:log4j:${log4jVersion}"
compile "org.slf4j:slf4j-log4j12:${slf4jVersion}"
// Add test dependencies here.
// testCompile "junit:junit:4.12"
}
// make compileOnly dependencies available for tests:
sourceSets {
main.compileClasspath += configurations.flinkShadowJar
main.runtimeClasspath += configurations.flinkShadowJar
test.compileClasspath += configurations.flinkShadowJar
test.runtimeClasspath += configurations.flinkShadowJar
javadoc.classpath += configurations.flinkShadowJar
}
run.classpath = sourceSets.main.runtimeClasspath
jar {
manifest {
attributes 'Built-By': System.getProperty('user.name'),
'Build-Jdk': System.getProperty('java.version')
}
}
shadowJar {
configurations = [project.configurations.flinkShadowJar]
}
setting.gradle
rootProject.name = 'quickstart'
或者執行quickstart指令碼
bash -c "$(curl https://flink.apache.org/q/gradle-quickstart.sh)" -- 1.9.0 2.11
檢視目錄結構:
tree quickstart/
quickstart/
├── README
├── build.gradle
├── settings.gradle
└── src
└── main
├── java
│ └── org
│ └── myorg
│ └── quickstart
│ ├── BatchJob.java
│ └── StreamingJob.java
└── resources
└── log4j.properties
示例專案是一個 Gradle 專案,它包含了兩個類:StreamingJob 和 BatchJob 是 DataStream 和 DataSet 程式的基礎骨架程式。main 方法是程式的入口,即可用於IDE測試/執行,也可用於部署。
我們建議你將 此專案匯入你的 IDE 來開發和測試它。IntelliJ IDEA 在安裝 Gradle
外掛後支援 Gradle 專案。Eclipse 則通過 Eclipse Buildship 外掛支援 Gradle 專案(鑑於 shadow
外掛對 Gradle 版本有要求,請確保在匯入嚮導的最後一步指定 Gradle 版本 >= 3.0)。你也可以使用 Gradle’s IDE integration 從 Gradle 建立專案檔案。
構建專案
如果你想要 構建/打包專案,請在專案目錄下執行 ‘gradle clean shadowJar
’ 命令。命令執行後,你將 找到一個 JAR 檔案,裡面包含了你的應用程式,以及已作為依賴項新增到應用程式的聯結器和庫:build/libs/--all.jar
。
注意: 如果你使用其他類而不是 StreamingJob 作為應用程式的主類/入口,我們建議你相應地修改 build.gradle
檔案中的 mainClassName
配置。這樣,Flink 可以從 JAR 檔案執行應用程式,而無需另外指定主類。
未來,我們將分別介紹:Flink流處理應用程式,Flink批處理應用程式。
更多Flink原理知識:
穿梭時空的實時計算框架——Flink對時間的處理
大資料實時處理的王者-Flink
統一批處理流處理——Flink批流一體實現原理
更多實時計算,Flink,Kafka等相關技術博文,歡迎關注實時流式計算:
相關推薦
快速構建第一個Flink工程
本文簡述通過maven和gradle快速構建的Flink工程。建議安裝好Flink以後構建自己的Flink專案,安裝與示例執行請檢視:Flink快速入門--安裝與示例執行. 在安裝好Flink以後,只要快速構建Flink工程,並完成相關程式碼開發,就可以輕鬆入手Flink。 構建工具 Flink專案可以使
SpringBoot學習第一篇:構建第一個SpringBoot工程
https://www.fangzhipeng.com/springboot/2017/07/11/springboot1 本文出自方誌朋的部落格 簡介spring boot 它的設計目的就是為例簡化開發,開啟了各種自動裝配,你不想寫各種配置檔案,引入相關的依賴就能迅速搭建起一
構建第一個 SpringBoot 工程
SpringBoot 是為了簡化 Spring 應用的建立、執行、除錯、部署等一系列問題的產物,自動裝配的特性讓我們可以更好的關注業務本身而不是外部的XML配置,我們只需遵循規範,引入相關的依賴就可以輕易的搭建出一個 WEB 工程. 設計的目標 為所有使用 Spring 的開發者提供一個更簡單,快速
maven一波流(3)——使用eclipse構建第一個maven工程
概述 傳統工程中,jar包需要自己拷貝到專案裡面來,然後專案編譯的時候可以訪問到這些jar包,完成專案的構建工作。 但是maven專案則不同,實際上專案目錄下是沒有jar包的。maven工程對專案的結構是有特殊要求的,比如至少得有一個配置檔案,告訴工程需要引
一起來學SpringBoot | 第一篇:構建第一個SpringBoot工程
文章目錄 1. 設計的目標 2. 前提 3. 建立專案 3.1. 目錄結果 3.2. pom.xml 依賴 3.3. 主函式入口 3.4. 初窺配置檔案 3.5. 測試 4. 拓展知識 4.1. 自定義Banner 5. 總結 6. 說點什麼
只需兩步!Eclipse+Maven快速構建第一個Spring Boot專案
隨著使用Spring進行開發的個人和企業越來越多,Spring從一個單一簡介的框架變成了一個大而全的開源軟體,最直觀的變化就是Spring需要引入的配置也越來越多。配置繁瑣,容易出錯,讓人無比頭疼,簡化Spring配置簡直可以說是民心所向。 Spring Boot是由Pivotal團隊提供的
5分鐘從零構建第一個 Apache Flink 應用
在本文中,我們將從零開始,教您如何構建第一個Apache Flink (以下簡稱Flink)應用程式。 開發環境準備 Fli
.NET Core初體驗 在window上構建第一個app
愛的 演示 .net core 用戶 表示 nuget store package -i 1、安裝.NET Core SDK 創建 .NET apps,只需要下載 .NET Core SDK for Windows,此安裝器將會安裝最新穩定版本的工具,並將其放在環境變量P
Spring Cloud Spring Boot mybatis分布式微服務雲架構(二)使用Intellij中的Spring Initializr來快速構建Spring Boot/Cloud工程
follow 體驗 alt initial ali roo 進行 依賴管理 img 在之前的所有Spring Boot和Spring Cloud相關博文中,都會涉及Spring Boot工程的創建。而創建的方式多種多樣,我們可以通過Maven來手工構建或是通過腳手架等方式快
第一個Python工程
gpa 文件 ron 建立 使用 bsp 不錯 喜歡 color 創建你的第一個Python程序 如果你曾經很熟悉visual studio的工作方式。可能對python不習慣。工程通常只與你使用的IDLE有關系。這些工具習慣將文檔,編譯,測試集成一體。所以就存在工程的概念
Spring Boot 入門篇 (一) 使用Intellij中的Spring Initializr來快速構建Spring Boot/Cloud工程
使用idea 構建 springboot 專案 原文地址:使用Intellij中的Spring Initializr來快速構建Spring Boot/Cloud工程 在之前的所有Spring Boot和Spring Cloud相關博文中,都會涉及Spring Boot工程的建立。而建立的方式
構建第一個SSH的maven專案
環境配置: eclispe maven版本:3.3.9 本地倉庫位置: 在C:\apache-maven-3.3.9\conf\settings.xml,需要配置好本地倉庫的路徑。 c盤目錄下的本地倉庫 一:新建Maven專案 因為是w
初試Spring Boot:構建第一個Web程式
Spring Boot主要提供快速構建專案的功能。本文中我們會使用Spring Boot構建第一個Web程式,同時介紹Spring Boot最簡單的功能,例如執行單元測試,釋出與呼叫REST服務等。 本文作者楊恩雄,選自新書《Spring Boot 2+Thymeleaf企業應用實戰》。 1 Spring
我的第一個OpenDaylight工程
1。從https://raw.githubusercontent.com/opendaylight/odlparent/stable/carbon/settings.xml下載此檔案或拷貝此檔案內容,替換 [email protected]_ubuntu:/etc/maven# 目錄下的同名檔案
折騰第一個vue工程
抱怨兩句:這麼簡單的安裝工作,浪費了好長時間,還解除安裝重灌node.js,重啟了電腦好幾次,網上搜羅的辦法各式各樣! 正題: 步驟: 1、官網下載當前最新的node.js版本:https://nodejs.org/dist/v10.13.0/node-v10.13.0-x64.ms
ASP.NET Core 入門教程 1、使用ASP.NET Core 構建第一個Web應用
一、前言 1、本文主要內容 Visual Studio Code 開發環境配置 使用 ASP.NET Core 構建Web應用 ASP.NET Core Web 應用啟動類說明 ASP.NET Core Web 專案結構說明 2、本教程環境資訊 軟體/環境說明 作業系統 Windows 10
JavaWeb入門1.1 建立第一個Web工程
Javaweb 入門學習1.1 建立第一個Web工程@TOC 1.使用測試框架時,將Junit4.jar,hamcrest-core.jar包匯入依賴中; 2.使用Jstl標籤庫時,需要匯入jstl.jar 和stanard.jar, 並且在web.xml 修改
Spring Boot 入門篇 (一) 使用Intellij中的Spring Initializr來快速構建Spring Boot/Cloud工程
使用idea 構建 springboot 專案 在之前的所有Spring Boot和Spring Cloud相關博文中,都會涉及Spring Boot工程的建立。而建立的方式多種多樣,我們可以通過Maven來手工構建或是通過腳手架等方式快速搭建,也可以通過《Spring
hibernate(一) 第一個hibernate工程
一、什麼是Hibernate? 輕量級JavaEE應用的持久層框架,是一個完全的ORM框架。(說完這句話,肯定有很多人懵圈了,下面我來一個個解釋) 持久化:將我們想要儲存的資料儲存到硬碟上,也就是我們電腦的磁碟上,為什麼叫持久化呢,就是資料
QT學習筆記(建立第一個QT工程)
使用QT版本為5.6.1 1、選擇建立的工程型別 Application下列出了很多應用程式的模板。 Widgets Application:支援桌面平臺的有圖形使用者介面的應用程式。GUI的設計完全基於C++語言,採用Qt提供的C++類庫。 Console Ap