1. 程式人生 > >spark連線mongodb(許可權認證)示例

spark連線mongodb(許可權認證)示例

final String mgohost = "127.0.0.1";
SparkSession spark = SparkSession.builder()
                .appName("spot")
                .config("spark.mongodb.output.uri", "mongodb://spark:[email protected]" + mgohost + ":27017/admin")
                .config("spark.mongodb.output.database","demo")
                .config
("spark.mongodb.output.collection","test") .getOrCreate();
  • mongodb://使用者名稱:密碼@” + mgohost + “:27017/admin
  • admin為mongodb系統database,通過系統庫連線database許可權認證通過
  • demo指定其它database
  • test指定collection
JavaSparkContext jc = new JavaSparkContext(spark.sparkContext());
        JavaRDD<String> spotInfo = jc.textFile(input);
JavaRDD<Document> javaRDD = spotInfo.map(new
Function<String, Document>() { @Override public Document call(String arg0) { try { Document document = new Document(); document.put("data", arg0); return document; } catch (Exception
e) { // TODO: handle exception } Document document = new Document(); document.put("error", "error"); return document; } }).filter(new Function<Document, Boolean>() { @Override public Boolean call(Document arg0) throws Exception { if(arg0.containsKey("error")){ return false; }; return true; } }); MongoSpark.save(javaRDD); jc.stop();
  • 遍歷檔案每一條資料返回Document儲存至mongodb資料庫

相關推薦

spark連線mongodb許可權認證示例

final String mgohost = "127.0.0.1"; SparkSession spark = SparkSession.builder() .appN

Mongodb安裝與設定副本集 二 新增許可權認證

1.Mongodb安裝與設定副本集 一,中配置了一個簡單的mongodb replica set環境,但是沒有新增認證,任何知道伺服器IP+埠的客戶端都能訪問 2.新增認證—接著上篇文章繼續配置 2.9:replica set許可權認證 , 通過openssl生

spark的JDBC連線Scala版

一個Scala版的連線池,並在使用Spark Streaming進行Word Count時,把每批資料都存到mySql中 import java.sql.{Connection, DriverManager} import java.util object J

spark連線hivespark-shell和eclipse兩種方式

1、在伺服器(虛擬機器)spark-shell連線hive 1.1 將hive-site.xml拷貝到spark/conf裡 cp /opt/apache-hive-2.3.2-bin/conf/hive-site.xml /opt/spark-

SpringBoot學習:整合shiro身份認證許可權認證,使用EhCache快取

專案下載地址:http://download.csdn.NET/detail/aqsunkai/9805821 (一)在pom.xml中新增依賴: <properties> <shiro.version>1.3.2</shiro.ve

MongoDB 基礎安全性許可權操作

和其他所有資料庫一樣,許可權的管理都差不多一樣。mongodb儲存所有的使用者資訊在admin 資料庫的集合system.users中,儲存使用者名稱、密碼和資料庫資訊。mongodb預設不啟用授權認證,只要能連線到該伺服器,就可連線到mongod。若要啟用安全認證,需要更改

ios in-house 公布整個過程startssl認證

pri nload con popu ios 自己 連接 star 沒有 首先大體說一下步驟: 1。申請蘋果enterprise 賬號 為應用生成app id,provision profile等 詳見:http://www.th7.cn/Program/I

第十一章 springboot + mongodb簡單查詢

req all bool pan 可能 set 如果 創建 使用 1、mongodb在mac上的安裝 下載mongodb,https://www.mongodb.org/ 解壓縮到一個指定文件夾,如:/Users/enniu1/Desktop/zjg/mongodb

spark HelloWorld程序scala版

special hide dst tproxy top targe 提取 main read 使用本地模式,不需要安裝spark,引入相關JAR包即可: <dependency> <groupId>or

Spring MVC-視圖解析器View Resolverr-多重解析器Multiple Resolver示例轉載實踐

quest springmvc tab type elm utf servle err path 以下內容翻譯自:https://www.tutorialspoint.com/springmvc/springmvc_multiple_resolver_mapping.htm

windows7下MongoDBV3.4的使用及倉儲設計

nco string 存在 default 1.5 rem lec const 插入對象 簡單的介紹一下,我使用MongoDB的場景。 我們現在的物聯網環境下,有部分數據,采樣頻率為2000條記錄/分鐘,這樣下來一天24*60*2000=2880000約等於300萬條數據

Spark入門1WordCount實現

article sco ack 系列 .text col lines count sta 1 package com.test 2 3 4 import org.apache.spark.{SparkConf, SparkContext} 5 6 7

MongoDB課時4

god 3.4 font url 麻煩 info nbsp delete es2017 3.4 數據操作(重點) 只要是數據庫就絕對離不開最核心的功能:CRUD(增加Create、讀取查詢Retrieve、更新Update、刪除Delete),除了增加之外,其他都很麻煩,最

mongodb分片+副本集群

product idf targe res 數據庫 圖片 you 還需要 server2 mongodb是最常用的noSql數據庫,在數據庫排名中已經上升到了前五。這篇文章介紹如何搭建高可用的mongodb(分片+副本)集群。 在搭建集群之前,需要首先了解幾個概念:路由,分

AD證書導入文檔單向認證

ad證書 方法 com app 單向 用戶 1.7 服務 root AD證書或者SSL證書導入的方法步驟(在root用戶下操作) 1、 將證書命名為AD-PRO.cer,並確定證書頒發給SJZDC1.yiling.com。 2、 將/app/ad_cert/keysto

Spark筆記整理十二:日誌記錄與監控

提交 說明 默認 conf 分布 core view aps 版本 1 Standalone模式下 按照香飄葉子的文檔部署好完全分布式集群後,提交任務到Spark集群中,查看hadoop01:8080,想點擊查看某個已完成應用的歷史情況,出現下面的提示: Event log

Apache Shiro安全許可權框架學習筆記

簡介: Apache Shiro 是 Java 的一個安全(許可權)框架。• Shiro 可以非常容易的開發出足夠好的應用,其不僅可以用在JavaSE 環境,也可以用在 JavaEE 環境。• Shiro 可以完成:認證、授權、加密、會話管理、與Web 整合、快取等。• 下載:http://shiro.ap

netty報錯:遠端主機強迫關閉了一個現有的連線已解決

昨天,java 整合netty服務的專案,在測試伺服器上,發現了一個問題: 1.專案netty包版本:netty-all-5.0.0.Alpha1.jar。 2.問題的描述:伺服器啟動,各種通訊正常,執行一段時間,大概10分鐘後,這個問題就出現了,並且客戶端傳送上來的資料,不再收到回寫資

python學習之網站的編寫HTML,CSS,JS十七----------示例,構造一個網頁的框架,上部標題,登入,logo,左側選單,右側內容,原始碼

結果: 顏色為了明顯,所以較為難看,可以根據自己的需要進行更改 原始碼: <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title

python學習之網站的編寫HTML,CSS,JS十六----------示例,構造一個左側管理選單的功能,點選主選單才顯示下面的內容

結果: 程式碼: <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>逆水行舟不進則退</title>