1. 程式人生 > >jdbc大資料處理

jdbc大資料處理

一:大資料也稱為LOF(Large Object),LOB又可分為clob和blob,clob用於儲存大文字,blob用於儲存二進位制資料。

二:在mysql中,只有blob和Text。

Text又可分為TINYTEXT,TEXT,MEDIUMTEXT和LONGTEXT

blob又可分為TINYBLOB,BLOB,MEDIUMBLOB和LONGBLOB

三:使用jdbc處理大文字時

1將大文字存入資料庫:PreparedStatement.setCharacterStream(index,reader,lenght);注意lenght必須設定為int

2從mysql中讀取大文字:

reader = resultSet.getCharacterStream(i);

reader = resultSet.getClob(i).getCharacterStream();

String s = resultSet.getString();

3:二進位制資料的存取和讀取相似。

四:Oracle定義了一個BLOB欄位用於儲存二進位制資料,但這個欄位並不能存放真正的二進位制資料,只能向這個欄位存一個指標,然後把資料放到指標所指向的Oracle的LOB段中, LOB段是在資料庫內部表的一部分。

因而在操作Oracle的Blob之前,必須獲得指標(定位器)才能進行Blob資料的讀取和寫入。

如何獲得表中的Blob指標呢? 可以先使用insert語句向表中插入一個空的blob(呼叫oracle的函式empty_blob() ),這將建立一個blob的指標,然後再把這個empty的blob的指標查詢出來,這樣就可得到BLOB物件,從而讀寫blob資料了。

1、插入空blob
insert into test(id,image) values(?,empty_blob());

2、獲得blob的cursor
select image from test where id= ? for update;
Blob b = rs.getBlob(“image”);

•注意: 須加for update,鎖定該行,直至該行被修改完畢,保證不產生併發衝突。

3、利用 io,和獲取到的cursor往資料庫讀寫資料

l注意:以上操作需開啟事務。

相關推薦

jdbc資料處理

一:大資料也稱為LOF(Large Object),LOB又可分為clob和blob,clob用於儲存大文字,blob用於儲存二進位制資料。 二:在mysql中,只有blob和Text。 Text又可分為TINYTEXT,TEXT,MEDIUMTEXT和LONGTEXT

JDBC(6)mysql中的資料處理

免費錄播jdbc視訊 JDBC操作 驅動可以不註冊 * 可以省略 Class.forName(driver); (高版本) * 原因:mysql-connector-java-5.1.22-bin.ja

DKhadoop資料處理平臺監控資料介紹

標題:DKhadoop大資料處理平臺監控資料介紹 2018年國內大資料公司50強榜單排名已經公佈了出來,大快以黑馬之姿闖入50強,並摘得多項桂冠。Hanlp自然語言處理技術也榮膺了“2018中國資料星技術”獎。對這份榜單感興趣的可以找一下看看。本篇承接上一篇《DKM平臺監控引數說明》,繼續就

淺談資料處理

剛接觸大資料處理,將大資料處理的框架記錄下來,之後深入的研究。 大資料處理的必要性 目前網際網路中資料的數量正在飛速的增長,首先是G為單位,然後是T級別、P級別、E級別。資料雖然很多,但是我們往往只慣性我們感興趣的那一部分,因此我們需要對海量資料進行處理獲取有價值的資訊來為我們所用。比如

資料處理神器map-reduce實現(僅python和shell版本)

熟悉java的人直接可以使用java實現map-reduce過程,而像我這種不熟悉java的怎麼辦?為了讓非java程式設計師方便處理資料,我把使用python,shell實現streaming的過程,也即為map-reduce過程,整理如下: 1.如果資料不在hive裡面,而在

Hadoop Streaming 做資料處理詳解

-------------------------------------------------------------------------- 以下內容摘自寒小陽老師大資料課程內容 -----------------------------

最主流的五個資料處理框架的優勢對比

我深入分析了五個大資料處理框架:Hadoop,Spark,Flink,Storm,Samaza Hadoop 頂尖的框架之一,大資料的代名詞。Hadoop,MapReduce,以及其生態系統和相關的技術,比如Pig,Hive,Flume,HDFS等。Hadoop是第一個,在工業

Python資料處理庫PySpark實戰

https://cloud.tencent.com/developer/article/1096712 Spark的安裝和使用(Python版) http://dblab.xmu.edu.cn/blog/1689-2/ https://blog.csdn.net/qq_14959801/

資料處理——雙層桶

轉載:http://diducoder.com/mass-data-topic-6-multi-dividing.html 【什麼是雙層桶】 事實上,與其說雙層桶劃分是一種資料結構,不如說它是一種演算法設計思想。面對一堆大量的資料我們無法處理的時候,我們可以將其分成一個個小的單元,

資料處理——tire樹

網上的資料較多,良莠不齊,特此找到了幾篇講的清楚,講的有邏輯性的博文,記錄下來,方便自己以後查閱 講原理比較清楚的 https://www.cnblogs.com/moonandstar08/p/5525344.html 講應用比較清楚的 http://dongxicheng.o

資料處理為何選擇Spark,而不是Hadoop

一.基礎知識1.SparkSpark是一個用來實現快速而通用的叢集計算的平臺。在速度方面,Spark擴充套件了廣泛使用的MapReduce計算模型,而且高效地支援更多計算模式,包括互動式查詢和流處理。Spark專案包含多個緊密整合的元件。Spark的核心是一個對由很多計算任務組成的、執行在多個工作機器或者是一

(轉)資料處理之道(十分鐘學會Python)

轉自:http://blog.csdn.net/u010700335/article/details/42025391,如侵刪 (0)目錄 快速學Python 和 易犯錯誤(文字處理) Python文字處理和Java/C比對 十分鐘學會Python的基本型別 快速學會Python(

從Storm到Flink:資料處理的開源系統及程式設計模型(文末福利)

本文節選自CCF大資料教材系列叢書之《大資料處理》,本書由華中科技大學金海教授主編,包括大資料處理基礎技術、大資料處理程式設計與典型應用處理、大資料處理系統與優化三個方面。本教材以大資料處理程式設計為核心,從基礎、程式設計到優化等多個方面對大資料處理技術進行系統介紹,使得讀者能

資料演算法:Hadoop_Spark資料處理技巧》艾提拉筆記.docx 第1章二次排序:簡介 19 第2章二次排序:詳細示例 42 第3章 Top 10 列表 54 第4章左外連線 96 第5

《資料演算法:Hadoop_Spark大資料處理技巧》艾提拉筆記.docx       第1章二次排序:簡介 19 第2章二次排序:詳細示例 42 第3章 Top 10 列表 54 第4章左外連線 96 第5章反轉排序 127 第6章

資料處理技術如何學習?

首先我們要學習Python語言和Linux作業系統,這兩個是學習大資料的基礎,學習的順序不分前後。 Python:Python 的排名從去年開始就藉助人工智慧持續上升,現在它已經成為了語言排行第一名。 從學習難易度來看,作為一個為“優雅”而生的語言,Python語法簡捷而

探索Greenplum的實踐,瞭解新一代資料處理利器

作者:李樹桓 個推資料研發工程師 前言:近年來,網際網路的快速發展積累了海量大資料,而在這些大資料的處理上,不同技術棧所具備的效能也有所不同,如何快速有效地處理這些龐大的資料倉,成為很多運營者為之苦惱的問題!隨著Greenplum的異軍突起,以往大資料倉庫所面臨

0基礎搭建Hadoop資料處理-程式設計

Hadoop的程式設計可以是在Linux環境或Winows環境中,在此以Windows環境為示例,以Eclipse工具為主(也可以用IDEA)。網上也有很多開發的文章,在此也參考他們的內容只作簡單的介紹和要點總結。 Hadoop是一個強大的並行框架,它允許任務在

多路歸併 資料處理

問題描述: 輸入:給定一個檔案,裡面最多含有n個不重複的正整數(也就是說可能含有少於n個不重複正整數),且其中每個數都小於等於n,n=10^7。 輸出:得到按從小到大升序排列的包含所有輸入的整數的列表。 條件:最多有大約1MB的記憶體空間可用,但磁碟空間足夠。且要求執行時間

資料處理技術的總結和分析

資料分析處理需求分類 1 事務型處理 在我們實際生活中,事務型資料處理需求非常常見,例如:淘寶網站交易系統、12306網站火車票交易系統、超市POS系統等都屬於事務型資料處理系統。 這類系統資料處理特點包括以下幾點: 一是事務處理型操作都是細粒度操作,每次事務處

一共81個,開源資料處理工具彙總(下)

日誌收集系統   一、Facebook Scribe   貢獻者:Facebook   簡介:Scribe是Facebook開源的日誌收集系統,在Facebook內部已經得到大量的應用。它能夠從各種日誌源上收集日誌,儲存到一箇中央儲存系統(可以是NFS,分散式檔案系