1. 程式人生 > >Kettle處理檔案匯入到資料庫,對資料進行相應校驗,將校驗結果傳送郵件

Kettle處理檔案匯入到資料庫,對資料進行相應校驗,將校驗結果傳送郵件

工作中有這樣的需求
1. 資料規範化:
去空格、製表符、換行符、回車符、單引號(中文、英文)、雙引號(中文、英文)
根據郵箱生成登入名,登入名為@之前的內容
2. 資料校驗
根據集團提供的名單,按照以下幾個點校驗:
 空值:分為姓名、身份證、手機、郵箱
 重複:身份證、手機號、登入名、郵箱
 合法性校驗:手機號11位數字;身份證合法性校驗
 與系統資料校驗:
 手機號已使用、系統中的身份證為空或者數值與excel中的數值不一致;
 登入名已使用、系統中的身份證為空或者數值與excel中的數值不一致;
完成資料規範化,並將校驗通過的資料匯入到資料庫,將錯誤的資料匯出自動傳送郵件。
(1)首先對資料進行規範化,處理的excel第一列id有為空,根據約定,id為空不處理所以增加了過濾記錄的操作
流程如下:
這裡寫圖片描述


(2)
根據寫好的SQL完成資料的校驗
(SQL的結果集 通過流的 方式 輸出到excel裡)
流程如下:

這裡寫圖片描述
(3)
總排程實現資料匯入、校驗、錯誤傳送郵件、正確資料儲存在資料庫
流程如下:
這裡寫圖片描述

相關推薦

Kettle處理檔案匯入資料庫資料進行相應將校結果傳送郵件

工作中有這樣的需求 1. 資料規範化: 去空格、製表符、換行符、回車符、單引號(中文、英文)、雙引號(中文、英文) 根據郵箱生成登入名,登入名為@之前的內容 2. 資料校驗 根據集團提供的

Java操作Hbase進行建表、刪表以及資料進行增刪改查條件查詢

1、搭建環境   新建JAVA專案,新增的包有:    有關Hadoop的hadoop-core-0.20.204.0.jar    有關Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase資源包中li

C# dataGridView選中一行右鍵出現選單資料進行操作

1.為dataGridView繫結資料,設定資料選定一行this.dataGridView1.SelectionMode = DataGridViewSelectionMode.FullRowSelect;   //選中整行2.新增contextMenuStrip控制元件並繫

java導入excle表格並且表格進行相應的修改表格數據進行整理最後導出本地表格等一系列操作

對象 tabs stream span 指數 ring vat 14. int 1.首先創建一個java項目 2.導入以下jar包 3.代碼如下 public class auto_date { private static List<List<Strin

java導入excle表格並且表格進行相應的修改表格數據進行整理最後導出本地表格等一系列

new oid ace ava txt文件 輸入 lld 字符串 能量 1.首先創建一個java項目   完成效果如下圖所示 2.導入以下jar包 3.代碼如下   其中行和列的操作是根據需求自動劃分的 復制代碼1 public class auto_date {2 pri

資料庫讀取原始資料插入新表中處理原始資料的原則總結

在讀取原始資料的時候會有可能屬性名的名字與要建立的表的名字不符,這個時候就要為讀取到的資料重新命名屬性名。 如果資料中存在中文,還要宣告資料庫的編碼。 在原始表中可能會有重複資料,需要事先將重複資料進行刪除,然後再做其他處理。 在設定主鍵的時候會發現有些資料的主鍵相同,但是其他屬性值不同,需要對已經插入

Python從資料庫取數時間進行處理統計資料彙總後畫圖

#-*- coding: utf8 -*- import odbc import numpy as np import pylab as pl allDate = [] allData = [] if __name__ == '__main__': print("run success") a

java匯入excle表格並且錶格進行相應的修改錶格資料進行整理最後匯出本地表格等一系列操作

1.首先建立一個java專案 2.匯入以下jar包 3.程式碼如下   public class auto_date { private static List<List<String>> readExcel(File file) throws Exception

mysql資料庫字符集的修改以及表的字符集的修改以及將*.sql檔案匯入資料庫

一、我們需要將預設的字符集更改為utf-8來解決資料庫匯入資料的亂碼問題。 我們需要先檢視資料庫預設的字符集是什麼: show variables like 'character_set_%' 檢視所有的預設字符集 mysql> show variables like 'cha

處理資料資料取對數的意義

平時在一些資料處理中,經常會把原始資料取對數後進一步處理。 之所以這樣做是基於對數函式在其定義域內是單調增函式,取對數後不會改變資料的相對關係,取對數作用主要有: 1. 縮小資料的絕對數值,方便計算。 例如,每個資料項的值都很大,許多這樣的值進行計算可能對超過常用資料型別的取值範圍,這時

java匯入excle表格並且錶格進行相應的修改錶格資料進行整理最後匯出本地表格等一系列

1.首先建立一個java專案   完成效果如下圖所示 2.匯入以下jar包 3.程式碼如下   其中行和列的操作是根據需求自動劃分的 複製程式碼1 public class auto_date {2 private static List<List<String>> read

資料進行(置頂上移下移置底操作)---資料庫sql

這兩天一直在做社群論壇的帖子的(置頂,上移,下移,置底操作),下面是個人心得: -- 上一條:select * from 表 where 資料id<@當前顯示資料id order by 資料

關於tp3.2.3檔案匯入資料庫(去除重複資料)、寫日誌和下載問題

   假設我們有一個student.csv檔案和一個student庫,現在要將student.csv檔案匯入資料庫。1.關於去掉重複資料匯入資料庫的基本思路      (1)首先我們將student資料庫裡的學號(no)取出來,放在$arrNo數組裡。      (2)然後,

資料庫中取出資料存放到陣列中然後資料進行分類顯示

<table width="280" id="zhangdan_wenzi" > <?php //food_typ id 將id存到陣列中 $sqlfood = "SELECT food_type.id FROM food_type ";

用goquery從國家統計局拉取最新省市區3級行政區劃程式碼生成SQL檔案匯入資料庫

想找一份最新的省市區三級聯動的資料,網上的怕不夠新,不夠準確 正好用go從國家統計局官方網站爬一份,生成sql檔案,然後匯入資料庫 資料庫表結構 DROP TABLE IF EXISTS `3goals_area`; CREATE TABLE `3go

Python下的資料處理和機器學習資料線上及本地獲取、解析、預處理和訓練、預測、交叉驗證、視覺化

<!doctype html> <html> <head> <title>Example Domain</title> <meta charset="utf-8" /> <meta http-equiv=

mysql 查詢結果匯入檔案或excel 檔案匯入資料庫

查詢結果匯入檔案或excel 方法1 進入mysql伺服器中 select * from www limit 1000 into outfile '/xusy/www.xls'; 注意檔名外有單引號 如果方法1不行,當連線外部伺服器 方法2 直接進行操作 mysql

利用js-xlsx.js外掛實現Excel檔案匯入並解析Excel資料成json資料格式

<!--本文轉載於網路,有太多一樣的文章,不知道原作者是哪位了,就不註明出處了。這裡記載下來,用於自己的學習借鑑--><!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8">

使用php語句將資料庫*.sql檔案匯入資料庫

最簡單的php語句把資料庫*.sql檔案匯入資料庫  複製程式碼 程式碼如下: $sql=file_get_contents("text.sql"); //把SQL語句以字串讀入$sql  $a=explode(";",$sql); //用explode()函

java爬蟲之入門基礎 java讀取txt檔案字串進行操作後匯出txt檔案

相比於C#,java爬蟲,python爬蟲更為方便簡要,首先呢,python的urllib2包提供了較為完整的訪問網頁文件的API,再者呢對於摘下來的文章,python的beautifulsoap提供了簡潔的文件處理功能,這就成就了他爬蟲的優勢。 作為一名滿腦子要成為一名大牛的程式設計師小白來講,倒不是非要