大資料中常用指令碼--解壓
1.解壓
tar –xvf file.tar //解壓 tar包
tar -xzvf file.tar.gz //解壓tar.gz
tar -xjvf file.tar.bz2 //解壓 tar.bz2
tar –xZvf file.tar.Z //解壓tar.Z
unrar e file.rar //解壓rar
unzip file.zip //解壓zip
2.壓縮
tar –cvf jpg.tar *.jpg //將目錄裡所有jpg檔案打包成tar.jpg tar –czf jpg.tar.gz *.jpg //將目錄裡所有jpg檔案打包成jpg.tar後，並且將其用gzip壓縮，生成一個gzip壓縮過的包，命名為jpg.tar.gz tar –cjf jpg.tar.bz2 *.jpg //將目錄裡所有jpg檔案打包成jpg.tar後，並且將其用bzip2壓縮，生成一個bzip2壓縮過的包，命名為jpg.tar.bz2 tar –cZf jpg.tar.Z *.jpg //將目錄裡所有jpg檔案打包成jpg.tar後，並且將其用compress壓縮，生成一個umcompress壓縮過的包，命名為jpg.tar.Z rar a jpg.rar *.jpg //rar格式的壓縮，需要先下載rar for Linux zip jpg.zip *.jpg //zip格式的壓縮，需要先下載zip for linux
3.總結
1、*.tar 用 tar –xvf 解壓
2、*.gz 用 gzip -d或者gunzip 解壓
3、*.tar.gz和*.tgz 用 tar –xzf 解壓
4、*.bz2 用 bzip2 -d或者用bunzip2 解壓
5、*.tar.bz2用tar –xjf 解壓
6、*.Z 用 uncompress 解壓
7、*.tar.Z 用tar –xZf 解壓
8、*.rar 用 unrar e解壓
9、*.zip 用 unzip 解壓相關推薦
大資料中常用指令碼--解壓
1.解壓tar –xvf file.tar //解壓 tar包 tar -xzvf file.tar.gz //解壓tar.gz tar -xjvf file.tar.bz2 //解壓 tar.bz
大資料中常用指令碼--awk
1.簡介1.1國際慣例按照國際慣例先來理論的介紹。awk是一個強大的文字分析工具，相對於grep的查詢，sed的編輯，awk在其對資料分析並生成報告時，顯得尤為強大。簡單來說awk就是把檔案逐行的讀入，以空格為預設分隔符將每行切片，切開的部分再進行各種分析處理。awk有3個不
大資料中常用的linux知識
1.mkdir和rmdir命令mkdir用於建立資料夾,建立資料夾時應確保與它所在的目錄下的沒有同名資料夾。mkdir A一次建立多個資料夾：mkdir B C D加上-p引數可以建立帶有子目錄的資料夾：mkdir -p dira/dirb/dirc刪除目錄：rmdir ab
大資料之hdfs詳解之三：put許可權剖析與常用命令
–無論是對於hdfs的讀和寫，對於使用者來說都是無感知的、透明的操作，使用者並不關心資料如何讀出來如何寫進去的，只要返回一個結果告訴使用者資料讀出來了或寫進去了，至於怎麼讀怎麼寫，使用者並不關心 補充： 讀：hdfs dfs -ls / = hdfs dfs
大資料中Connection Refused問題定位步驟
在我們安裝、啟動、重啟、使用大資料環境過程當中，經常遇到Connection Refused的錯誤。對於這種錯誤。首先要明確的是：這不是hadoop的bug，而是我們環境的問題。下面是具體的一些定位步驟。 第一步：檢查是否主機、IP或者埠配置錯誤 第二步：手動ping一下主機或者ip是否
Linux下常用壓縮解壓命令
tar 解包：tar xvf FileName.tar 打包：tar cvf FileName.tar DirName （注：tar是打包，不是壓縮！） .gz 解壓1：gunzip FileName.gz 解壓2：g
linux 常用壓縮解壓
tar -zxvf -zcvf tar.gz create x zip tar -jxvf -jcvf tar.bz2 create x jbz2 tar -Jxvf -Jcvf tar.xz create x Jxz zip -r xx.zip
Linux常用壓縮解壓命令
tar命令 解包：tar zxvf FileName.tar 打包：tar czvf FileName.tar DirName gz命令 解壓1：gunzip FileName.gz 解壓2：gzip -d FileName.gz 壓縮：gzip FileName .t
Linux下常用壓縮 解壓命令和壓縮比率對比
常用的格式有： tar, tar.gz(tgz), tar.bz2, 不同方式，壓縮和解壓方式所耗CPU時間和壓縮比率也差異也比較大。 tar 只是打包動作，相當於歸檔處理，不做壓縮；解壓也一樣，只是把歸檔檔案釋放出來。 (1)打包歸檔格式： tar -
大資料平臺常用元件埠號
常見埠彙總：Hadoop： 50070：HDFS WEB UI埠 8020 ： 高可用的HDFS RPC埠 9000 ： 非高可用的HDFS RPC埠8088 ： Yarn 的WEB UI 介面 8485 ： JournalNode 的RPC埠
大資料中，機器學習和資料探勘的聯絡與區別
資料探勘是從海量資料中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程。 資料探勘中用到了大量的機器學習界提供的資料分析技術和資料庫界提供的資料管理技術。 從資料分析的角度來看，資料探勘
大資料時代常用的幾類Key-Value(NoSQL)資料庫
在過去的十年中，計算世界已經改變。現在不僅在大公司，甚至一些小公司也積累了TB量級的資料。各種規模的組織開始有了處理大資料的需求，而目前關係型資料庫在可縮放方面幾乎已經達到極限。 一個解決方案是使用鍵值（Key-Value）儲存資料庫，這是一種NoSQL（非關係型資料庫）模
大資料中的Spark和Hadoop的區別
大資料開發中Spark和Hadoop作為輔助模組受到了很大的歡迎，但是Spark和Hadoop區別在哪？哪種更適合我們呢，一起了解一下它們之間的區別。 Hadoop還會索引和跟蹤這些資料，讓大資料處理和分析效率達到前所未有的高度。Spark，則是那麼一個專門用來
shell指令碼 解壓刪除 在壓縮
#建立資料夾 mkdir -p /tmp/jarDel/; rm -rf /tmp/jarDel/*; #找到jar mv /weblogic/gt3nf-service-gdslhbs/WEB-INF/lib/gov.chinatax.gt3nf-2* /tmp/jarDel/ ; #進入到目
大資料分析常用的工具有哪些（二）
在上篇文章中，筆者為大家介紹了幾種常用的大資料使用工具，而除了那些之外，還有一些在大資料中經常會用到的工具。接下來，就讓筆者繼續為大家介紹一下吧。 第三類，資料探勘類。 1.RapidMiner 這款工具主要就是用來對資料進行預測和分析的，其視覺化的介面，讓使用者不必再自行
大資料分析常用的工具有哪些（一）
眾所周知，現在大資料行業發展得十分火熱，而大資料也確實為我們的生活帶來了許多的便利。隨著大資料的不斷髮展，需求的不斷增多和提升，大資料的使用工具也變得更為重要，它們能讓大家節省更多的時間和金錢。 在大資料這一概念提出到現在的這十年間，市面上出現了各類的大資料使用工具，讓我們從中遴選
大資料中的貝葉斯學習
在大資料時代，種類多樣的科學與工程資料快速增加。由於物理環境的隨機性、資料噪聲、資訊不完全等因素的存在，大資料中具有普遍的不確定性。如何對大資料進行有效的不確定性建模和高效計算是機器學習面臨的重要挑戰。 貝葉斯方法自1763年提出以來，已有250多年的歷史，在人工智慧、機器學
大資料學習路線詳解，零基礎學大資料學習路線
在大資料蓬勃發展的現今，大家都看到了大資料未來不可限量的發展前景，跟著科技發展的潮流，不斷學習新的技術知識，科多大資料相信，成為人生贏家不在話下。 大資料的三個發展方向，平臺搭建/優化/運維/監控、大資料開發/設計/架構、資料分析/挖掘。 推薦下小編的大資料學習群；251956502，不管你
[跪求大神]大資料中的文字資料探勘問題，非結構化轉換問題
現有一個數據包，裡面有大量txt檔案，txt檔案裡儲存的是一家餐廳的基本資訊，以及客戶對其評價，包括的欄位如下： id：店鋪id name：店鋪名 name_all：店鋪全稱 star：平均評價分數 address：地址 tags：標籤 comment：一條評論 uid
大資料時代：9種從大資料中獲取商業價值的方法
很多大資料都是來自一些新的來源，這代表客戶或合作伙伴互動的新渠道。和任何新的資料來源一樣，大資料值得探索。通過資料探索，你可以瞭解一些之前所不知道的商業模式和事實真相。關於管理大資料的調查顯示，89%的受訪者認為大資料是一個機會，而在2011年的大資料分析的調查中這個比例僅為