Spark提供了local、standalone、on yarn等多種執行模式，但為了保持開發環境與實際執行環境的一致性，通常都是在本地編寫程式碼，然後編譯並上傳jar包到Spark叢集除錯執行。 但是面對複雜

開門見山，今天說說Hive！！！ 什麼是Hive Hive：由Facebook開源用於解決海量結構化日誌的資料統計。 Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的資料檔案對映為一張表

引語 大資料開發之路漫漫其修遠兮，吾將上下而求索。很多入門大資料的小夥伴，可能第一個接觸到的，就是一隻可愛的“小象”，也就是我們的大資料領域的資料倉庫工具hive。 這隻小象給我們提供了方便類SQL查

資料傾斜是一種很常見的問題（依據二八定律），簡單來說，比方WordCount中某個Key對應的資料量非常大的話，就會產生資料傾斜，導致兩個後果： OOM（單或少數的節點）； 拖慢整個Job

本文向您詳細介紹如何將 Hadoop Hive 資料遷移到阿里雲MaxCompute大資料計算服務上。 一、環境準備 1.1、Hadoop叢集環境 在進行 Hadoop Hive 資料遷移前，您需要

前言 MLSQL v1.2.0釋出時間距離上個版本v1.7.1.1 已經有接近3個月了。這次我們跳過了v1.1.8/v1.1.9 是因為我們會認為v1.2.0能作為第一個穩定版本（主要是MLSQL

建立表 首先看一個:chestnut: CREATE [EXTERNAL] TABLE [IF NOT EXISTS] `default`.`video_all`( `cuid` strin

前言 許可權控制，對於MLSQL而言的重要程度可以說是生命線。 MLSQL面對了各式各樣的資源（聯邦制），比如MySQL, Oracle,HDFS， Hive,Kafka,Sorl

如果表多，欄位多，通過命令列檢視就不方便了。連hive推薦使用，DbVisualizer配置還是挺簡單的。 1，配置/bigdata/hive/conf/hive-site.xml <proper

最近在做Hive的資料抽樣，基於以下考慮： 效率：資料量大的時候，可以給Hive 的使用者提供抽樣資料，供他們開發、測試，提高效率。 安全：有些場景，

一、知識梳理 1.1、背景表結構 在講解中我們需要貫串一個例子，所以需要設計一個情景，對應還要有一個表結構和填充資料。如下：有 3 個欄位，分別為 personId 標識某一個人，com

資料量過大，mysql支援不了。mysql只是個臨時方案，最終大資料搭建好了以後，還是需要把mysql的資料，匯入到hadoop中。 前面提到了另外一種匯入方式，請參考： sqoop

同事說spark-sql插入不了資料，讀取資料可以。寫會報以下錯誤 2019-02-20 19:12:40 INFO audit:371 - ugi=root ip=unknown-ip-addr cmd=

mysql的資料庫資料過大，做資料分析，需要從mysql轉向hadoop。 1，遇到的問題 從mysql轉資料到hive中，本想用parquet格式，但是一直都沒有成功，提示 Hive

hive是基於Hadoop的一個數據倉庫工具，可以將結構化的資料檔案對映為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行執行。 Metastore （h