1. 程式人生 > >幾個有用的python指令碼

幾個有用的python指令碼

1、通過pythony連線Hive執行Hql的指令碼
[[email protected] Py_logproc]$ cat py2hive.py 
#!/usr/bin/env python
import sys
sys.path.append('/home/spark/opt/hive-1.2.1/lib/py')
from hive_service import ThriftHive
from hive_service.ttypes import HiveServerException
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
def hiveExe(sql):
    try:
        transport = TSocket.TSocket('127.0.0.1', 10000) 
        transport = TTransport.TBufferedTransport(transport)
        protocol = TBinaryProtocol.TBinaryProtocol(transport)
        client = ThriftHive.Client(protocol)
        transport.open()
        client.execute(sql)
        print "The return value is : " 
        print client.fetchAll()
        print "............"
        transport.close()
    except Thrift.TException, tx:
        print '%s' % (tx.message)
if __name__ == '__main__':
    select_sql="select url_current from yemao1_log limit 100";
    hiveExe(select_sql)
   
2、通過python解析json資料並匯出成普通文字的指令碼
[[email protected] Py_logproc]$ cat json2file.py

相關推薦

有用python指令碼

1、通過pythony連線Hive執行Hql的指令碼 [[email protected] Py_logproc]$ cat py2hive.py #!/usr/bin/env python import sys sys.path.append('/home/spark/opt/hive-1.2.1

有用的bat指令碼

最近在測試資料生成與轉移的問題,下面這些bat指令碼對於測試非常有用。 1. 生成指定數量的txt檔案 @echo off set /p a=how many txt files you want: for /l %%i in (1,1,%a%) do (echo.>

Java的有用小Util函數(日期處理和http)

content lex .get get sta mmd 第幾天 service ret /** * 依據日期返回當前日期是一年的第幾天 * @param date * @return */ public stat

yum有用的參數

linux運維 yum學習京峰公開課Linux軟件管理的筆記yum provides rz查詢命令對應的軟件yum grouplist列出當前Linux已經安裝的功能yum groupinstall 參數安裝指定的groupyum幾個有用的參數

glibc的有用的處理二進制位的內置函數(轉)

res exec 就是 str 指向 nbsp using sig long long — Built-in Function: int __builtin_ffs (unsigned int x)Returns one plus the index of the leas

springboot中有用有用aware以及bean操作和數據源操作

pub art exception private exce 數據源 static ini sco 本文參考了: https://blog.csdn.net/derrantcm/article/details/76652951 https://blog.csdn.net/d

qq企業郵箱的有用的功能

郵件 http alt bsp 郵件通知 視頻 使用 企業 文件中 一、定時發送:(在必須發送,但又沒完全想好的情況下使用,如果到時沒有取消的理由自動發送給對方) 二、超大附件:(當需要傳送一些上G的文件,比如視頻時) 1)“上傳新聞件”按鈕為選擇本地文件

有用的jquery表單函式

//將JSON字串的值回填回表單 function loadData(obj) { /* var obj = eval("("+jsonStr+")"); */ var key, value, tagName, type, arr; for (x in

提高Python工作效率的內建小工具,不用是不是太浪費了?

在這篇文章裡,我們將會介紹4個Python直譯器自身提供的小工具。這些小工具在筆者的日常工作中經常用到,減少了各種時間的浪費,然而,卻很容易被大家忽略。 每當有新來的同事看到我這麼使用時,都忍不住感嘆,原來Python還隱藏了這麼好用的功能。下面就來看一下Python自帶的幾個小工具

隱式遊標的有用屬性

SQL%ROWCOUNT    受最近的SQL語句影響的行數 SQL%FOUND             最近的SQL語句是否影響了一行以上的 資料 SQL%NOTFOUND   

7測量Python指令碼和控制記憶體以及CPU使用率的技巧

當執行一個複雜的 Python 程式,它需要很長時間來執行。你或許想提升它的執行時間。但如何做? 首先,你需要工具來查明你程式碼的瓶頸,比如,那部分執行花費的時間長。用這個方法,你可以首先專注於提升這部分的速度。 而且,你也應該控制記憶體和 CPU 使用率,因為它可以為你指出的程式碼可以改進

git的有用的命令

初學者的很好網站:https://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000 (1)git init 確定倉庫 (2)git add 1.txt 新增到倉庫 git co

PHP程式設計師要知道的有用的PHP函式

PHP為PHP程式設計師提供了很多好用的函式,讓php程式設計師能民快速地完成程式的開發和除錯,看看這幾個php函式的用法,你知道嗎? 1. 記憶體使用情況 memory_get_usage() 注意程式的記憶體使用情況,能讓PHP程式設計師更好的優化自己的PHP程式。

有用的網路相關的命令

1、清空DNS快取輸入 ipconfig /flushdns 清空DNS快取。 用途:有時計算機無法上網的問題 2、重置TCP/IP堆疊的命令 netsh int ip reset命令 用途:一個損壞的路由表可以通過重置TCP/IP堆疊進行恢復。恢復真正的IP地址。 3、已

[Jenkins]詳解jenkins有用的外掛如何使用

findbugs使用方式: 目的:進行程式碼走查的自動化,能夠提示垃圾程式碼或者提供程式碼優化的建議 1.首先下載findbugs http://findbugs.sourceforge.net/downloads.html 2.其次在ant中配置findbugs http://www.51test

TOP20你用了Python人工智慧與機器學習開源專案

主要發現     相對於2016年的報告,2018年《Top 20 Python AI and

java 關於 timeZone 的有用方法

System.out.println( Arrays.toString( TimeZone.getAvailableIDs())); // 列印所有的時區id TimeZone.setDefault

PAT 1040 有PAT python (無超時)

1040 有幾個PAT(25)(25 分) 字串APPAPT中包含了兩個單詞“PAT”,其中第一個PAT是第2位(P),第4位(A),第6位(T);第二個PAT是第3位(P),第4位(A),第6位(T)。 現給定字串,問一共可以形成多少個PAT? 輸入格式

有用的Servlet過濾器

import javax.servlet.*;import javax.servlet.http.HttpServletResponse;import java.io.IOException;/** * 用於的使 Browser 不快取頁面的過濾器 */public clas

分享小小的python爬蟲供大家娛樂(人民日報要聞---to be continued )

-1-實現人民日報要聞的抓取 說明文件: 使用包 : lxml,requests,urllib2 起始url :人民日報主頁 爬取目標 :人民日報要聞 要聞連結 要聞標題 要聞時間 要聞來源 要聞內容 輸出格式: HTML表格檔案 思路 :