1. 程式人生 > >python連線資料庫及操作資料庫

python連線資料庫及操作資料庫

在資料分析過程中往往要操作較大的資料集,這就需要連線資料庫進行操作

import pandas as pd
import numpy as np
from pandas import Series,DataFrame
from sqlalchemy import create_engine
import MySQLdb as msd
# 先自定義函式將表格寫入資料庫裡,以備操作過程中有些資料要寫入資料庫
def savetosql(DF,tablename):
    import pandas as pd
    from sqlalchemy import create_engine
    yconnect = create_engine('mysql+mysqldb://root:@127.0.0.1:3306/jing?charset=utf8')  
    pd.io.sql.to_sql(DF,tablename, yconnect, schema='jing', if_exists='append')  

注意:獲取一次sql物件就需要重新訪問一下資料庫(!!!)

# 讀取資料庫資料
engine = create_engine('mysql+pymysql://root:@127.0.0.1:3306/jing?charset=utf8')
sql = pd.read_sql('all_gzdata', engine, chunksize = 10000) # 由於資料量太大,使用chunksize進行控制分塊進行

# 獲取瀏覽一次的所有資料
f = counts1_[counts1_['realIP']==1]
del f[1]
f.columns = [u'點選次數']
f.index.name = 'realIP'
# g = [pd.merge(f,i[['fullURLId','fullURL','realIP']],right_on = 'realIP',left_index=True,how ='left') for i in sql]
g = [i[['fullURLId','fullURL','realIP']] for i in sql]
g = pd.concat(g)
h = pd.merge(f,g,right_on = 'realIP',left_index=True,how ='left')
h

Python操作資料庫


import MySQLdb as msd # 注意py2.7是mysqldb,python3是pymysql
# connect()方法用於建立資料庫的連線,裡面可以指定引數:使用者名稱、密碼、主機等資訊
conn = msd.connect(
    host = 'localhost',
    port = 3306,
    user = 'root',
    passwd = '',#資料庫密碼
    db = 'jing',# 資料庫名
)
# 通過獲取到的資料庫連線conn下的cursor()方法來建立遊標
cur = conn.cursor()

# 通過遊標cur操作execute()方法可以寫入純sql語句,操作資料庫
# 建立表
cur.execute('create table student(id int, name varchar(20), class varchar(20), age varchar(10))')

# 插入一條資料
cur.execute("insert into student values('2','gege','class 2 grade 3','20')")
cur.execute("insert into student values('2','bob','class 2 grade 5','21')")
# 修改查詢條件的資料
cur.execute("update student set class = 'class 2 grade 5' where name='bob'")

# 刪除查詢條件的資料
cur.execute("delete from student where age='9'")
# cur.execute("drop table student3,student4,student5,student6")


cur.close() # 關閉遊標
conn.commit() # 提交事務,向資料庫插入資料時一定要加這句話,否則不會真正插入
conn.close()# 關閉資料庫連線

相關推薦

python連線資料庫操作資料庫

在資料分析過程中往往要操作較大的資料集,這就需要連線資料庫進行操作import pandas as pd import numpy as np from pandas import Series,Dat

Scala實戰—連線oraclemysql資料庫

作者:WenWu_Both 出處:http://blog.csdn.net/wenwu_both/article/ 版權:本文版權歸作者和CSDN部落格共有 轉載:歡迎轉載,但未經作者同意,必須保留此段宣告;必須在文章中給出原文連結;否則必究法律責任 Scala連線oracle

python訪問OracleMysql資料庫

# !/usr/local/python# -*- coding: utf-8 -*-import cx_Oracleimport pymysql# --------oracle連結資料庫----------------------------student1 = {'id': 1011,

Delphi通過ADO連結資料庫資料庫的增加,刪除,修改,讀取操作例項教程4

ADO是一種程式物件,用於表示使用者資料庫中的資料結構和所包含的資料。ADO(ActiveXDataObjects,ActiveX資料物件)是Microsoft提出的應用程式介面(API)用以實現訪問關... 7) ServerName    指定業務物件,即需要初始

python多執行緒操作資料庫問題

python多執行緒併發操作資料庫,會存在連結資料庫超時、資料庫連線丟失、資料庫操作超時等問題。解決方法:使用資料庫連線池,並且每次操作都從資料庫連線池獲取資料庫操作控制代碼,操作完關閉連線返回資料庫連線池。*連線資料庫需要設定charset = 'utf8', use_un

spring配置mysql資料庫資料庫操作

applicationContext.xml <bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">              &

Asp.net中Web.config連線字串配置資料庫sqlserver,詳細

近日正在看Asp.net,看到Web.config有很不清楚之處,特意從網路、MSDN蒐集、歸納和整理,供大家分享。在ASP.NET的web.config中,可以用兩種方式來寫連線字串的配置。<configuration> <appSettings&g

Asp.net中Web.config連線字串配置資料庫sqlserver

近日正在看Asp.net,看到Web.config有很不清楚之處,特意從網路、MSDN蒐集、歸納和整理,供大家分享。 在ASP.NET的web.config中,可以用兩種方式來寫連線字串的配置。 <configuration> <appSettin

建立新資料庫修改資料庫內容

1.切換到odoo使用者 su - odoo -s /bin/bash 2. 建立新資料庫 createdb v8dev 3. 初始化資料庫,並配置odoo資料模式 chmod +x odoo: odoo.py(可選,增加檔案的執行許可權) ./odoo.py -d v8

python連線mongodb並操作

1、mongodb安裝 pip install pymongo 2、基本操作 建立連線 >>> import pymongo >>> client = pymongo.MongoClient() 切換資料庫 >>> d

程式碼生成資料庫更新資料庫:Entity Framework first code(http://www.cnblogs.com/haogj/archive/2012/02/17/2356537.ht

準備工作 在開始之前,我們需要一個專案,以及一個 Code First 的模型,對於這次演示,我們使用典型的部落格 Blog 和回覆 Post 模型。 1. 建立新的  MigrationsCodeDemo 控制檯應用程式 2. 為專案新增最新版本的 Entity

關係型資料庫oracle資料庫簡介

一、關係型資料庫簡介 1、關係模型 (1)1970年美國IBM公司研究員E.F.Codd首次提出了資料庫系統的關係模型,開創了資料庫的關係方法和關係資料理論的研究,為資料庫技術奠定了理論基礎。由於E.F.Codd的傑出工作,他於1981年獲得ACM圖靈獎。 (2)20世紀80年代以來,計

Python資料型別操作

Python資料型別及操作 python資料型別:number,string,list,set,dict,tuple 列表 list 索引從 0 開始 格式:list_ = [1, "a", True, None, 5] 可用for迴圈、while迴圈遍歷、len()檢視列表長度

Python 字典型別操作

1、字典型別定義   (1)、理解“對映”         - 對映是一種鍵(索引)和值(資料)的對應   (2)、字典型別是“對映”的體現          - 鍵值對:鍵是資料索引的擴充套件         - 字典是鍵值對的集合,鍵值對之間無序         - 採用

Python 序列型別操作

1、序列型別定義  (1)、序列是具有先後關係的一組元素          - 序列是一維元素向量,元素型別可以不同         - 類似數學元素序列: s0, s1, … , sn-1         - 元素間由序號引導, 通過下標訪問序列的特定元素   (2)、序列

SSH遠端連線原理操作詳解

首先,SSH是目前較為可靠,建立在應用層和傳輸層基礎上的,專為遠端登入會話和其他網路服務提供安全性。利用SSH可以有效防止遠端管理過程中的資訊洩漏問題。通過SSH,可以把所有傳輸的資料進行加密,而且SSH還有一個額外的好處就是傳輸的資料是經過加密處理的,所以可以加快傳輸的速度。SSH還有其他的很多功能,他既可

python連線MongoDB資料庫方法增刪改查等操作小結。

Y9   建議安裝MongoDB視覺化工具“Robo 3T”,可以很直觀的看到對MongoDB操作後的資料。 1、‘Robo 3T’的安裝,網上很多途徑可下載,在此分享我使用的版本: 連結:https://pan.baidu.com/s/1EcjmUVkXz1GQeTXy2fMk

JDBC資料庫連線連線資料庫資料庫操作DAO層設計通用更新查詢方法(二)

上篇文章主要介紹了通過資料庫連線池連線資料庫,然後設計了對資料庫通用更新和查詢方法,本篇文章主要通過例項介紹上篇文章定義的對資料庫操作的幾個方法的使用:     首先我們先在資料庫建立一個學生資訊表Student欄位如圖: 建立好表將配置檔案的資訊改好然後需要建立一

JDBC資料庫連線連線資料庫資料庫操作DAO層設計通用更新查詢方法(一)

該篇文章介紹了資料庫連線池獲取資料庫連線以及資料庫操作的基本使用,然後主要提供了java專案案例中dao層的一種設計,利用反射的原理定義了通用的查詢方法可以對應所有的表和例項。文章中的每段程式碼都提供了詳細的註釋及邏輯步驟 首先匯入資料庫連線的所需要的jar包:    

【專案實戰】:python:MongoDB資料庫操作練習

python:MongoDB資料庫的操作及練習 import pymongo class MongodbConn(object): def __init__(self): self.CONN = pymongo.MongoClient("mongodb:/