1. 程式人生 > >《七週資料分析師》第七週:Python學習筆記

《七週資料分析師》第七週:Python學習筆記

Python作用:

1.利用Python寫指令碼

2.excel視覺化有效能瓶頸,需要Python來實現。

第七週所有環節:

  • Python的資料科學環境
  • Python基礎
  • Numpy和Pandas
  • 資料視覺化
  • 資料分析案例
  • 資料分析平臺(輕量級BI)

3.Numpy和pandas

1.Python groupby

mysql不支援分組排序

2.concat和merge

concat是強行耦合

merge,是有共同名,優先表進行耦合

3.多重索引

4.文字函式

填充空值,None需要用np.nan,c語言形式的控制

pd.dropna()去除所有還有空值的行

5.Python pandas apply

6.聚合 apply

7。pandas資料透視

輸出結果

7.python連線資料庫

import pymysql
import pandas as pd
from sqlalchemy import create_engine

conn=pymysql.connect(
    host='localhost',
    user='root',
    password='123456',
    db='data_kejilie',
    port=3306,
    charset='utf8'
) def reader(query,db): sql=query engine=create_engine('mysql+pymysql://root:[email protected]/{0}?charset=utf8').format(db)) df=pd.read_sql(sql,engine) return df cur.execute('select * from article_link ') cur.close() conn.commit()

相關推薦

資料分析師Python學習筆記

Python作用: 1.利用Python寫指令碼 2.excel視覺化有效能瓶頸,需要Python來實現。 第七週所有環節: Python的資料科學環境 Python基礎 Numpy和Pandas 資料視覺化 資料分析案例 資料分析平臺(輕量級BI)

csv模組學習Python學習筆記—CSV模組讀寫資料

CSV模組是Python的內建模組,直接import csv就可呼叫。csv模組主要就兩個函式:csv.reader()——讀取csv檔案資料,csv.writer()——寫入csv檔案資料。簡單實用。 一、讀取CSV 語法:csv.reader(iterable[,

玩轉資料結構——優先佇列和堆

內容概要: 什麼是優先佇列? 堆的基礎結構 向堆中新增元素Sift Up 從堆中取出元素和Sift Down Heapify和Replace 基於堆的優先佇列 LeetCode上優先佇列相關的問題 java中的PriorityQueue 和堆相關的更多話題和

資料分析 相關分析

相關分析是資料分析的一個基本方法,可以用於發現不同變數之間的關聯性,關聯是指資料之間變化的相似性,這可以通過相關係數來描述。發現相關性可以幫助你預測未來,而發現因果關係意味著你可以改變世界。  一,協方差和相關係數 如果隨機變數X和Y是相互獨立的,那麼協方差 Cov(X,Y) = E{ [X-E(X)]

資料結構 【專案1

問題及程式碼: /* *(1)目的是要測試“建立線性表”的演算法CreateList,為檢視建表的結果,需要實現“輸出線性表”的演算法DispList。在研習DispList中發現,要輸出線性表,還要判斷表是否為空,這樣,實現判斷線性表是否為空的演算法ListEmpty成為

資料結構次上機試驗——最短路徑

實驗內容與要求:        根據輸入的圖形,輸入起點和終點,求出最短路徑和最短路徑的長度。 具體步驟:        1. 編寫一段程式碼,接收鍵盤的輸入定點的數量,並以輸入的整數作為邊來建立圖形的鄰接矩陣(無向權重圖)。            例如:5 6 12

資料庫系統概念(機械工業出版社,版)複習——六章資料庫設計和E-R模型

E-R模型 實體-聯絡模型:Entity-Relationship Model E-R圖要點 實體(Entity) 客觀存在並可相互區分的事物叫實體(唯一標識)。 實體集(Entity Set) 是具有相同型別及共享相同性質(屬性)的實體集合。如全體學生。組成實體集的各實

作業系統概念(高等教育出版社,版)複習——十章檔案系統介面

第十章 檔案系統介面 基礎知識 檔案屬性 名稱,識別符號,型別,位置,大小,保護,時間、日期和使用者標誌。 檔案操作 建立檔案、寫檔案、讀檔案、在檔案內重定位、刪除檔案、截短檔案。 每個開啟檔案有如下

屆藍橋杯8題四平方和

四平方和 四平方和定理,又稱為拉格朗日定理: 每個正整數都可以表示為至多4個正整數的平方和。 如果把0包括進去,就正好可以表示為4個數的平方和。 比如: 5 = 0^2 + 0^2 + 1^2 + 2^2 7 = 1^2 + 1^2 + 1^2 + 2^2 (^符號表示乘方

筆記《高效能人士的個習慣》章 習慣四 雙贏思維——人際領導的原則

1、雙贏者把生活看作一個合作的舞臺,而不是一個角鬥場。一般人看事情多用二分法:非強即弱,非勝即敗。其實世界之大,人人都有足夠的立足空間,他人之得不必就視為自己之失。 一、人際交往的六種模式 1、雙贏不

作業系統概念(高等教育出版社,版)複習——五章CPU排程

第五章 CPU排程 基本概念 如果一種CPU排程方式將一個CPU執行期分割成多個CPU執行期,那麼這種排程方式就屬於搶先式排程(搶佔、剝奪)。在分時系統中。 如果一種CPU排程方式僅在一個程序執行完其一個CPU執行期時才引起程序排程,則這種排程方式屬於非搶先式排程(非搶佔、

【若澤大資料實戰天】MySQL在DBeaver上的使用

一、建立一張表: create table 資料庫名.表名(欄位 型別,……) 例如: create table ruozedata( id int, 

作業系統概念(高等教育出版社,版)複習——六章程序同步

第六章 程序同步 基礎知識 競爭條件 多個程序併發訪問和操作同一資料且執行結果與訪問發生的特定順序有關,稱為競爭條件。 原子操作(Atomic Operation): 指一個操作中的所有動作要麼全做,

哥說道》流水的需求,鐵打的程序員

wid 地方 最優 效果 isp andro .... 備註 其余 【轉載請註明】: 原文出處:https://www.cnblogs.com/jstarseven/p/10570047.html 作者:jstarseven 碼字挺辛苦的.....

併發系列64章(TPL 資料流)

前言 什麼是TPL?全稱:transmission control protocol 傳輸層對應於OSI七層參考模型的傳輸層,它提供兩種端到端的通訊服務。 然後思維方式回到為什麼有這個TPL 資料流上。 TPL 資料流庫向具有高吞吐量和低滯後時間的佔用大量 CPU 和 I/O 操作的應用程式的並行化和訊息傳遞

資料結構節(圖(中))

#圖(中) 在上一節的時候曾說過了圖的兩種遍歷方式,在這一節將使用他們做更深層的應用,研究從一個點到另一個點的最短距離。 ##最短路徑問題 ###單源無權圖的最短路徑 基本思想是,按照非遞減的順序,找出各個點的最短路。 很容易想到按照非遞減的順序,也就是優先從原點開始,不斷的計算與他相距最近的點的距離,整

Python學習筆記文件操作

dex enc 只讀 python nco 打印 如何 == continue 文件操作 對照一個word文件的操作方式,來體會文件操作的內容 打開文件:f=open(“file”),提示編碼錯誤,windows默認是GBK f=open(“file”,encoding=”

《Qt5 開發與實例(三版)》學習筆記

clu idg center ble mil detached pre tab etc 1 // 3.2 停靠窗口 QDockWidget類 2 setFeatures() 3 setAllowedAreas() 4 setWidget() 5 addDockW

python學習筆記之socket(天)

.cn 七天 就是 模塊 AR 操作 alt 分享圖片 python學習 參考文檔: 1、金角大王博客:http://www.cnblogs.com/alex3714/articles/5227251.html

玩轉資料結構——三章最基礎的動態資料結構連結串列

內容概括: 3-1.什麼是連結串列 3-2.在連結串列中新增元素 3-3.使用連結串列的虛擬頭結點 3-4.連結串列的遍歷,查詢和修改 3-5.從連結串列中刪除元素 3-6.使用連結串列實現棧 3-7.帶有尾指標的連結串列:使用連結串列實現佇列