《Python資料分析與挖掘實戰》筆記（一）：資料探勘基礎
一、資料探勘的基本任務
利用分類與預測、聚類分析、關聯規則、時序模式、偏差檢測、智慧推薦等方法，幫助企業提取資料中蘊含的商業價值，提升企業的競爭力。
二、資料探勘建模過程
定義挖掘目標：任務目標和完成效果
資料取樣：相關性、可靠性、有用性
資料探索：資料質量分析、資料特徵分析
資料預處理：資料篩選、資料變換、缺失值處理、壞資料處理、資料標準化，主成分分析、屬性選擇、資料規約等
挖掘建模：本次建模屬於哪一類問題，選擇哪種演算法建模
模型評價：選擇最好的模型
三、常用的資料探勘建模工具
SAS Enterprise Miner IBM SPSS Modeler SQL Server（Analysis Servers）相關推薦
Python資料分析與挖掘學習筆記（4）淘寶商品資料探索與清洗實戰
一、相關理論： 資料探索的核心： （1）資料質量分析（跟資料清洗密切聯絡） （2）資料特徵分析（分佈、對比、週期性、相關性、常見統計量等） 資料清洗的步驟： （1）缺失值處理（通過describe與len直接發現、通過0資料發現） （2）異常值處理（通過散點圖發現
Python資料分析與挖掘學習筆記（5）資料規範化與資料離散化實戰
一、相關理論： 1、資料規範化的常見方法： （1）離差標準化（最小-最大標準化）--消除量綱（單位）影響以及變異大小因素的影響。（最小-最大標準化） x1=（x-min）/（max-min） （2）標準差標準化--消除單
python資料分析與挖掘學習筆記（6）-電商網站資料分析及商品自動推薦實戰與關聯規則演算法
這一節主要涉及到的資料探勘演算法是關聯規則及Apriori演算法。 由此展開電商網站資料分析模型的構建和電商網站商品自動推薦的實現，並擴充套件到協同過濾演算法。 關聯規則最有名的故事就是啤酒與尿布的故事，非常有效地說明了關聯規則在知識發現和資料探勘中起的作用和意義。 其中有
Python資料分析與挖掘學習筆記（2）使用pandas進行資料匯入
一、匯入pandas模組： import pandas as pda 二、匯入CSV格式資料： #資料匯入 i=pda.read_csv("E:/hexun.csv") 可對匯入的資料進行統計以及按列排序： #統計 i.describe() #排序 i
python資料分析與挖掘學習筆記（3）_小說文字資料探勘part1
這一節主要是對小說文字資料的挖掘專案。 文字挖掘的一個重要的應用是進行站點的個性化推薦。將使用者感興趣的資訊推送給對應的使用者，可以更好地發揮該資訊的價值。比如，我們常常會在瀏覽網頁的時候看到相關的廣告是我們感興趣的，新聞推送的是我們感興趣的文章，閱讀小說推薦的是我們想看的
《Python資料分析與挖掘實戰》筆記（一）：資料探勘基礎
一、資料探勘的基本任務 利用分類與預測、聚類分析、關聯規則、時序模式、偏差檢測、智慧推薦等方法，幫助企業提取資料中蘊含的商業價值，提升企業的競爭力。 二、資料探勘建模過程 定義挖掘目標：任務目標和完
python資料分析與挖掘實戰筆記二：第99頁神經網路訓練出現的錯誤'Some keys in session_kwargs are not supported at this time: %s'
在使用神經網路模型預測銷量高低時，系統指出模型訓練時出現錯誤： ValueError Traceback (most recent call last) <ipython-input-20-e46e29b76a5e> in <module&g
『Python資料分析與挖掘實戰』第五章：挖掘建模
# coding:utf-8 """ logistic 迴歸， 自動建模 """ import pandas as pd # 引數初始化 filename = r"C:\learning\DataMining\Book\Python_DataMining\Data\cha
入門Python資料分析最好的實戰專案（一）分析篇
作者：xiaoyu 微信公眾號：Python資料科學 知乎：python資料分析 非經作者允許，禁止任何商業轉載。 目的：本篇給大家介紹一個數據分析的初級專案，目的是通過專案瞭解如何使用Python進行簡單的資料分析。 資料來源：博主通過爬蟲採集的鏈家全網北京二手
系統分析與設計學習筆記（一）
學習 掌握 應該 溝通 基本 最終 表示 對象 毫無 為什麽要學習這門課程？ “擁有一把錘子未必能成為建築師”。 這門課程學習的是面向對象分析和設計的核心技能的重要工具。對於使用面向對象技術和語言來，創建設計良好、健壯且可維護的軟件來說，這門課程所
Netty深入分析與Dubbo實戰解析（一）——網路程式設計模型介紹
Linux網路程式設計模型介紹 Linux核心將所有外部裝置都看作一個檔案來操作，對一個檔案的讀寫操作會呼叫核心提供的系統命令，返回一個file descriptor（fd，檔案描述符）。而對一個socket的讀寫也會有相應的描述符。描述符就是一個數字，它指向核心中的一個結構體（檔案路徑
極客講堂之資料結構與演算法之美（一）：複雜度分析（上）
（本文根據極客講堂——資料結構與演算法之美專欄的問答區整理修改而成，如有侵權還希望聯絡我鴨~） 一、什麼是複雜度分析？ 1.資料結構和演算法解決是“如何讓計算機更快時間、更省空間的解決問題”。 2.因此需從執行時間和佔用空間兩個維度來評估資料結構和演算法的效能。 3.分別
資料視覺化 三步走（一）：資料採集與儲存，利用python爬蟲框架scrapy爬取網路資料並存儲
前言 最近在研究python爬蟲，突然想寫部落格了，那就寫點東西吧。給自己定個小目標，做一個完整的簡單的資料視覺化的小專案，把整個相關技術鏈串聯起來，目的就是為了能夠對這塊有個系統的認識，具體設計思路如下： 1. 利用python爬蟲框架scr
C++閱讀筆記（一）：資料的輸入與輸出
資料的輸入與輸出 一.流的概念（stream） 定義：從源裝置到目標裝置的字元序列。 輸入流：指從輸入裝置流向記憶體的位元組序列（input stream）。 輸出流：指從記憶體流向輸出裝置的位元組序列（output stream）。 表示：cin：輸入流，co
Python3入門與進階筆記（一）：基本型別
Python的基本型別Number：數字int 和 float python3中的整型只有int，小數只有float.。type函式可以用來檢視型別。 /表示小數除法，例如2/2=1.0，type(2/2)是float。 //表示整數除法，
機器學習實戰教程（一）：線性回歸基礎篇（上）
學習 reg style spa 目標 pub auto 機器 輸入 一 什麽是回歸？ 回歸的目的是預測數值型的目標值，最直接的辦法是依據輸入，寫入一個目標值的計算公式。 假如你想預測小姐姐男友汽車的功率，可能會這麽計算： Ho
Python資料分析與挖掘實戰學習筆記（一）
資料預處理1. 資料清洗（1）缺失值處理三種方法：刪除記錄、資料插補、不處理常見插補方法：均值/中位數/眾數插補、使用固定值/期望值、迴歸方法（根據已有資料和其他與其有關變數等建立擬合模型來預測）、插值法（利用已知點建立合適的插值函式，如拉格朗日函式）我們以餐廳銷量資
《Python資料分析與挖掘實戰》筆記（五）：資料建模
分類與預測 主要分類與預測演算法 迴歸分析 確定預測值與其他變數關係。線性、非線性、Logistic、嶺迴歸、主成分迴歸等 決策樹 自頂向下分類 人工神經網路 用神經網路表示輸入與輸出之間的關係 貝葉斯網路 又稱信度網路，是不確定知識表達和推理領域最有效的理論模
Python資料分析與挖掘實戰（Pandas,Matplotlib常用方法）
作業系統：Windows Python：3.5 歡迎加入學習交流QQ群：657341423 上節講到資料分析和挖掘需要的庫，其中最主要的是Pandas,Matplotlib。 Pandas：主要是對資料分析，計算和統計，如求平均值，方差等。 Matplotl
《Python資料分析與挖掘實戰》第10章（上）——DNN
本文是基於《Python資料分析與挖掘實戰》的實戰部分的第10章的資料——《家用電器使用者行為分析與事件識別》做的分析。旨在補充原文中的細節程式碼，並給出文中涉及到的內容的完整程式碼；另外，原文中的資料處理部分排版先後順序個人感覺較為凌亂，在此給出梳理。在作者所給程式碼的基礎