2. 程式人生 > >python+requests+ 爬取官網雙色球開獎資料

python+requests+ 爬取官網雙色球開獎資料

阿新 • • 發佈：2018-12-18

python+requests+mysql 爬取官網雙色球開獎資料

分析網頁資料獲取方式

第一種查詢方式

第二種查詢方式

注意：連結直接點過去的話是看不到任何東西的，服務端應該設定了某種 Referrer Policy
這個坑困擾了我有一陣 剛入坑python爬蟲就遇到這種棘手的問題
我並沒有從豆瓣爬蟲開始練起 而是找了一個需要的資料的連結開始爬
雖然會遇到更多的坑 但與此同時 在解決這些問題的過程中 也能學到更多的東西
這個問題經過反覆對比請求頭 終於發現了問題：
請求頭中不帶referrer資訊的話 是拿不到任何資料的
這裡可以對比兩次請求的請求頭來看

圖1 是成功拿到資料的請求頭
在這裡插入圖片描述


圖2 無任何資料返回
在這裡插入圖片描述
先簡單拿到部分資料看一下

url= 'http://www.cwl.gov.cn/cwl_admin/kjxx/findDrawNotice?name=ssq&issueStart=2018001&issueEnd=2018003'
      
        res = requests.get(url)
        print(res.text)

這樣寫的話 對於某些 連結是有效的 開始什麼資料都拿不到 確實很讓人迷惑
先開始想 是不是沒有加user-agent???
空想無用 嘗試驗證一下 這裡在請求頭中 加上user-angent試試
程式碼如下

url= 'http://www.cwl.gov.cn/cwl_admin/kjxx/findDrawNotice?name=ssq&issueStart=2018001&issueEnd=2018003'
        headers = {
                    'User - Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 70.0.3538.77 Safari / 537.36'

        }
        res = requests.
 
get(url, headers=headers)
        print(res.text)

還是拿不到 資料 那就不只是user-angent的問題了
就像上面說的 通過反覆對比請求頭 最後終於解決了問題

url= 'http://www.cwl.gov.cn/cwl_admin/kjxx/findDrawNotice?name=ssq&issueStart=2018001&issueEnd=2018003'
        headers = {
            'Referer': 'http://www.cwl.gov.cn/kjxx/ssq/kjgg/',
        }
        res = requests.get(url, headers=headers)
        print(res.text)

再次嘗試 ，結果不需要加user-angent 也可以，最終正常拿到資料的程式碼如上
現在可以簡單拿到回傳的資料了

為了好分析 這裡先拿兩期資料下來分析一下
拿到的資料如下：

{
	'state': 0,
	'message': '查詢成功',
	'pageCount': 1,
	'countNum': 2,
	'Tflag': 1,
	'result': [{
		'name': '雙色球',
		'code': '2014004',
		'detailsLink': '/c/2014-01-09/384956.shtml',
		'videoLink': '',
		'date': '2014-01-09(四)',
		'week': '四',
		'red': '01,04,19,22,24,25',
		'blue': '15',
		'blue2': '',
		'sales': '373155800',
		'poolmoney': '201488460',
		'content': '北京1注,安徽1注,山東2注,廣東1注,共5注。',
		'addmoney': '',
		'addmoney2': '',
		'msg': '',
		'z2add': '',
		'm2add': '',
		'prizegrades': [{
			'type': 1,
			'typenum': '5',
			'typemoney': '9580091'
		}, {
			'type': 2,
			'typenum': '113',
			'typemoney': '303988'
		}, {
			'type': 3,
			'typenum': '1035',
			'typemoney': '3000'
		}, {
			'type': 4,
			'typenum': '56508',
			'typemoney': '200'
		}, {
			'type': 5,
			'typenum': '1166507',
			'typemoney': '10'
		}, {
			'type': 6,
			'typenum': '8454477',
			'typemoney': '5'
		}, {
			'type': 7,
			'typenum': '',
			'typemoney': ''
		}]
	}, {
		'name': '雙色球',
		'code': '2014003',
		'detailsLink': '/c/2014-01-07/384933.shtml',
		'videoLink': '',
		'date': '2014-01-07(二)',
		'week': '二',
		'red': '06,10,11,28,30,33',
		'blue': '12',
		'blue2': '',
		'sales': '363993362',
		'poolmoney': '169237320',
		'content': '內蒙古1注,江蘇2注,福建1注,四川1注,貴州1注,共6注。',
		'addmoney': '',
		'addmoney2': '',
		'msg': '',
		'z2add': '',
		'm2add': '',
		'prizegrades': [{
			'type': 1,
			'typenum': '6',
			'typemoney': '7804024'
		}, {
			'type': 2,
			'typenum': '147',
			'typemoney': '171674'
		}, {
			'type': 3,
			'typenum': '1778',
			'typemoney': '3000'
		}, {
			'type': 4,
			'typenum': '85239',
			'typemoney': '200'
		}, {
			'type': 5,
			'typenum': '1536591',
			'typemoney': '10'
		}, {
			'type': 6,
			'typenum': '11297659',
			'typemoney': '5'
		}, {
			'type': 7,
			'typenum': '',
			'typemoney': ''
		}]
	}]
}

這裡的資料是以json格式回傳的 ， 這樣也免了從頁面中匹配需要的資料
只需要從json中拿到我們需要的資料就可以了， 這裡先分析一下回傳的資料

'state': 0,
	'message': '查詢成功',
	'pageCount': 1,
	'countNum': 2,
	'Tflag': 1,
	'result': [{

state欄位 是查詢狀態欄位 ，0就代表返回的json中有資料
result欄位中就包含了我們需要的資料

result': [{
		'name': '雙色球',
		'code': '2014004',
		'detailsLink': '/c/2014-01-09/384956.shtml',
		'videoLink': '',
		'date': '2014-01-09(四)',
		'week': '四',
		'red': '01,04,19,22,24,25',
		'blue': '15',
		'blue2': '',
		'sales': '373155800',
		'poolmoney': '201488460',
		'content': '北京1注,安徽1注,山東2注,廣東1注,共5注。',
		'addmoney': '',
		'addmoney2': '',
		'msg': '',
		'z2add': '',
		'm2add': '',
	'prizegrades': [{
			'type': 1,
			'typenum': '5',
			'typemoney': '9580091'
		}, {
			'type': 2,
			'typenum': '113',
			'typemoney': '303988'
		}, {
			'type': 3,
			'typenum': '1035',
			'typemoney': '3000'
		}, {
			'type': 4,
			'typenum': '56508',
			'typemoney': '200'
		}, {
			'type': 5,
			'typenum': '1166507',
			'typemoney': '10'
		}, {
			'type': 6,
			'typenum': '8454477',
			'typemoney': '5'
		}, {
			'type': 7,
			'typenum': '',
			'typemoney': ''
		}]

prizegrades 欄位中是中獎的 等級、注數 以及獎金數額（content欄位是一等獎中獎者的分佈）

這裡還需要注意下 沒有第7等的獎項，所以這裡是空的，插入資料庫的時候要注意一下

 {
			'type': 7,
			'typenum': '',
			'typemoney': ''
		}]

需要的資料有 紅、藍球號碼 、開獎時間、期號、賣出時間 、獎池金額以及中獎情況的明細資料

完整程式碼

分析完了 開始碼程式碼
資料庫採用的是mysql

import requests
import json
import time
import mysql.connector

class Lottery(object):

    def __init__(self):
        self.db = mysql.connector.connect(
            host = 'localhost',
            user = 'root',#你的mysql 使用者名稱
            passwd = '',#你的mysql 密碼
            database = 'lottery'
        )
        self.cursor = self.db.cursor()
        self.baseUrl = "http://www.cwl.gov.cn/cwl_admin/kjxx/findDrawNotice?name=ssq"
        self.headers = {
            'Referer': 'http://www.cwl.gov.cn/kjxx/ssq/kjgg/',
                    }
        self.session = requests.Session()
        # 定義起止期號 以及資料間隔期數
        self.lastIssue = 157
        self.firstIssue = 1
        self.page = 50
   

#傳入int 型別的期號 返回期號str  處理期號  返回三位期號
    def getIssueStr( self,issue):
        issue = int(issue)
        isStr = ''
        if issue == 0:
            return '001'

        if issue < 10:
            isStr = '00' + str( issue )
        if issue <100 and issue >= 10:
            isStr = '0' + str(issue)
        if issue >= 100 and issue <self.lastIssue:
            isStr = str(issue)
        if issue > self.lastIssue:
            return str(self.lastIssue)
        return isStr

    #獲取目標url
    def getUrl(self, year, startIssue, lastIssue):
        endIssue = self.getIssueStr(lastIssue)
        Url = self.baseUrl + '&issueStart='+ str(year) +\
              self.getIssueStr(startIssue)+'&issueEnd='+ str(year) + endIssue
        print("Url:", Url)
        return Url

    def getResponse(self, url):
        response = requests.get(url,headers=self.headers)
        if response.status_code != 200:
            return 'error'
        else:
            return response

    def run(self):
        list = range(2013, 2015) # 生成年份 官網只有從13年開始的資料  注意range函式的邊界值
        #這裡時間跨度三年左右不會有問題 結束年為19年 傳入2018的話  不會包括18年的資料
        issueList = range(self.firstIssue, self.lastIssue, self.page + 1)#生成期號
        data = ''
        for year in list:
            for issue in issueList:
                data = self.getResponse( self.getUrl(year,issue,issue+self.page))
                if data == 'error':
                    print("response error")
                    continue
                else:
                    self.saveData(data)
                    time.sleep(5)




    def saveData(self,response):
        res = json.loads(response.text)
        resultList = res['result']
        state = res['state']
        if int(state) != 0:
            print("無資料")
            return
        for result in resultList:
            code = result['code']
            date = result['date']
            redballs = result['red']
            blueball = result['blue']
            sales = result['sales']
            poolmoney = result['poolmoney']
            content = result['content']
            prizegrades = result['prizegrades']#中獎資訊列表
            for pri in prizegrades:
                type = pri['type']
                typenum = pri['typenum']
                typemoney = pri['typemoney']
                if int(type) == 7:#該欄位資料為空 沒有該獎項 跳過
                    continue
                self.cursor.execute('insert into bingo (code,level,num,money) VALUES (%s,%s,%s,%s)',(code,int(type),int(typenum),typemoney))
            self.cursor.execute('insert into base (code,redballs,blueball,date,sales,poolmoney,content) VALUES (%s,%s,%s,%s,%s,%s,%s)',(code,redballs
                                 ,blueball,date,int(sales),int(poolmoney),content))
            self.db.commit()


if __name__ == '__main__':
    lottery = Lottery()
    lottery.run()

資料庫指令碼

/*
Navicat MySQL Data Transfer

Source Server         : 127.0.0.1_3306
Source Server Version : 80011
Source Host           : 127.0.0.1:3306
Source Database       : lottery

Target Server Type    : MYSQL
Target Server Version : 80011
File Encoding         : 65001

Date: 2018-11-01 16:44:33
*/

SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------
-- Table structure for base
-- ----------------------------
DROP TABLE IF EXISTS `base`;
CREATE TABLE `base` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `code` varchar(50) NOT NULL,
  `redballs` varchar(50) NOT NULL,
  `blueball` varchar(5) NOT NULL,
  `date` varchar(50) NOT NULL,
  `sales` int(11) NOT NULL COMMENT '總銷售額',
  `poolmoney` int(11) NOT NULL COMMENT '獎池',
  `content` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=897 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

-- ----------------------------
-- Table structure for bingo
-- ----------------------------
DROP TABLE IF EXISTS `bingo`;
CREATE TABLE `bingo` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `code` varchar(255) NOT NULL,
  `level` tinyint(4) NOT NULL,
  `num` int(11) NOT NULL DEFAULT '0',
  `money` varchar(50) NOT NULL DEFAULT '0',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=5377 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

這裡還有個問題 請求次數過多的話 會被強制中斷連線 這裡先將年份跨度設定小一點
請求的次數就會少一點 分批來爬取
程式碼中有設定time.sleep（）目的是解決爬取資料被中斷連線的情況 可能是時間間隔設定太小 ，並沒有起到相應的作用，可以去掉或者將時間設定長一點嘗試一下
初次入坑python爬蟲 ， 如文章中有錯誤 請多指教

相關推薦

python+requests+ 爬取官網雙色球開獎資料

python+requests+mysql 爬取官網雙色球開獎資料 分析網頁資料獲取方式 第一種查詢方式 第二種查詢方式 注意：連結直接點過去的話是看不到任何東西的，服務端應該設定了某種 Referrer Policy 這個坑困擾了我有一陣 剛入坑pyt

機器學習-近9年雙色球開獎資料的頻繁項集

絕大多數的人都有過一夜暴富的夢想，購買雙色球便是實現這種夢想的方式之一，因此各種專家號推薦層出不窮。 在這裡我想嘗試用機器學習的方法來揭開雙色球的祕密，即一切用資料說話。本著娛樂至上的目的為大家帶來一次“殺號定膽”的遊戲。 資料採集 雙色球歷史資料：

Python模擬雙色球開獎

1.需要先引用random import random #定義一個列表在1,33之間 ball_list=list(range(1,34)); #從1,33之間取出來6個數 red_ball_list=random.sample(ball_list,6) re

java基礎知識應用--雙色球開獎號碼

雙色球開獎 java基礎 開獎號碼 public 　　雙色球是中國福利彩票的玩法，雙色球分為紅色球號碼區和藍色球號碼區，紅色球號碼區由1-33共３３個號碼組成，藍色球號碼區由1-16共１６個號碼組成，開獎號碼由6個不重復的紅色球號碼和1個藍色球號碼共７個數組成。　　首先要設置三個數組來分別保存

Python爬蟲-爬取開心網主頁(有登入介面-利用cookie)

爬取開心網主頁內容 ========================================== ======================================= =================================== 1 ''' 2 登入開

雙色球網頁歷史資料爬取

存在問題： 該文中將同一個單元格中的開獎資料沒有提取出來 解決方案： 將開獎資料單元格中的七個號碼分別提取存入七個單元格中 import pandas as pd import csv import linecache def get_one_page(pa

python 爬取 豆瓣網 搜尋結果 同城活動 資料

主要使用的庫： requests:爬蟲請求並獲取原始碼 re：使用正則表示式提取資料 json:使用JSON提取資料 pandas：使用pandans儲存資料 bs4:網頁程式碼解析 以下是原始碼： #!coding=utf-8 import requests

python requests 爬取騰訊科技的新聞

昨天收到一道面試題爬取http://tech.qq.com/articleList/rolls/的新聞，當時看到的時候簡直簡單爆了，事實證明的確是，將將將，就是這個頁面，很普通啊，開幹。。。  1.首先發現在檢視原始碼的時候看不見這些資料，所以需要js抓一下，注意到

python requests 爬取知乎使用者資訊

今天嘗試了爬取知乎使用者資訊來練習爬蟲，學到了很多東西，在這裡總結一下心得我沒有使用爬蟲框架，就只用了requests模組，應為爬取的都是json資料，連BeautifulSoup都沒能用上爬取知乎使用者資訊，可以不用模擬登入也能獲取使用者資訊，只有一些設定了隱私才需要登入，

python爬蟲——爬取知網體育學刊引證論文資訊

前言 國慶百無聊賴，然後幫一個小姐姐爬取知網資訊，覺得知網算目前處理過的對爬蟲稍微有點防範的網站，遂有了這篇部落格 目標 爬取知網上2003年體育學刊文獻所有論文的引證論文，包括論文名稱、作者、發表時間，也就是下面紅框所指處 點選click處，點選黑框，紅框所

python作業/練習/實戰：生成雙色球小程序

style pre words 生成 python NPU col 16px turn 作業要求： 每註投註號碼由6個紅色球號碼和1個藍色球號碼組成。紅色球號碼從1--33中選擇；藍色球號碼從1--16中選擇 代碼範例 import random all_

Java實現一個簡單雙色球搖獎功能

要求：搖出1-33之間的7個隨機數，且數字不能重複 雙色球用ArryList集合來儲存 隨機搖出雙色球使用Random類nextInt()方法 @Test public void filedome17() { // 1-33之間的7個隨機數，不能重複 // H

Python爬取彩票雙色球並存到把數據excel表格裏

python 爬蟲 環境：python3目的：爬取15年的雙色球開獎號以及期數和開獎日期：上代碼#!/usr/bin/env python3 #-*-coding:utf-8-*- # @Author : 杜文濤 # @Time : 2018/4/19 16:01 # @File : c

Python爬取雙色球資料進行分析

突發奇想，是否可以從雙色球的歷史資訊中分析出現次數最多的組合，那就從1+1的組合開始分析，嘿嘿，經常中這種組合也挺不錯哦！現在我們開始獲取資料，應該從中彩網的爬取資料比較靠譜，下面是指令碼。 # -*- coding:utf-8 -*- import re

使用Python對雙色球號碼進行爬取

使用Python福彩官網對雙色球進行爬取 很久之前寫的一個小爬蟲，程式碼其實有點冗雜，看官姥爺們如果有什麼可以指點的地方，儘量拍，謝謝~ 一點一點加油吧 觀察一下除了第一頁之外其他頁面的索引可以用index_+num來實現 得出程式碼

python爬取雙色球資料+資料統計

彩票資料爬去---寫入mysql： import requests import re#python中的正

Python爬取天氣網歷史天氣數據

ast 信息 爬蟲 cmake tex for roc ins fonts 使用Python的requests 和BeautifulSoup模塊，Python 2.7.12可在命令行中直接使用pip進行模塊安裝。爬蟲的核心是利用BeautifulSoup的select語句獲

用Python爬蟲爬取廣州大學教務系統的成績（內網訪問）

enc 用途 css選擇器 狀態 csv文件 表格 area 加密 重要 用Python爬蟲爬取廣州大學教務系統的成績（內網訪問） 在進行爬取前，首先要了解： 1、什麽是CSS選擇器？ 每一條css樣式定義由兩部分組成，形式如下： [code] 選擇器{樣式} [/code

Python爬取全書網小說，免費看小說

tle 3.6 tro con fin 保存 get 正在 url地址 什麽是網絡爬蟲 網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自

Python爬蟲案例：利用Python爬取笑話網

htm 分享 targe pen 技術分享 搞笑 lan tle import 學校的服務器可以上外網了，所以打算寫一個自動爬取笑話並發到bbs的東西，從網上搜了一個笑話網站，感覺大部分還不太冷，html結構如下： 可以看到，笑話的鏈接列表都在<div cla