python 爬取知網url

阿新 • • 發佈：2019-02-06

由於知網存在非同步載入，爬取需要獲得queryid，cookies等

程式碼如下：

#coding:utf-8
'''
Created on 2016-8-15

@author: 劉帥
'''
import urllib2
from bs4 import BeautifulSoup
import socket
import httplib

urls = []
class Spider3(object):

    def __init__(self, url):
        self.url = url

    def getInfo(self):
        titles = []
        alltime = []
        positions = []
        hdr = {

               'Referer' 
:'http://epub.cnki.net/kns/brief/brief.aspx?curpage=1&RecordsPerPage=20&QueryID=414&ID=&turnpage=1&tpagemode=L&dbPrefix=CJFQ&Fields=&DisplayMode=listmode&PageName=ASP.brief_result_aspx#J_ORDER',
               'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0' 
,
               'Host':'kc.cnki.net',
               'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
        'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
        #'Accept-Encoding': 'gzip', 'deflate'
        'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
        'Connection' 
: 'keep-alive',
        'Request-Line':'http://epub.cnki.net/kns/brief/brief.aspx?curpage=1&RecordsPerPage=20&QueryID=414&ID=&turnpage=1&tpagemode=L&dbPrefix=CJFQ&Fields=&DisplayMode=listmode&PageName=ASP.brief_result_aspx#J_ORDER',
        #'Cookie':'SID=201105'
        'Cookie':'Ecp_ClientId=1160610122903551177; kc_cnki_net_uid=af1af3ce-6313-a666-581e-d71f49479538; RsPerPage=20; ASP.NET_SessionId=d0olsbgo3d0v3kyukigkysl0; Ecp_IpLoginFail=161219118.122.91.183'
        }
        request = urllib2.Request(self.url,headers=hdr)
        page = urllib2.urlopen(request)
        data = page.read()
        #print data
        #request.add_header(hdr)
        try:
            html = urllib2.urlopen(request)
            #print html
        except socket.timeout, e:
            pass
        except urllib2.URLError,ee:
            pass
        except httplib.BadStatusLine:
            pass

        soup = BeautifulSoup(html,'html.parser')
        #print soup
        for link in soup.find_all('a',{'class': 'fz14'}): 
                url = link.get('href').replace('/kns','http://www.cnki.net/KCMS')
                print(url)
                urls.append(link.get('href'))
        #print time
        #time = time_position.split(u'舉')[0]
        #position = time_position.split(u'舉')[1]
        #print position
        return urls


for i in range(10,13):
    #print i
    url = "http://epub.cnki.net/kns/brief/brief.aspx?curpage=" + str(i) + "&RecordsPerPage=20&QueryID=414&ID=&turnpage=1&tpagemode=L&dbPrefix=CJFQ&Fields=&DisplayMode=listmode&PageName=ASP.brief_result_aspx#J_ORDER"
    #url2 = "http://www.cnena.com/huiyi/list-htm-fid-5-page-" + str(i) + ".html"
    #print url
    s = Spider3(url)
    urls = s.getInfo()
    #urls.extend(url)
print urls

結果如下：

http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=181&DbCode=CJFQ&dbname=CJFDLAST2015&filename=NZYX201505025&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=182&DbCode=CJFQ&dbname=CJFDLAST2015&filename=DWSL201505009&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=183&DbCode=CJFQ&dbname=CJFDLAST2015&filename=CITP201511018&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=184&DbCode=CJFQ&dbname=CJFD2014&filename=ZGWL201402066&urlid=11.5639.O4.20131220.0034.025&yx=Y
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=185&DbCode=CJFQ&dbname=CJFD2014&filename=KNWL201402008&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=186&DbCode=CJFQ&dbname=CJFD2014&filename=WLXB201401029&urlid=11.1958.O4.20131122.1031.016&yx=Y
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=187&DbCode=CJFQ&dbname=CJFD2014&filename=YSXS201401019&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=188&DbCode=CJFQ&dbname=CJFD2014&filename=KJDK201402023&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=189&DbCode=CJFQ&dbname=CJFD2014&filename=WLXB201405030&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=190&DbCode=CJFQ&dbname=CJFD2014&filename=SXJZ201402001&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=191&DbCode=CJFQ&dbname=CJFD2014&filename=SXSZ201401007&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=192&DbCode=CJFQ&dbname=CJFD2014&filename=HJBY201401004&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=193&DbCode=CJFQ&dbname=CJFD2014&filename=JEXK201404011&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=194&DbCode=CJFQ&dbname=CJFD2014&filename=DXWL201401013&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=195&DbCode=CJFQ&dbname=CJFD2014&filename=DXWL201401014&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=196&DbCode=CJFQ&dbname=CJFD2014&filename=DXWL201402003&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=197&DbCode=CJFQ&dbname=CJFD2014&filename=YZYF201401020&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=198&DbCode=CJFQ&dbname=CJFD2014&filename=YZYF201402025&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=199&DbCode=CJFQ&dbname=CJFD2014&filename=ZGWL201403078&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=200&DbCode=CJFQ&dbname=CJFD2014&filename=ZGWL201404065&urlid=046201&yx=Y
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=201&DbCode=CJFQ&dbname=CJFD2014&filename=ZGWL201405018&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=202&DbCode=CJFQ&dbname=CJFD2014&filename=ZGWL201405063&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=203&DbCode=CJFQ&dbname=CJFD2014&filename=JGXG201407010&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=204&DbCode=CJFQ&dbname=CJFD2014&filename=JGXK201402002&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=205&DbCode=CJFQ&dbname=CJFD2014&filename=JYDB201402007&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=206&DbCode=CJFQ&dbname=CJFD2014&filename=JXTW201416014&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=207&DbCode=CJFQ&dbname=CJFD2014&filename=DXSZ201402009&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=208&DbCode=CJFQ&dbname=CJFD2014&filename=GKWL201401015&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=209&DbCode=CJFQ&dbname=CJFD2014&filename=CGCZ201401022&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=210&DbCode=CJFQ&dbname=CJFD2014&filename=MYSF201402006&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=211&DbCode=CJFQ&dbname=CJFD2014&filename=NJYD201401026&urlid=32.1772.TN.20140313.1125.023&yx=Y
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=212&DbCode=CJFQ&dbname=CJFD2014&filename=QJGY201403055&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=213&DbCode=CJFQ&dbname=CJFD2014&filename=SCDX201402019&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=214&DbCode=CJFQ&dbname=CJFD2014&filename=WLXB201408022&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=215&DbCode=CJFQ&dbname=CJFD2014&filename=JXTW201421004&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=216&DbCode=CJFQ&dbname=CJFD2014&filename=SHHG201403004&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=217&DbCode=CJFQ&dbname=CJFD2014&filename=WLXB201410004&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=218&DbCode=CJFQ&dbname=CJFD2014&filename=WLZZ201405013&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=219&DbCode=CJFQ&dbname=CJFD2014&filename=QYKX201401007&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=220&DbCode=CJFQ&dbname=CJFD2014&filename=DXHX201402016&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=221&DbCode=CJFQ&dbname=CJFD2014&filename=GYWL201402017&urlid=10.11858/gywlxb.2014.02.015&yx=Y
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=222&DbCode=CJFQ&dbname=CJFD2014&filename=ZGWL201406106&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=223&DbCode=CJFQ&dbname=CJFD2014&filename=ZGWL201407004&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=224&DbCode=CJFQ&dbname=CJFD2014&filename=ZGWL201407009&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=225&DbCode=CJFQ&dbname=CJFD2014&filename=ZGWL201407010&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=226&DbCode=CJFQ&dbname=CJFD2014&filename=ZGWL201407014&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=227&DbCode=CJFQ&dbname=CJFD2014&filename=ZGWL201407015&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=228&DbCode=CJFQ&dbname=CJFD2014&filename=ZGWL201407016&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=229&DbCode=CJFQ&dbname=CJFD2014&filename=ZGWL201407061&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=230&DbCode=CJFQ&dbname=CJFD2014&filename=XDZK201403007&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=231&DbCode=CJFQ&dbname=CJFD2014&filename=XBKJ201405042&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=232&DbCode=CJFQ&dbname=CJFD2014&filename=YYKJ201402012&urlid=10.3969/j.issn.1009-671X.201306006&yx=Y
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=233&DbCode=CJFQ&dbname=CJFD2014&filename=KSGB201403013&urlid=&yx=
http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=234&DbCode=CJFQ&dbname=CJFD2014&filename=JGXG201408018&urlid=&yx=

python 爬取知網url

由於知網存在非同步載入，爬取需要獲得queryid，cookies等程式碼如下： #coding:utf-8 ''' Created on 2016-8-15 @author: 劉帥 ''' import urllib2 from bs4 impor

python爬取知乎專欄文章標題及URL

# -*- coding:utf-8 -*- from selenium import webdriver import time # 執行程式要安裝selenium模組，並下載Chrome瀏覽器驅動

python爬蟲——爬取知網體育學刊引證論文資訊

前言國慶百無聊賴，然後幫一個小姐姐爬取知網資訊，覺得知網算目前處理過的對爬蟲稍微有點防範的網站，遂有了這篇部落格目標爬取知網上2003年體育學刊文獻所有論文的引證論文，包括論文名稱、作者、發表時間，也就是下面紅框所指處點選click處，點選黑框，紅框所

python 爬取百度url

style not 域名 head dex fin compile threads www 1 #!/usr/bin/env python 2 # -*- coding: utf-8 -*- 3 # @Date : 2017-08-29 18:38:23 4

Python爬取天氣網歷史天氣數據

ast 信息爬蟲 cmake tex for roc ins fonts 使用Python的requests 和BeautifulSoup模塊，Python 2.7.12可在命令行中直接使用pip進行模塊安裝。爬蟲的核心是利用BeautifulSoup的select語句獲

Python 爬取qqmusic音樂url並批量下載

QQ col expr IE filename 代碼都是 sles () 　qqmusic上的音樂還是不少的，有些時候想要下載好聽的音樂，但有每次在網頁下載都是煩人的登錄什麽的。於是，來了個qqmusic的爬蟲。　　至少我覺得for循環爬蟲，最核心的應該就是找到待爬元

Python爬取全書網小說，免費看小說

tle 3.6 tro con fin 保存 get 正在 url地址什麽是網絡爬蟲網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自

Python爬蟲案例：利用Python爬取笑話網

htm 分享 targe pen 技術分享搞笑 lan tle import 學校的服務器可以上外網了，所以打算寫一個自動爬取笑話並發到bbs的東西，從網上搜了一個笑話網站，感覺大部分還不太冷，html結構如下：可以看到，笑話的鏈接列表都在<div cla

python3爬取qq音樂並下載 Python 爬取qqmusic音樂url並批量下載

本文參考Python 爬取qqmusic音樂url並批量下載同學找我爬取一下qq音樂播放連結，包括歌詞等資訊打包成json，試了一下可以爬取。一、找到qq音樂播放的url 1.找到搜尋頁面返回的資料包歌曲最終的播放連結時經過多次拼接的，首先找到qq音樂搜尋歌曲介面，https://y.qq.

python爬取知乎專欄使用者評論資訊

工具：python3，pycharm，火狐瀏覽器模組：json，requests，time 登入知乎，進入專欄。進入後隨便選擇一個專欄，我們選擇一個粉絲比較多的。點選進去。其實，我們可以爬取這個專欄的所有文章，開啟開發者工具F12，點選重新整理找

python 爬取豆瓣網搜尋結果同城活動資料

主要使用的庫： requests:爬蟲請求並獲取原始碼 re：使用正則表示式提取資料 json:使用JSON提取資料 pandas：使用pandans儲存資料 bs4:網頁程式碼解析以下是原始碼： #!coding=utf-8 import requests

用python爬取知乎中的圖片

首先，我們檢視一下知乎的robots協議。 User-agent: * Disallow: / 知乎是不允許爬取其根目錄的。但是，我們只是用於實驗，而且訪問頻率和正常訪問差距不大，所以可以爬取。先明確目的：對手動輸入的網址進行解析把爬取到的圖片儲存到指定目

Python爬取下載網易雲音樂

from urllib import request import requests import re from bs4 import BeautifulSoup from pprint import pprint import urllib, time def get

Python爬取知乎日報，推送到kindle

最近刷知乎上癮，剛好手頭有一臺kindle，搞一波事情。 1.分析頁面知乎日報的網頁端結果比較清晰，每篇的文章的連結都在 link-button 這個 a 標籤中。用requests + BeautifulSoup 庫可以比較輕鬆的解析。 i

Python爬取妹子網圖片

提取文章標題 import requests from bs4 import BeautifulSoup url = 'http://www.mzitu.com/26685' header = {'User-Agent': 'Mozilla/5.0 (

python爬取知乎話題的精華問題下的使用者資訊

今天試著用自己的爬蟲程式碼爬取了知乎【同性戀】話題下的所有精華問題的使用者位置資訊程式碼： __author__ = 'yang' # -*- coding: utf-8 -*- import configparser import requests

Python爬取知乎“神回覆”，笑得根本停不下來（附程式碼）

def get_answers_by_page(topic_id, page_no): offset = page_no * 10 url = <topic_url> # topic_url是這個話題對應的url headers = { "User-Agent":

python爬取知乎回答

1. 安裝庫 htmlparser用來解析html。 Beautiful Soup 是一個可以從 HTML 或 XML 檔案中提取資料的 Python 庫。 pip install beautifulsoup4 Selenium 是瀏覽器自動化測

python爬取網易雲音樂歌單音樂

string attrs default textarea bsp color read contents dom 在網易雲音樂中第一頁歌單的url：http://music.163.com/#/discover/playlist/ 依次第二頁：http://music.1

【學習筆記】python爬取百度真實url

python 今天跑個腳本需要一堆測試的url，，，挨個找復制粘貼肯定不是程序員的風格，so，還是寫個腳本吧。環境：python2.7 編輯器：sublime text 3 一、分析一下首先非常感謝百度大佬的url分類非常整齊，都在一個

python 爬取知網url

相關推薦