2. 程式人生 > >scrapy 爬取https網頁時出現ssl錯誤

scrapy 爬取https網頁時出現ssl錯誤

阿新 • • 發佈：2019-01-13
               

還有好多錯誤程式碼沒有儲存下來，錯誤發生在Openssl/SSL.py中：

AttributeError:'NoneType'object has no attribute '_app_data'


  
    
   
  • 1
    • 
  

  
    
   
  • 1
    • 
  

  
解除安裝scrapy 和 ssl 後，重新安裝一遍解決了。 
注意安裝的順序，先pyopenssl 後 scrapy

  
pip uninstall scrapy
 

  
pip uninstall pyopenssl

  
pipinstall pyopenssl

  
pipinstall scrapy
            
 
 
再分享一下我老師大神的人工智慧教程吧。零基礎！通俗易懂！風趣幽默！還帶黃段子！希望你也加入到我們人工智慧的隊伍中來！https://blog.csdn.net/jiangjunshow
 
 
   
 
 
 
 

            
  

           

              
              

            

            
相關推薦

			   
            
            
            
 

    


    
    
scrapy 爬取https網頁時出現ssl錯誤

     
  
  
  
 
                  
  還有好多錯誤程式碼沒有儲存下來，錯誤發生在Openssl/SSL.py中：
  Attribute 



  
 

    


    
    
Python使用selenium爬取動態網頁時遇到的問題

     
 
							
							
							我們在做京東手機資訊的爬取時，遇到的一些問題，現在就來跟大家分享一下。
1.首先，京東的網頁是動態的，當我們搜尋一個商品時，需要把頁面往下翻，下面的內容才會出來，這也是我們選selenium方法的原因
解決方法：讓瀏覽器模擬下拉幾次頁面即可
from selen 



  
 

    


    
    
httpclient爬取https網頁資料

     
 
							
							
							1、下載證書，開啟谷歌瀏覽器，輸入網址，點選安全鎖，檢視證書

2、開啟IE，點選設定->internet選項->內容->證書->中間證書頒發機構，找到對應的證書，匯出儲存，我儲存在D./test.cer。

3、進入JDK 安裝bin目 



  
 

    


    
    
使用urllib爬取圖片時出現的錯誤urllib.error.ContentTooShortError

     
  
 
 
 urllib.error.ContentTooShortError: <urlopen error retrieval incomplete 
 這是因為urlretrieve下載檔案不完整造成的 
 可以接受這種異常重新寫一個方法處理這個問題，可以在去呼叫這個方法重新去下載，也可以重新用 



  
 

    


    
    
Scrapy爬取Ajax（非同步載入）網頁例項——簡書付費連載

     
 這兩天學習了Scrapy爬蟲框架的基本使用，練習的例子爬取的都是傳統的直接載入完網頁的內容，就想試試爬取用Ajax技術載入的網頁。 
這裡以簡書裡的優選連載網頁為例分享一下我的爬取過程。 
網址為： 
 
 https://www.jianshu.com/mobile/books?category_id=28 



  
 

    


    
    
Python3網路爬蟲：Scrapy入門實戰之爬取動態網頁圖片

     
  
 
  
  
 Python版本： python3.+  執行環境： Mac OS  IDE： pycharm 
 
  
   
   一 前言 
   二 Scrapy相關方法介紹
     
     1 搭建Scrapy專案 
     2 shell分析 
      
   三 網頁分析 
 



  
 

    


    
    
在使用python的selenium庫 抓取動態網頁時，瀏覽器內容出現空白的解決方式

     
  
 
  
  
  
  轉載請標明出處，謝謝~。 
  我使用的版本: 
  1、python 3.7 （IDE 用的 pycharm）  2、selenium(通過pip install 安裝的最新版本:3.14 時間：2018.9.6 )  3、 geckodriver.exe 21.0  4、fi 



  
 

    


    
    
[Python爬蟲]Scrapy配合Selenium和PhantomJS爬取動態網頁

     
 
							
							
							Python世界中Scrapy一直是爬蟲的一個較為成熟的解決方案，目前javascript在網頁中應用越來越廣泛，越來越多的網站選擇使用javascript動態的生成網頁的內容，使得很多純html的爬蟲解決方案失效。針對這種動態網站的爬取，目前也有很多解決方案。 



  
 

    


    
    
【爬蟲】Scrapy 爬取excel中500個網址首頁，使用Selenium模仿使用者瀏覽器訪問，將網頁title、url、文字內容組成的item儲存至json檔案

     
 
                建立含有網址首頁的excel檔案

host_tag_網站名稱_主域名_子域名.xlsx



編輯讀取excel檔案的工具類專案FileUtils

新建專案FileUtils



編輯file_utils.py

# -*- coding: utf-8 -*-
"""
 



  
 

    


    
    
windows下 Ruby使用國內https源時出現的ssl報錯的解決辦法

     
 
                
雖然不建議在windows環境下構建ruby，但是rubyinstaller必然有它存在的意義。在使用ruby時，最令人頭疼的無疑是官方源被牆的問題，令人欣慰的是，Ruby-china的出現，為我們提供了免費實時的ruby源，在此對Ruby-china提出萬分的感謝。
我們 



  
 

    


    
    
pyspider爬取https網址的時候報HTTP 599: SSL 錯誤解決辦法

     
 
								
								            
						
                pyspider是個非常適合新手快速入門爬取網站資料的一個框架，是國內某個大神寫的，然而往往我們在實際使用過程中也會遇到很多坑，下面是我在使用pyspider爬取https網站的時候報了一個錯誤：錯誤資 



  
 

    


    
    
PHP通過cURL訪問https時出現SSL certificate problem: unable to get local issuer certificate的解決方法

     
 
                
PHP通過cURL訪問https時出現SSL certificate problem: unable to get local issuer certificate的解決方法：只要設定以下兩個屬性就可以解決。
將 CURLOPT_SSL_VERIFYPEER 設定為 fal 



  
 

    


    
    
scrapy爬取中關村在線手機頻道

     
 tex   ice   extract   base   .section   title   .html   release   nbsp   
 1 # -*- coding: utf-8 -*-
 2 import scrapy
 3 from pyquery import PyQuery as pq
 



  
 

    


    
    
scrapy爬取豆瓣電影top250

     
 imp   port   爬取   all   lba   item   text   request   top   
 1 # -*- coding: utf-8 -*-
 2 # scrapy爬取豆瓣電影top250
 3 
 4 import scrapy
 5 from douban.items i 



  
 

    


    
    
scrapy爬取小說盜墓筆記

     
 xtra   pipeline   odin   trac   items   style   ict   ref   open   
# -*- coding: utf-8 -*-
import scrapy
import requests
from daomu.items import DaomuItem 



  
 

    


    
    
scrapy爬取西刺網站ip

     
 close   mon   ins   css   pro   bject   esp   res   first   
# scrapy爬取西刺網站ip
# -*- coding: utf-8 -*-
import scrapy

from xici.items import XiciItem


clas 



  
 

    


    
    
Python爬蟲從入門到放棄（十八）之 Scrapy爬取所有知乎用戶信息(上)

     
 user   說過   -c   convert   方式   bsp   配置文件   https   爬蟲   爬取的思路
首先我們應該找到一個賬號，這個賬號被關註的人和關註的人都相對比較多的，就是下圖中金字塔頂端的人，然後通過爬取這個賬號的信息後，再爬取他關註的人和被關註的人的賬號信息，然後爬取被關註人 



  
 

    


    
    
Scrapy爬取慕課網(imooc)所有課程數據並存入MySQL數據庫

     
 start   table   ise   utf-8   action   jpg   yield   star   root   爬取目標：使用scrapy爬取所有課程數據，分別為
1.課程名 2.課程簡介 3.課程等級 4.學習人數
並存入MySQL數據庫  （目標網址  http://www.imoo 



  
 

    


    
    
Scrapy抓取動態網頁

     
 都是   搜索   華盛頓   etime   觀察   review   llb   得到   我們    動態網頁指幾種可能：
1）需要用戶交互，如常見的登錄操作；
2）網頁通過JS/ AJAX動態生成，如一個html裏有<div id="test"></div>，通過JS生成&l 



  
 

    


    
    
爬取動態網頁：Selenium

     
 如何   瀏覽器   要去   nbsp   ges   selenium   安全性   接口   比較   參考：http://blog.csdn.net/wgyscsf/article/details/53454910
概述

在爬蟲過程中，一般情況下都是直接解析html源碼進行分析解析即可。但是