用Python3爬取知乎上好看的桌布
一、開發環境
Windows10 + PyCharm Community 2018.1.4
二、開整
先交代下，本人平時比較喜歡看知乎，因為知乎上乾貨多，這不最近迷上了給手機換桌布，恰巧知乎上這個問題下https://www.zhihu.com/question/64252714/answer/272394399有很多好看的桌布，以前我都是一張一張地儲存，超累的
最近在學習Python3，在網上找了些例子學到了點皮毛，於是想做個小小的爬蟲，把該答案下的桌布爬下來。好，說幹咱就幹！
以下是程式碼放送~
from urllib import request #從urllib庫裡匯入request模組 from bs4 import BeautifulSoup #從BeautifulSoup4(bs4)庫裡匯入BeautifulSoup模組 import re #匯入正則表示式模組re模組 import time #匯入time模組 url = "https://www.zhihu.com/question/64252714" html = request.urlopen(url).read().decode('utf-8') soup = BeautifulSoup(html, 'html.parser') links = soup.find_all('img', 'origin_image zh-lightbox-thumb', src = re.compile(r'jpg$')) print(links) path = r'D:\PythonData\getPictures\images' #儲存到某個資料夾下 for link in links: print(link.attrs['src']) request.urlretrieve(link.attrs['src'], path + '\%s.jpg' % time.time())
執行之後的結果：
三、小結
該例子十分適合新手練習，需要注意的是敲程式碼之前要先在PyCharm裡面把BeautifulSoup4這個包裝好
相關推薦
用Python3爬取知乎上好看的桌布
一、開發環境Windows10 + PyCharm Community 2018.1.4二、開整先交代下，本人平時比較喜歡看知乎，因為知乎上乾貨多，這不最近迷上了給手機換桌布，恰巧知乎上這個問題下https://www.zhihu.com/question/64252714/
用PHP爬取知乎的100萬用戶
nbsp 維修 知乎 發現 body class 直接 blog 爬蟲 http://blog.jobbole.com/88788/ 突然發現 大數據 Python的爬蟲能力很強 爬取到的數據 直接可以用於維修QQ營銷 精準營銷用PHP爬取知乎的100萬用戶
用python爬取知乎中的圖片
首先，我們檢視一下知乎的robots協議。 User-agent: * Disallow: / 知乎是不允許爬取其根目錄的。 但是，我們只是用於實驗，而且訪問頻率和正常訪問差距不大，所以可以爬取。 先明確目的： 對手動輸入的網址進行解析 把爬取到的圖片儲存到指定目
python3爬取知乎某話題下的若干個問題及其回答
思路：通過selenium的webdriver實現頁面的點選、下來等操作。頁面完全載入後通beautifulsoup來查詢相應的標籤。將資料放到列表中，然後通過xlwt建立excel，並把資料存進去。 缺點：容易遇到效能問題。可能一個話題有很多的回覆，而對於往excel中插
python爬蟲——爬取知乎上自己關注的問題
與之前爬的網站圖片的不同的是，現在爬取的是要自己個人的關注的東西，所以需要做到模擬登入。模擬登入的原理是登入網站後，在瀏覽器上獲取儲存的cookies資訊，填充之後與請求一起傳送。如果前面的爬取圖片的會爬取了，對於這個解析字串的也沒有多大問題了。一直看著知乎上很多程式設計師把
用JAVA實現一個爬蟲，爬取知乎的上的內容（程式碼已無法使用）
在學習JAVA的過程中寫的一個程式，處理上還是有許多問題，爬簡單的頁面還行，複雜的就要跪. 爬取內容主要使用URLConnection請求獲得頁面內容，使用正則匹配頁面內容獲得所需的資訊存入檔案，使用正則尋找這個頁面中可訪問的URL，使用佇列儲存未訪問的URL
利用 Scrapy 爬取知乎用戶信息
oauth fault urn family add token post mod lock 思路：通過獲取知乎某個大V的關註列表和被關註列表，查看該大V和其關註用戶和被關註用戶的詳細信息，然後通過層層遞歸調用，實現獲取關註用戶和被關註用戶的關註列表和被關註列表，最終實
【Python3.6爬蟲學習記錄】（五）Cookie的使用以及簡單的爬取知乎
前言 Cookie，指某些網站為了辨別使用者身份、進行session跟蹤而儲存在使用者本地終端上的資料（通常經過加密）。 有些網站需要登入後才能訪問某個頁面，比如知乎的回答，QQ空間的好友列表、微博上關注的人和粉絲等，在登入之前，你想抓取某
爬取知乎某個問題下所有的圖片
user count view default os.chdir make selenium pytho use 最近在逛知乎時，看到這麽一個問題 最高贊的答案寫了個爬蟲，把所有的照片都爬下來了。 嘿嘿嘿，技術的力量 正好自己也在學習，加上答主的答案是很久之前的，知乎
Scrapy分布式爬蟲打造搜索引擎（慕課網）--爬取知乎（二）
false pat 模塊 text 文件的 服務 協議 .py execute 通過Scrapy模擬登陸知乎 通過命令讓系統自動新建zhihu.py文件 首先進入工程目錄下 再進入虛擬環境 通過genspider命令新建zhihu.py scrap
爬取知乎Python中文社區信息
urlencode RR amp AD pos LV off In encoding 爬取知乎Python中文社區信息，https://zhuanlan.zhihu.com/zimei 1 import requests 2 from urllib.parse
爬取知乎話題async使用協程
ret header tps mob ans print __name__ next and import requests import json import time from pyquery import PyQuery import pandas as pd f
Python爬去知乎上問題下所有圖片
sts dal b- log email token db4 trie fin from zhihu_oauth import ZhihuClient from zhihu_oauth.exception import NeedCaptchaException cli
scrapy爬取知乎問答
登陸 參考 https://github.com/zkqiang/Zhihu-Login # -*- coding: utf-8 -*- import scrapy import time import re import base64 import hmac import hashlib impor
python scrapy爬取知乎問題和收藏夾下所有答案的內容和圖片
上文介紹了爬取知乎問題資訊的整個過程,這裡介紹下爬取問題下所有答案的內容和圖片,大致過程相同,部分核心程式碼不同. 爬取一個問題的所有內容流程大致如下: 一個問題url 請求url,獲取問題下的答案個數(我不需要,因為之前獲取問題資訊的時候儲存了問題的回答個數) 通過答案的介面去獲取答案(如果一次獲取5
教程+資源,python scrapy實戰爬取知乎最性感妹子的爆照合集(12G)!
一.出發點： 之前在知乎看到一位大牛（二胖）寫的一篇文章：python爬取知乎最受歡迎的妹子（大概題目是這個，具體記不清了），但是這位二胖哥沒有給出原始碼，而我也沒用過python,正好順便學一學,所以我決定自己動手搞一搞. 爬取已經完成,文末有 python的原始碼和妹子圖片的百度雲地址 二.準備：
python爬取知乎專欄使用者評論資訊
工具：python3，pycharm，火狐瀏覽器 模組：json，requests，time 登入知乎，進入專欄。 進入後隨便選擇一個專欄，我們選擇一個粉絲比較多的。點選進去。 其實，我們可以爬取這個專欄的所有文章，開啟開發者工具F12，點選重新整理 找
爬蟲爬取知乎登陸後首頁
package zhihu; import java.io.IOException; import java.util.HashMap; import java.util.Map; import org.jsoup.Connection; import org.
超簡易Scrapy爬取知乎問題，標籤的爬蟲
上課的作業，備份一下，以免不時之需。 知乎的問題的網頁都是 https://www.zhihu.com/question/ 帶8位神祕數字，我們只需要依次遍歷就解決問題啦，遇到404的情況就直接跳過。用scrapy框架快速開發。 獲取知乎問題標題的程式碼 ti
用 python 抓取知乎指定回答下的視訊
前言 現在知乎允許上傳視訊，奈何不能下載視訊，好氣哦，無奈之下研究一下了，然後擼了程式碼，方便下載視訊儲存。 接下來以 貓為什麼一點也不怕蛇？ 回答為例，分享一下整個下載過程。 除錯一下 開啟 F12, 找到游標，如下圖： 然後將游標移動到視訊上。如下圖： 咦這是什麼？視野中出現了一條神祕