2. 程式人生 > >把知乎丁香醫生的文章及回答轉pdf

把知乎丁香醫生的文章及回答轉pdf

阿新 • • 發佈：2019-01-23 
之前爬取了1800多萬的知乎使用者，因而想生成pdf方便儲存和閱讀，正好試試wkhtmltopdf+pdfkit。
1:pdfkit是wkhtmltopdf的python封裝，因此需要先下載安裝wkhtmltopdf，版本wkhtmltopdf-0.12.2.4_mingw-w64，下載地址http://download.csdn.net/download/cainiaowuzui/10024376%20%E2%80%9Cwkhtmltopdf-0.12.2.4_mingw-w64%E2%80%9D 
2:使用pip install pdfkit安裝pdfkit(版本0.6.1)
這裡我選擇把丁香醫生的文章+回答按獲贊數從高到低排序生成pdf。
pdfkit預設是生成帶目錄書籤的pdf.由於內容儲存在mongo資料庫中，因此我先從mongo資料庫中選取出來再通過pdfkit.from_string()生成pdf。
主要知識點：python，pdfkit，mongo，html，知乎爬取 
過程中遇到以下問題：
       1. 中文亂碼，引數中須指定編碼options={'encoding': 'utf-8'}
       2. pdf目錄無法自動生成，經過試驗，採用把字串補成html格式的字串，且輸出檔案指定為out.pdf,可以解決問題。
       3. 個別回答資料庫中沒有對應的提問標題，因此去知乎爬取對應的提問，有興趣爬取知乎的朋友可以參考。

 
import pymongo
import os 
from bson.objectid import ObjectId
import wkhtmltopdf
import pdfkit
import requests
import json
client=pymongo.MongoClient(host="127.0.0.1")
db=client["zhihu"]
wkhtmltopdf_path='F:\\Program Files\\wkhtmltopdf\\bin\\wkhtmltopdf.exe'#wkhtmltopdf的安裝目錄
def printpdf(url_token)
 
:
    cursor=db['article'].find({"url_token":url_token})
    article=list(cursor)
    article.sort(key=lambda k :k["voteup_count"],reverse=True)#按文章獲讚的總數排序
    formatstr='''<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml" lang="zh-CN" class=" no-touch">

<head>
    <meta charset="utf-8" />
    <title>{title}</title>
</head>

<body>
    <h1 align='center'>{title}</h1>{content}</body>

</html>

'''
 
#補成html格式的字串
    pdfstr=''
    for art in article:
        pdfstr+=formatstr.format(title=art['title'],content=art['content'])

    cursor=db['answer'].find({"url_token":url_token})
    article=list(cursor)
    article.sort(key=lambda k :k["voteup_count"],reverse=True)
    headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36',
                     'authorization':'這裡填你的知乎令牌'}    
    for art in article:
        question_id=art["question_id"]
        cid=str(question_id)
        _id = ObjectId(bytes(cid.ljust(12),encoding='utf-8'))
        question=db['question'].find_one({"_id":_id})#通過問題id找問題的標題
        if question:
            title=question["title"]
        else:
            #如果在question表中找不到相應的question，那麼去知乎網址爬取，嗯由於不多，這裡僅僅單執行緒
            print("can not find question :%d,now try to get" % question_id)
            url='https://www.zhihu.com/api/v4/questions/{id}'.format(id=question_id)
            r=requests.get(url=url,headers=headers)
            try:
                results = json.loads(r.text)
                results['url_token']=''
                results['_id']=_id
                db['question'].update({'_id': _id}, {'$set': results}, True)#儲存到mongo資料庫
                title=results['title']
                print("save question %d ok" % question_id)
            except Exception as e:
                print(e)            
                title=cid

        pdfstr+= formatstr.format(title=title,content=art['content'])

    pdfstr.replace('\"','"')
    print("prepare to pdf")
    filetree="G:\\ebook\\zhihu\\article\\"+url_token+"\\"
    if os.path.exists(filetree):
        pass
    else:
        os.mkdir(filetree)   
    file=filetree+"out.pdf" #多次測試，如不指定為out.pdf不會生成pdf目錄，原因不清楚，如有朋友知道麻煩告知
    options={'encoding': 'utf-8', 'outline-depth': 1}#指定utf-8編碼，防止中文亂碼
    config = pdfkit.configuration(wkhtmltopdf=wkhtmltopdf_path)
    pdfkit.from_string(pdfstr,file,options=options,configuration=config)

最後，上一張效果圖
丁香醫生文章+回答

最後附上wkhtmltopdf的中文引數詳解
wkhtmltopdf [OPTIONS]… [More input files]
常規選項
–allow 允許載入從指定的資料夾中的檔案或檔案（可重複）
–book* 設定一會列印一本書的時候，通常設定的選項
–collate 列印多份副本時整理
–cookie 設定一個額外的cookie（可重複）
–cookie-jar 讀取和寫入的Cookie，並在提供的cookie jar檔案
–copies 影印列印成pdf檔案數（預設為1）
–cover* 使用HTML檔案作為封面。它會帶頁首和頁尾的TOC之前插入
–custom-header 設定一個附加的HTTP頭（可重複）
–debug-javascript 顯示的javascript除錯輸出
–default-header* 新增一個預設的頭部，與頁面的左邊的名稱，頁面數到右邊，例如： –header-left ‘[webpage]’ –header-right ‘[page]/[toPage]’ –header-line
–disable-external-links* 禁止生成連結到遠端網頁
–disable-internal-links* 禁止使用本地連結
–disable-javascript 禁止讓網頁執行JavaScript
–disable-pdf-compression* 禁止在PDF物件使用無失真壓縮
–disable-smart-shrinking* 禁止使用WebKit的智慧戰略收縮，使畫素/ DPI比沒有不變
–disallow-local-file-access 禁止允許轉換的本地檔案讀取其他本地檔案，除非explecitily允許用 –allow
–dpi 顯式更改DPI（這對基於X11的系統沒有任何影響）
–enable-plugins 啟用已安裝的外掛（如Flash
–encoding 設定預設的文字編碼
–extended-help 顯示更廣泛的幫助，詳細介紹了不常見的命令開關
–forms* 開啟HTML表單欄位轉換為PDF表單域
–grayscale PDF格式將在灰階產生
–help Display help
–htmldoc 輸出程式HTML幫助
–ignore-load-errors 忽略claimes載入過程中已經遇到了一個錯誤頁面
–lowquality 產生低品質的PDF/ PS。有用縮小結果文件的空間
–manpage 輸出程式手冊頁
–margin-bottom 設定頁面下邊距 (default 10mm)
–margin-left 將左邊頁邊距 (default 10mm)
–margin-right 設定頁面右邊距 (default 10mm)
–margin-top 設定頁面上邊距 (default 10mm)
–minimum-font-size 最小字型大小 (default 5)
–no-background 不列印背景
–orientation 設定方向為橫向或縱向
–page-height 頁面高度 (default unit millimeter)
–page-offset* 設定起始頁碼 (default 1)
–page-size 設定紙張大小: A4, Letter, etc.
–page-width 頁面寬度 (default unit millimeter)
–password HTTP驗證密碼
–post Add an additional post field (repeatable)
–post-file Post an aditional file (repeatable)
–print-media-type* 使用的列印介質型別，而不是螢幕
–proxy 使用代理
–quiet Be less verbose
–read-args-from-stdin 讀取標準輸入的命令列引數
–readme 輸出程式自述
–redirect-delay 等待幾毫秒為JS-重定向(default 200)
–replace* 替換名稱,值的頁首和頁尾（可重複）
–stop-slow-scripts 停止執行緩慢的JavaScripts
–title 生成的PDF檔案的標題（第一個文件的標題使用，如果沒有指定）
–toc* 插入的內容的表中的檔案的開頭
–use-xserver* 使用X伺服器（一些外掛和其他的東西沒有X11可能無法正常工作）
–user-style-sheet 指定使用者的樣式表，載入在每一頁中
–username HTTP認證的使用者名稱
–version 輸出版本資訊退出
–zoom 使用這個縮放因子 (default 1)

頁首和頁尾選項
–header-center* (設定在中心位置的頁首內容)
–header-font-name* (default Arial) (設定頁首的字型名稱)
–header-font-size* (設定頁首的字型大小)
–header-html* (新增一個HTML頁首,後面是網址)
–header-left* (左對齊的頁首文字)
–header-line* (顯示一條線在頁首下)
–header-right* (右對齊頁首文字)
–header-spacing* (設定頁首和內容的距離,預設0)
–footer-center* (設定在中心位置的頁尾內容)
–footer-font-name* (設定頁尾的字型名稱)
–footer-font-size* (設定頁尾的字型大小default 11)
–footer-html* (新增一個HTML頁尾,後面是網址)
–footer-left* (左對齊的頁尾文字)
–footer-line* 顯示一條線在頁尾內容上)
–footer-right* (右對齊頁尾文字)
–footer-spacing* (設定頁尾和內容的距離)
./wkhtmltopdf –footer-right ‘[page]/[topage]’ http://www.baidu.com baidu.pdf
./wkhtmltopdf –header-center ‘報表’ –header-line –margin-top 2cm –header-line http://192.168.212.139/oma/ oma.pdf
表內容選項中
–toc-depth* Set the depth of the toc (default 3)
–toc-disable-back-links* Do not link from section header to toc
–toc-disable-links* Do not link from toc to sections
–toc-font-name* Set the font used for the toc (default Arial)
–toc-header-font-name* The font of the toc header (if unset use –toc-font-name)
–toc-header-font-size* The font size of the toc header (default 15)
–toc-header-text* The header text of the toc (default Table Of Contents)
–toc-l1-font-size* Set the font size on level 1 of the toc (default 12)
–toc-l1-indentation* Set indentation on level 1 of the toc (default 0)
–toc-l2-font-size* Set the font size on level 2 of the toc (default 10)
–toc-l2-indentation* Set indentation on level 2 of the toc (default 20)
–toc-l3-font-size* Set the font size on level 3 of the toc (default 8)
–toc-l3-indentation* Set indentation on level 3 of the toc (default 40)
–toc-l4-font-size* Set the font size on level 4 of the toc (default 6)
–toc-l4-indentation* Set indentation on level 4 of the toc (default 60)
–toc-l5-font-size* Set the font size on level 5 of the toc (default 4)
–toc-l5-indentation* Set indentation on level 5 of the toc (default 80)
–toc-l6-font-size* Set the font size on level 6 of the toc (default 2)
–toc-l6-indentation* Set indentation on level 6 of the toc (default 100)
–toc-l7-font-size* Set the font size on level 7 of the toc (default 0)
–toc-l7-indentation* Set indentation on level 7 of the toc (default 120)
–toc-no-dots* Do not use dots, in the toc
輪廓選項
–dump-outline 轉儲目錄到一個檔案
–outline 顯示目錄(文章中h1,h2來定)
–outline-depth 設定目錄的深度（預設為4）
頁尾和頁首
* [page] 由當前正在列印的頁的數目代替
* [frompage] 由要列印的第一頁的數量取代
* [topage] 由最後一頁要列印的數量取代
* [webpage] 通過正在列印的頁面的URL替換
* [section] 由當前節的名稱替換
* [subsection] 由當前小節的名稱替換
* [date] 由當前日期系統的本地格式取代
* [time] 由當前時間，系統的本地格式取代
./wkhtmltopdf –footer-right ‘[page]/[topage]’ http://www.baidu.com baidu.pdf
./wkhtmltopdf –header-center ‘報表’ –outline –header-line –margin-top 2cm –header-line http://www.hao123.com/ hao123.pdf
./wkhtmltopdf –header-left ‘[webpage]’ –footer-center ‘測試([page]/[toPage])’ http://www.baidu.com baidu.pdf

相關推薦

把知乎丁香醫生的文章及回答轉pdf

之前爬取了1800多萬的知乎使用者，因而想生成pdf方便儲存和閱讀，正好試試wkhtmltopdf+pdfkit。 1:pdfkit是wkhtmltopdf的python封裝，因此需要先下載安裝wkhtmltopdf，版本wkhtmltopdf-0.12.2.4

知乎上一些有用的回答

amp source .com http 有用 soc tps 激勵 mem 1、當自己頹廢的時候怎麽激勵自己？知乎上一些有用的回答

知乎上看到的一個回答

1.停止那些明知對身體有害的行為，例如熬夜，喝快樂水等。三餐要吃，去掉珍珠奶茶，垃圾食品。 11點半就睡下，讓書籍和思考為你的生活服務。 你也不用因為打了幾局遊戲而覺得自己頹廢，只是遊戲再好也不要貪杯。這樣在生活上，你就已經成 為了更好的人。 2.每天都汲取新的知識。你不需要

深入淺出回撥函式（知乎上看到最好的回答）

回撥方法介紹之中國好室友篇（Java示例）前言在Java社群的各種開源工具中，回撥方法的使用俯拾即是。所以熟悉回撥方法無疑能加速自己對開源輪子的掌握。網上搜了一些文章，奈何對回撥方法的介紹大多隻停留在什麼是回撥方法的程度上。本篇文章嘗試從回撥方法怎麼來的、為什麼要使用回撥方法以及在實際專案中如何使用等方面來介

Android仿“知乎”隱藏標題欄、回答詳情頁動畫效果

    2014已經遠去，2015年的目標很簡單，就是繼續熟悉Android的上層API，雖然偶爾會為了某個問題去研究下FrameWork的程式碼，但是對於我們這種新手來說，只有對上層的API用的熟練了，才能更好的往下研究原理。所以，今年的任務就是繼續學習和研究A

Scrapy學習筆記（3）爬取知乎首頁問題及答案

目標：爬取知乎首頁前x個問題的詳情及問題指定範圍內的答案的摘要 power by: Python 3.6 Scrapy 1.4 json pymysql Step 1——相關簡介 Step 2——模擬登入 知乎如果不登入

重拾指標（整理自一個知乎上非常不錯的回答）

大一上學期的時候學的C語言，在那時侯接觸的指標相關知識。過去半年果然把指標忘乾淨了。。。。 今天利用剩餘時間把指標相關知識複習一遍，把指標搞通！ 1.指標中存在兩種操作運算子 1）.&操作符：取地址符  2）.*操作符：對指標進行解引用的操作 記憶體可以簡化為一系列

《健康日曆2019》 作者:丁香醫生 全文免費完整版pdf下載

內容簡介 ●酒喝多少才不會影響健康？喝咖啡會致癌？紅酒泡洋蔥真的能降壓？……你是否聽說過這些的健康資訊？ ●健康已成為每個人*為關切的話題，但也因這種心理，容易被網路上或周圍人的“健康”知識所影響，在不確定的情況下，被健康謠言擊中，繼而吃了苦頭。丁香醫生出品的《健康日

在知乎上給評論加入跳轉連結--XSS練手

今天在知乎上看到一個有意思的問題和回答，原連結在此： 大家在下面可以用連結作為回覆內容 連結到一些其他內容裡去。 然而知乎本身就有過濾，所以需要繞過過濾才可以。 自己寫的不好，找了找別人寫的，加以修改就可以了 <a href=<a href="..

python爬取知乎專欄文章標題及URL

# -*- coding:utf-8 -*- from selenium import webdriver import time # 執行程式要安裝selenium模組，並下載Chrome瀏覽器驅動

知乎上的一個對自制力的回答（轉）

做什麽 大眾 你知道 掌握 驅動 學生 而不是 自己 quest 原文鏈接：https://www.zhihu.com/question/38554523 作者：鳳紅邪鏈接：https://www.zhihu.com/question/38554523/answer/7

基於React+Mobx類知乎文章方面的單頁應用

前言 前幾個月學完React官方文件教程後準備寫一個部落格專案來實踐學習成果，寫完時總覺得部落格專案太簡單又爛大街，決定把原來的部落格專案改造升級成類知乎文章方面功能的專案。 專案詳細架構和原始碼地址：github.com/manyuewuxin… 實現功能 [x] 登入註冊 [x

在北京三年java開發經驗月薪16k，如何在四年經驗時要到20k？ - 暗滅的回答 - 知乎

中級後端程式設計師提升薪資的重要點在於： 1.專案經驗：支付，通知，微信，IM，簡訊等公用模組快迅實現。 2.程式碼質量：抽象封裝，日誌規範，釋出流程，快速定位。 3.效能優化：伺服器的記憶體，硬碟，資料增長量，頻寬，系統中最消耗效能的地方，一個請求需要呼叫哪些服務，每次訪問DB的時間是多久。

紅芯瀏覽器真的“安全”嗎？ - 傑洛特的文章 - 知乎 https://zhuanlan.zhihu.com/p/42482349

紅芯瀏覽器真的“安全”嗎？ - 傑洛特的文章 - 知乎 https://zhuanlan.zhihu.com/p/42482349   紅芯瀏覽器真的“安全”嗎？ 傑洛特 你說安全就安全？ 近日，紅芯瀏覽器“套殼”一事被網路輿論炒的沸沸揚揚。紅芯瀏覽器被官方標榜為

馬化騰在知乎提問基礎科學突破，為何1400條回答中沒有區塊鏈技術？

騰訊CEO馬化騰在知乎提了6年以來的第一個問題，沉寂已久的知乎社群迎來了久違的熱鬧景象。僅僅花了一天的時間，就有超過40000人關注了提問，285萬人瀏覽，並有超過1400條回答。讀幣哥上知乎看了下，發現排名前列的回答在馬化騰提問後第一時間就已發出，幾乎可以斷定是知乎官方向他們透題了。 毫無疑問

用 python 抓取知乎指定回答下的視訊

前言 現在知乎允許上傳視訊，奈何不能下載視訊，好氣哦，無奈之下研究一下了，然後擼了程式碼，方便下載視訊儲存。 接下來以 貓為什麼一點也不怕蛇？ 回答為例，分享一下整個下載過程。 除錯一下 開啟 F12, 找到游標，如下圖： 然後將游標移動到視訊上。如下圖： 咦這是什麼？視野中出現了一條神祕

python3爬取知乎某話題下的若干個問題及其回答

思路：通過selenium的webdriver實現頁面的點選、下來等操作。頁面完全載入後通beautifulsoup來查詢相應的標籤。將資料放到列表中，然後通過xlwt建立excel，並把資料存進去。 缺點：容易遇到效能問題。可能一個話題有很多的回覆，而對於往excel中插

用於爬取知乎某個話題下的精華問題中所有回答的爬蟲

思路 我的整個演算法的思路還是很簡單的，文字版步驟如下：1、通過話題廣場進入某個話題的頁面，避免了登陸註冊頁面的驗證，查詢到對應要爬取的話題，從 url 中得到話題id2、該頁面的所有資源採用了延遲載入，如果採用模擬瀏覽器進行載入的話還是很麻煩，經研究後發現知乎有前後端資料傳輸的api，所以獲取資料方面

知乎上一位朋友總結的特別好的spark的文章，很不錯以轉載！

private def addPendingTask(index: Int, readding: Boolean = false) { // Utility method that adds `index` to a list only if readding=false or it's not alr

【知乎答案】2018校招，筆試應該怎麼準備？|牛客網回答

作者：牛客網 連結：https://www.zhihu.com/question/64339583/answer/219703590 來源：知乎 著作權歸作者所有。商業轉載請聯絡作者獲得授權，非商業轉載請註明出處。