潭州課堂25班:Ph201805201 爬蟲高階 第十二 課 Scrapy-redis分佈 專案實戰 (課堂筆記)
建代理池,
1,獲取多個網站的免費代理IP,
2,對免費代理進行檢測,》》》》》攜帶IP進行請求,
3,檢測到的可用IP進行儲存,
4,實現api介面,方便呼叫,
5,各個元件 的除錯,
西剌代理:
http://www.xicidaili.com/nn/
66 IP代理
http://www.66ip.cn/
快代理
https://www.kuaidaili.com/free/
相關推薦
潭州課堂25班:Ph201805201 爬蟲高階 第十二 課 Scrapy-redis分佈 專案實戰 (課堂筆記)
建代理池, 1,獲取多個網站的免費代理IP, 2,對免費代理進行檢測,》》》》》攜帶IP進行請求, 3,檢測到的可用IP進行儲存, 4,實現api介面,方便呼叫, 5,各個元件 的除錯, 西剌代理: http://www.xicidaili.com/nn/ 66
潭州課堂25班:Ph201805201 django框架 第十二課 自定義中介軟體,上下文處理,admin後臺 (課堂筆記)
中介軟體 在專案主目錄下的配置檔案 在專案主目錄下建立檔案 寫個自定義異常處理 方法1 要讓其生效,要在主目錄下,的中介軟體中進行註冊 主目錄下.該檔名.類名 在進入檢視函式之前進行判斷, 給 request 新增屬性 方法2
潭州課堂25班:Ph201805201 爬蟲基礎 第七課 Python與常見加密方式 (課堂筆記)
加密算法 string 寫法 one python dac 獲得 分解 符號 前言 我們所說的加密方式,都是對二進制編碼的格式進行加密的,對應到Python中,則是我們的Bytes。 所以當我們在Python中進行加密操作的時候,要確保我們操作的是Bytes,否則就會報錯。
潭州課堂25班:Ph201805201 爬蟲基礎 第一課 (課堂筆記)
這一 變化 提交數據 http 正常的 分類 求和 風險 tls 爬蟲的概念: 其實呢,爬蟲更官方點的名字叫數據采集,英文一般稱作spider,就是通過編程來全自動的從互聯網上采集數據。比如說搜索引擎就是一種爬蟲。爬蟲需要做的就是模擬正常的網絡請求,比如你在網站上點擊一個網
潭州課堂25班:Ph201805201 django框架 第三課 模板路徑,變數,過濾器,靜態檔案的引用 (課堂筆記)
第二種方法 首先 'APP_DIRS': True, 將 app 的名字在 INSTALLED_APPS 進行註冊 模板變數 傳的
潭州課堂25班:Ph201805201 django框架 第四課 模板常用標籤,模板繼承與引用,自定義過渡器 (課堂筆記)
建好這些檔案後,對 url 進行配置 在瀏覽器中訪問 for 迴圈 頁面跳轉: 騎過 name
潭州課堂25班:Ph201805201 django框架 第五課 自定義簡單標籤,包含標籤,模型類建立,梳理類建立 (課堂筆記)
自定義標籤同自定義過渡器一樣,要建立檔案,在配置檔案中以APP方法註冊,對方法進註冊,在 html 檔案中引入,.. 由模板傳參 在 在配置檔案中改時區: 由檢視函式傳參 &nbs
潭州課堂25班:Ph201805201 django框架 第六課 模型類增刪改查,常用 的查詢矣查詢條件 (課堂筆記)
在檢視函式中寫入增刪改查的方法 增: 在 urls 中配置路徑 : 查: 1: 在後臺列印資料 在模型類中新增格式化輸出 : QuerySet,反回的是個物件,可以按索引聚會,用 for
潭州課堂25班:Ph201805201 django框架 第七課 常用 欄位型別及引數,關係表的實現,表關係物件add,create的方法 (課堂筆記)
寫個類,建立表格 執行命令生成檔案 提交,在資料庫中建立 進入資料庫檢視 對資料進行修改操作 只有用到 save() 才能觸發 updaer_time 的更改,
潭州課堂25班:Ph201805201 django框架 第九課 GET,POST 請求 檔案上傳,HttpResponse,cookie (課堂筆記)
在專案中新建個APP, 在主目錄中的配置檔案中進行 APP 註冊 在主目錄中的 urls 檔案中進行路徑分配 新建 urrls 檔案 進行分路由配置 建立模板檔案 html 檔案 寫個 form 表單 HttpRequest物件 form 表單的 get 請求, re
潭州課堂25班:Ph201805201 django框架 第十三課 自定義404頁面,auth系統中的User模型,auth系統許可權管理 (課堂筆記)
當 DEBUG=True 時,django 內部的404報錯資訊, 自帶的報錯資訊, 要自定義404資訊,要先把 DEBUG=False , 之後要自定義4040頁面,有兩種方法, 方法1,在建立404頁面 這樣就配置完成,當訪問不存在的頁面時,跳轉到自定義的4
潭州課堂25班:Ph201805201 第七課:控制流程 (課堂筆記)
偶數 簡寫 def ont 三目運算 bre ID 正常 abcd # 條件判斷 s = ‘儲蓄卡‘ if s == ‘男‘: # 如果if 表達式成立 ,則執行下級語句 print(‘男性‘) elif s == ‘女‘: #
潭州課堂25班:Ph201805201 第十一課 繼承,多繼承和魔術方法,屬性和方法 (課堂筆記)
筆記 父類 當前 TE -s __del__ color true ont 繼承: class p : cls_name = ‘p‘ def __init__(self): print(‘正在實例化‘) def __del__(se
潭州課堂25班:Ph201805201 第十三課 文件 (課堂筆記)
退出 列表 cell 第一個 設置 字符 如果 adl 一行 對文件的操作, open(‘h:\\asa.txt‘) r 以只讀方式打開 w 以寫入方式打開,會覆蓋已文件
潭州課堂25班:Ph201805201 第十五課 叠代器,生成器 (課堂筆記)
update hex color encode dom edi 三元表達式 內置變量 utf8 推導表達式 li1 = list() for i in range(10): # 叠代循環內容 li1.append(i) print( li1 ) --
cc潭州課堂25班:Ph201805201 MySQL第二課 (課堂筆記)
into 一個表 增長 In auto 有一個 mod var 作用 mysql> create table tb_2( -> id int, -> name varchar(10) not null -> ); 插入數據
潭州課堂25班:Ph201805201 WEB 之 Ajax第八課 (課堂筆記)
筆記 this elements 當前 ajax each yellow ctype tag js 《——》jq <!DOCTYPE html> <html lang="en"> <head> <meta charset=
潭州課堂25班:Ph201805201 django 項目 第四課 項目搭建 課堂筆記)
數據 bubuko 搭建 刷新 info 項目 文件 應該 space 創建一用戶,授予對這個 myblog 庫的所有表的權限(.*),在任何 ip 地址中訪問(@“%”), 刷新: 退出,用新創建的用戶登錄,並進入這個庫, 在昨天創建的項目中,配置
潭州課堂25班:Ph201805201 django 專案 第七課 使用者模型設計 (課堂筆記
在 user 的應用中的 models.py: 檢視類的結構: 檢視類的繼承關係, 使用者模型設計 : from django.db import models from django.contrib.a
潭州課堂25班:Ph201805201 django 專案 第八課 註冊功能分析,圖片驗證碼檢視設計 (課堂筆記)
1,使用者名稱 是否已註冊 2,手機號 是否被註冊 3,圖形驗證碼 4,簡訊驗證碼, 5,驗證成功後,向後臺提交資料:使用者名稱,密碼,手機號,簡訊驗證 要寫這五個檢視, 獲取圖形驗證碼,請求方式:get&nb