1. 程式人生 > >前嗅ForeSpider教程:IP代理設定

前嗅ForeSpider教程:IP代理設定

浪費了“黃金五年”的Java程式設計師,還有救嗎? >>>   

今天,小編主要為大家介紹一下:前嗅ForeSpider中的IP代理設定,主要內容包括:啟用IP代理,靜態代理設定,動態代理設定,這三大部分。

具體內容如下:

一,啟用IP代理

啟用IP代理採集時,需要進行代理配置。

1.啟用IP代理

需選中“啟用IP代理”,才能啟用IP代理功能。

【啟用代理IP】

2.啟用代理加速

啟用代理加速後,可以在採集過程中自動篩選無效和低效率的代理IP(遮蔽錯誤率超過50%,請求次數>3次的IP),優先使用高效的代理,提升採集的效率和資料質量。

3.本機IP混用策略

當代理IP失效時,選擇是否啟用本地網路。

4.新增代理

啟用代理後,在IP資源列表中點選“+”新增一個資源,在彈框中填寫資源名稱,選擇靜態動態代理,填寫請求頻率和備註。

【新增IP】

建立好ip資源之後,點選頁面右側的加號,填寫IP地址,埠選擇代理型別,填寫使用者名稱和密碼。這樣代理IP就配置好了。

二,靜態代理配置

以阿布云為例,購買之後會展示在阿布雲官網的http隧道中。

1.建立IP資源

啟用代理IP之後,點選IP資源列表左側加號,填寫代理資源名稱,請求頻率對照購買的每秒請求數填寫點選確定,並勾選點選儲存。

注意:在阿布雲買的是動態代理,但是在軟體中需設定為靜態代理。

【配置靜態IP】

2.新增代理

點選右側加號新增代理,對應關係見下表:

新增好代理賬號,點選儲存就完成了代理IP的配置。

【配置靜態IP】

三,動態代理配置

以無憂代理為例,對照下圖配置:

1.建立IP資源

①請求頻率:每秒每個IP所允許的請求次數,某些代理商對此有所限制時,需要填寫。

②服務埠:對並行執行軟體時有效,多程序共享代理IP時需要填寫。

【配置動態IP】

2.右側需要選擇的內容

①協議型別:選擇代理的協議型別,軟體支援http/https/socket代理。

②返回格式:選擇動態IP的返回格式。包括未知、Text、Json、XML。

③重新整理週期:指代理IP的有效時長。

④請求地址:貼上代理商的請求地址。

⑤POST DATA:根據代理不同,post請求的情況下填寫該內容。

相關推薦

ForeSpider教程IP代理設定

浪費了“黃金五年”的Java程式設計師,還有救嗎? >>>   

ForeSpider教程通過連結列表採集正文資料(不翻頁)

第一步:新建任務 ①點選左上角“加號”新建任務,如圖1: 【圖1】 ②在彈窗裡填寫採集地址,任務名稱如圖2: 【圖2】 ③點選下一步,選擇進行資料抽取還是連結抽取,本次採集當前列表頁新聞的正文資料,正文資料是通過點選列表連結進入的,所以本次需要抽取列表連結,所以點選抽取連結,如圖3:

ForeSpider教程採集表格/列表頁中的資料(翻頁)

以孔夫子舊書網的最近出版板塊為例(http://www.kongfz.com/1004/)為例,採集列表頁的所有資料:第一步:新建任務①擊左上角“加號”新建任務,如圖1: ②在彈窗裡填寫採集地址,任務名稱如圖2:③點選下一步,選擇進行資料抽取還是連結抽取,本次採集需要採集當前板塊的列表頁所有內容,所以只需要在

ForeSpider教程通過鏈接列表采集正文數據(不翻頁)

第一步 模板 ges 關聯關系 shtml nag type resp 下拉 第一步:新建任務 ①點擊左上角“加號”新建任務,如圖1: 【圖1】 ②在彈窗裏填寫采集地址,任務名稱如圖2: 【圖2】 ③點擊下一步,選擇進行數據抽取還是鏈接抽取,本次采集當前列表頁新聞的正文

ForeSpider教程采集表格/列表頁中的數據(不翻頁)

fcc 新建 數據抽取 抽取 模板 images 圖片 esp 數據 第一步:新建任務 ① 擊左上角“加號”新建任務,如圖1: 【圖1】 ②在彈窗裏填寫采集地址,任務名稱如圖2: 【圖2】 ③點擊下一步,選擇進行數據抽取還是鏈接抽取,本次采集需要采集當前頁面列表中的所有內容

ForeSpider教程通過連結列表採集正文資料(翻頁)

第一步:新建任務 ①點選左上角“加號”新建任務,如圖1: 【圖1】 ②在彈窗裡填寫採集地址,任務名稱如圖2: 【圖2】 ③點選下一步,選擇進行資料抽取還是連結抽取,本次採集當前列表頁新聞的正文資料,正文資料是通過點選列表連結進入的,所以本次需要抽取列表連結,所以點選抽取連結,如圖3: 【圖

ForeSpider教程通過子欄目進入連結列表採集正文資料 第一步新建任務

第一步:新建任務 ①點選左上角“加號”新建任務,如圖1: 【圖1】 ②在彈窗裡填寫採集地址,任務名稱,如圖2: 【圖2】 ③點選下一步,選擇進行資料抽取還是連結抽取,本次採集當前頁面子欄目下的列表房源的正文資料,子欄目房源列表是通過點選子欄目連結進入的,所以本次需要抽取子欄目連結,所以點選抽取連

ForeSpider教程采集圖片/視頻/資源文件的鏈接地址

https 對待 鏈接類型 點擊 方法 軟件 ddc RoCE 介紹 昨天為大家介紹了如何采集圖片/視頻/資源文件後,有小夥伴問我如何采集他們的鏈接地址,今天小編就為大家演示如何采集圖片/視頻/資源文件的鏈接地址,操作如下:第一步:新建任務 ①點擊左上角“加號”新建任務,如

ForeSpider教程采集360問答

建表 取值 分享 text mar 表頭 ges b16 得到 今天,小編來教大家如何采集論壇自媒體類網站的數據,以采集360問答為例,為大家進行演示操作,該操作同樣適用於其他類似網站:第一步:新建任務 ①點擊左上角“加號”新建任務,如圖1:②彈窗裏填寫采集地址,任務名稱,

ForeSpider教程采集需要登陸的網頁內容

需要 網頁跳轉 ref 進入 軟件 dba 問題 htm bbs 第一步:新建任務①點擊左上角“加號”新建任務,如圖1:【圖1】②彈窗裏填寫采集地址,任務名稱,開啟手動登錄配置,如圖2:【圖2】若未在此處開啟登錄配置,可在模板抽取配置中點擊相應的模板,開啟登錄配置,如圖3。

ForeSpider教程采集CSDN

是否 我們 教程 pid 方法 spider src spi 爬蟲 以CSDN(https://blog.csdn.net/nav/career)為例,采集當前列表頁博文的正文數據:第一步:新建任務①點擊左上角“加號”新建任務,如圖1:【圖1】②在彈窗裏填寫采集地址,任務名

ForeSpider教程采集網頁鏈接/源碼/時間/重定向地址等

文本 title 進行 resp bae spi -o 默認 新建 第一步:新建任務①點擊左上角“加號”新建任務,如圖1:【圖1】②彈窗裏填寫采集地址,任務名稱,如圖2:【圖2】③ 點擊下一步,勾選抽取鏈接,選擇網頁內所有鏈接,如圖3:【圖3】④完成後模板抽取配置列表有一個

ForeSpider教程采集列表和正文的數據

cto 添加 ddd 重名 sha 目標地址 得到 分享 彈窗 第一步:新建任務①點擊左上角“加號”新建任務,如圖1:【圖1】② 彈窗裏填寫采集地址,任務名稱,如圖2:【圖2】③點擊下一步,選擇進行數據抽取還是鏈接抽取,本次采集當前頁面子欄目下的列表房源的正文數據,子欄目房

ForeSpider教程采集新浪新聞

caf ddb text 命名 表單 term 選區 ctrl 進行 最近後臺有很多童鞋問怎麽采集新聞,今天小編以采集新浪新聞為例,來為大家進行演示,同樣適用於其他新聞網站的采集,具體操作如下: ? 第一步:新建任務 ①點擊左上角“加號”新建任務,如圖1:?②在彈窗裏填寫采

ForeSpider教程采集中國證券網

圖片 mark log 彈窗 roc ctrl+鼠標 sns 采集 分享 前幾天有人問如何采集中國證券網,小編整理了一下,在此為大家做一下演示,同樣適用於其他金融經濟型的網站: ? 第一步:新建任務 ①點擊左上角“加號”新建任務,如圖1:②在彈窗裏填寫采集地址,任務名稱,如

ForeSpider指令碼教程運算子與運算順序

開發十年,就只剩下這套架構體系了! >>>   

ForeSpider指令碼教程基礎物件(三)

開發十年,就只剩下這套架構體系了! >>>   

ForeSpider指令碼教程連結過濾指令碼

開發十年,就只剩下這套架構體系了! >>>   

ForeSpider指令碼教程資料抽取指令碼

開發十年,就只剩下這套架構體系了! >>>   

mysql預設字元編碼設定教程my.ini設定字元編碼

  轉載2016-06-07 21:49:26 標籤:mysql 本文介紹了MySQL資料庫中預設字元編碼的設定方法,如何設定與修改mysql預設編碼,my.ini設定字元編碼的教程,需要的朋友參考下。 本節重點: mysql基礎配置之mysql的預設字元編碼的設定(m