爬蟲系統概要設計說明書

目 錄

第1章 引言. 4

1.1 編寫目的.... 4

1.2 背景.... 4

1.2.1 專案名稱.... 4

1.2.2 專案的設計者.... 4

第2章 任務概述. 4

2.1 目標.... 4

2.2 假定和約束.... 4

第3章 概要設計. 5

3.1 現有系統.... 5

3.2 升級後系統.... 5

3.2.1 頁面原型.... 5

3.2.2 狀態轉換圖.... 6

1. 引言
   1. 編寫目的

本文件的編制是為了使使用者和系統開發人員雙方對整個系統的執行環境、功能和效能要求的初始規定有一個共同的理解，使之成為爬蟲系統開發工作的基礎，併為概要設計提供需求分析。

本說明書的預期讀者為客戶、監理人員、業務或需求分析人員、測試人員、使用者文件編寫者、專案管理人員。

1. 1. 背景
      1. 專案名稱

爬蟲系統

1. 1. 1. 專案的設計者

北京榮程創新科技發展股份有限公司

1. 任務概述
   1. 目標

本專案為實現爬蟲系統的自動化執行，儘量減少進行人工干預，做出系列化改造。

1. 1. 假定和約束

環境假定：假定應用使用者具備本系統軟體所需要的執行環境。

使用者假定：假定最終操作使用者和管理員使用者具備基本的計算機基礎知識和良好的計算機操作能力和水平

1. 概要設計
   1. 現有系統

1. 1. 升級後系統
      1. 頁面原型

查詢頁面：

●增加任務佇列的增刪改查功能。每個任務佇列，對應一個爬取任務。

●增加任務開始和暫停功能，同一時刻只能執行一個任務。

●增加當失敗任務重新爬取功能，失敗任務重試三次。

●系統自動完成任務排程並執行。

●增加任務匯入功能，通過execl表格匯入相應佇列的爬取任務。表格格式如下：

●增加任務結果匯出功能，欄位：url、type、result

新建頁面：

1. 1. 1. 狀態轉換圖