1. 程式人生 > >Python爬蟲實習筆記 | Week5 Daliy工作內容概要與反思

Python爬蟲實習筆記 | Week5 Daliy工作內容概要與反思

2018/11/12
1.所思所想:
今天上午搞分散式爬蟲專案,發現自己還是無法跑通,希望自己熟練之後能夠順利解決。
下午就是把自己的想法付諸實踐,就是將後臺指令碼進行封裝,從而有利於複用,自己有一本《重構》的書,很有可能對自己這方面的想法有幫助,等《國富論》看完後,就看這本書。
晚上自己的時間利用的不好,原因在於沒有制定比較明確的學習目標。我覺得合理的時間是5:30下班,6:00吃完飯,6:50到圖書館,7:00正式開始學習。之後必須付諸行動。

2.工作:
【1】.自己執行的簡單分散式爬蟲還沒有成功,目前停留在沒有task,可能是因為沒有傳引數的原因吧,下面繼續學習動態網站的抓取,掌握更多的爬蟲技能。
【2】.額外任務:56 通化
【3】.行政處罰:
170武漢市 17  http://hbj.wuhan.gov.cn/zjZcdxzjd/index.jhtml | main_tasks完成 main_punishment完成
171黃石市 17  http://hbj.huangshi.gov.cn/zwgk/xzcf1/index.html | main_tasks完成
172十堰市 17  pdf格式 未處理
173宜昌市 17 js動態載入,之後處理  http://xxgk.yichang.gov.cn/list.html?depid=873&catid=127#page=1
174襄陽市 17 http://hbj.xiangyang.gov.cn/hjxx/wryhjjgxxgkl/xzcf/  | main_tasks完成   額,,內容為圖片。。。
175鄂州市 17 http://hbj.ezhou.gov.cn/Ilist.aspx?itid=35  main_tasks和main_punishment完成
176荊州市 17 http://wap.hbj.jingzhou.gov.cn/news_list.aspx?category_id=136  -- 176是荊門

2018/11/13
1.所思所想:
事在人為,努力踐行!

2.工作:
【1】.
蔚藍地圖:
1.keycode的含義;
2.78-79行程式碼有問題;
3.99行頁碼超出最後一頁
4.80行url
5.99行頁碼超出最後一頁,沒有資料

2018/11/14
1.所思所想:
今天一天感覺到興奮和緊張。一是自己的實習工作任務蠻緊張,今天被安排了檢測的任務,但沒有壓力也不會有動力,會努力會加油!
下午主要就是把自己的行政處罰任務完成,然後還是按照自己的規劃,努力做好自己該做的就行。
中午和Momenta市場部實習生交流了會兒,我覺得自己的自信程度有待加強,待人處事雖要謙虛,但不能陷入自卑的境地,要努力挖掘自己的潛能,抱一顆平常心。
晚上看《國富論》看不進去,原因在於,一是和屈君交流,使自己感到心境不能平和,二是《國富論》文言格式,確實較難讀通,我覺得還是要多做筆記。

2.工作:
【1】.如果資料庫中有城市資訊,就選擇main_tasks不插入;
【2】.如果
177 孝感市 http://www.xghbj.gov.cn/news_list.aspx?type=102&dhid=1  額,內容以圖片和檔案
178 荊州市 在上面爬完
176 荊門市 完成
179 黃岡市 http://hbj.hg.gov.cn/wry/hjjc/xzcf/index.html
180 咸寧市 http://hbj.xianning.gov.cn/html/ShenXiGongKai/HuanBaoYeWuShenXiGongKai/HuanJing/HuanJingHuiFaAnJianChaChuShenXiGongKai/
181 隨州市 門戶已停 在政府網站沒找到
182 恩施土家族苗族自治州 http://hbj.enshi.gov.cn/zhbj/hjgl/xzcf/

2018/11/15
1.所思所想:
昨晚看了視訊《三十六計》,深感古人用兵之精進,能熟稔兵法者,既要有優秀的個人品質,也要有過人的智慧,由此方能成就自己成就國家。為了攻克趙國,孫臏給龐涓出了“上屋抽梯”的計策,一方面使己方士兵拼死一戰,另一方面斷了趙軍的退路,從而趙國投降,實在是妙。另龐涓與孫臏手足情誼,然龐涓卻因嫉賢妒才“笑裡藏刀”暗中陷害,忘卻利害關係終會使他後悔,比如沒有顧及謀士公孫對鍾離姑娘的喜愛,沒有包羅天下英才之心,如此等等。後來,孫臏“假痴不癲”,使自己求得生路,用“金蟬脫殼”之計逃亡齊國。
昨天上午,又認真看了蔚藍的程式碼,初次理解某物,一定要有足夠的耐心,要多思多問,方能求得真本領。
中午樓下的飯菜口感可人,要思考的是,如何省錢,以及如何吃的營養充足。
下午跑了動態網站的程式碼,終於跑通,涕泗橫流。明天接著看PhantomJS+Selenium部分。

2.工作:
【1】.將蔚藍那邊的程式碼看一下,再理解了一遍。
【2】.自己的動態網站抓取終於成功,但還是遇到了最後一個問題,就是,資料庫中居然沒有表的資訊,很奇怪,一定要搞明白。

2018/11/16
1.所思所想:
今天過得比較水,啊這周安排的任務早早地完成了,所以比較愜意,但不可大意,在專業上,自己不過燕雀而已。當我回顧系裡優秀同學,內心慚愧,我需要花更多的時間和精力去完善自己,這樣,才不至於使家人擔心,使自己自信,使朋友有所依靠。
齊國田忌大將軍與魏國常打敗仗,引得相國不屑與恥笑,後與大王賽馬,終不能贏,後聽從孫臏建議,“李代桃僵”,用下等馬的失利換取上等馬和中等馬的勝利,此乃真正勘察事情衝破思維桎梏也。後田忌將孫臏舉薦給大王,大王很欣賞。魏國伐趙,齊王猶豫不決是否救趙,孫臏切中要害,以“圍魏救趙”之計破龐涓之軍,此計旨在說明人或任何事物都有其精力的主要集中點,前部強大,必然後部空虛,擊打敵人柔弱部分,方能事半功倍。

2.工作:
把這周的任務轉成sql檔案發給劉鳳成學長,另外,把python網路爬蟲好好精熟下。