1. 程式人生 > >Python爬蟲實習筆記 | Week7 Daliy工作流水

Python爬蟲實習筆記 | Week7 Daliy工作流水

2018/11/26
1.所思所想
今天決心把一週的任務全部完成,這樣,我就能安心做好自己的事情,之前制定好的計劃——11,12月學完Python和MySQL,不能有任何妥協,在12月中旬前把Python核心程式設計前8Chapters及流暢的Python看完,如果需要花晚上時間也在所不惜。12月中旬到下旬,看完MySQL前8chapters。路漫漫,自己需要提升的地方還有很多。
2.工作
【1】今天主要是開會,開會自己很難聽進去,原因在於自己對所提到的內容沒有興趣,對提到的內容還沒有入手。之後需要不斷端正態度,努力做好。
【2】信用等級任務的爬取,這周任務很快完成。
今天試著將鄂州市的圖片記錄轉化為文字,發現效果不是很好。。

2018/11/27
1.所思所想
今天一直擔心自己所學可能在專案中根本用不上,但是否值得繼續學習呢,我覺得自己不應該抱持著功利主義者的想法,而應從後端工程師的職業發展角度來思考,這些確實是我所必須掌握的,而且後期還需要花很多時間去彌補的。所以說,是值得的。另外,今天看了別人的簡歷,雖然說簡單明白,自己在這些方面還沒有達到熟稔的地步,需要自己潛心修煉,達到自己理想的境界。
2.工作
【1】.Python網路程式設計看完,明天總結下。
【2】.Python多執行緒程式設計開始看起。

2018/11/28
1.所思所想
今天上午便把多執行緒程式設計看了下,主要是threading模組,它有3種主要的實現,分別是傳函式、傳類和子類繼承。其次多執行緒程式設計只適合IO密集型的應用,對於計算密集型的應用,應使用多程序程式設計。之後多加總結,以求進步。

2.工作
題庫
河南省
161-168
161 許昌市 get
162 漯河市 get
163 三門峽 檔案 http://www.smxhb.gov.cn/index.aspx?lanmuid=76&sublanmuid=1132
164 南陽市 http://www.nyhbj.gov.cn/index.php?m=content&c=index&a=show&catid=85&id=1553 沒找到
165 商丘市 aspx  http://shbj.shangqiu.gov.cn/Category_419/Index.aspx
166 信陽市 沒找到
167 周口市 asp http://www.zkhb.gov.cn/newslist.asp?page=1&cid=32
168 駐馬店市 http://www.zmdhbj.gov.cn/zmdhbj/vip_doc/12803392_683491_0_1.html

2018/11/29
1.所思所想:
潛心修煉Python基本功,當我和學長們交流,以及看學長們的程式碼時,覺得自己目前實力還遠遠不夠,目前的主要問題在於Python基礎還不牢靠,週一把Python網路程式設計和多執行緒程式設計好好總結下。另外,開始看Python資料庫程式設計部分。網上的廖雪峰Python也需要每天看半小時,記錄不足;Python框架還是要看的,一是Django,一是Scrapy。

2.工作
網路程式設計繼續 + 開會

2018/11/30
1.所思所想:
暫時的落後並不代表一切,只有努力向上,才能破釜沉舟,贏得對未來的自信。
jieba
自然語言處理
scrapy框架
flask框架
驗證碼的處理
檢測 --- 從黃云云走 到現在的更新; 能否實現定時更新
處罰 --- 下一頁 頁碼的獲取
流暢的Python