Python爬蟲學些什麼？？
根據一些公司招聘要求：綜合資料方能知道重點學些什麼？？
爬蟲
職位描述：
工作內容：
1、基礎系統架構、模組、庫和元件的研發；
2、分散式海量資料儲存和分析系統的研發和調優；
3、統計分析、報表、SaaS業務等系統研發；
4、CRM、財務結算、工作流等內部管理系統的研發。
能力要求：
1、至少使用PHP/Java/Python等一門以上語言，開發過不算太小的專案；
2、熟悉資料結構、DB、OS、Web開發等相關知識，對Linux相關的各類技術情有獨鍾；
3、有大規模、高效能網際網路網站系統相關的設計和開發經驗者優先；
4、具備良好的學習能力和成長潛力，渴望和團隊一起快速成長。
職位描述：
職位描述:
1、參與/負責Python Web Service的開發及架構設計，為使用者提供穩定可靠的服務
2、參與/負責研發人工智慧的資料抓取、機器學習的自動化資訊以及特徵提取系統，負責AI系統的後臺介面的開發和維護
3、參與/負責對百萬使用者的行為分析，研發資料分析平臺，個性化推薦系統等
職位要求：
* 3年以上Python開發經驗，精通Python基礎
* 熟悉linux環境下c開發，掌握網路併發模式
* 有Python web Service系統及高併發架構設計經驗
* 掌握Python專案效能分析
* 熟悉Python Web Framework，如Flask，Django
* 熟悉MySQL, redis，MongoDB等資料庫
* 熟悉Git，SVN等程式碼版本控制流程和工具
* 日常開發有單元測試，壓力測試、整合測試意識和習慣
* 學習能力強，有足夠的好奇心，有良好的溝通能力，具有良好的分析和解決問題的能力
加分項：
1. 對程式碼和設計質量有嚴格要求，重視Code Review，遵循業界Python程式碼規範
2. 有過開源專案貢獻者優先
職位描述：
【崗位職責】
負責線上服務資料平臺的設計和實現。主要實現語言為Python，開發環境為Linux。
【任職要求】
1.紮實的Python程式設計基礎，熟悉常用的開源庫；
2.深刻理解計算機原理，有良好的資料結構和演算法基礎；
3.具備良好的識別和設計通用框架及模組的能力；
4.熱愛技術，工作認真、嚴謹，對系統質量有近乎苛刻的要求意識，善於溝通與團隊協作；
5.有紮實的程式設計能力，有優秀的設計和程式碼品位, 熱愛程式設計；
6.具備大型網站或高併發系統開發、設計工作經驗者優先；
7.2年以上工作經驗，有創業經驗者優先。
參與資料抓取、資料清洗、資料融合、資料統計分析等工作。
【職位要求】
精通Python，2年或以上Python專案經驗；熟悉網路程式設計、多執行緒程式設計、大規模文字資料處理等，有良好程式碼風格；
熟悉常見的資料結構和演算法，有資料抓取/融合/挖掘經驗優先；
熟悉資料庫知識，熟練掌握SQL，熟悉redis/mongodb/rabbitmq等；
熟練使用Linux/Mysql/Gitlab/Vim等，1年或以上Linux平臺下的專案經驗，有shell程式設計基礎優先；
強烈的責任感，善於分析和解決問題，有較好的溝通和團隊合作的能力。
工作職責:
1，負責運維相關平臺設計和開發工作，參與運維體系建設；
2，參與相關平臺系統的日常管理和運維，參與系統相關的運維；
3，在運維和業務場景中快速完成專案；
任職資格:
1，具備Python實際專案經驗，熟練掌握Django、Tornado等任一Web開發框架，具有良好的編碼風格；
2，掌握Java"script" / HTML / XML / JSON / HTML5 / JQuery等相關技術；
3，接受定期輪崗到業務場景，處理業務需求；
4，熟悉Linux作業系統；
5，熟練掌握MySQL，瞭解NoSQL技術，熟悉git；
6，邏輯思維清晰，良好的文字和語言溝通表達能力，有良好的團隊合作精神；
7，深入瞭解運維平臺應用場景，具有運維平臺開發經驗者優先；
職位描述：
崗位職責：
1、研究各種網頁、app介面，探尋特點和規律
2、編寫抓取網際網路內容的爬蟲
3、研究優化演算法，提升爬蟲系統的穩定性、可擴充套件性
4、攻破各種反爬蟲
任職要求：
1本科以上計算機相關專業學歷，對資料分析與處理有著濃厚興趣
2.有二年以上Python開發經驗，有紮實的演算法、資料結構基礎
3.精通Python，掌握至少一種爬蟲框架（比如scrapy、pyspider等）
4.具有一定的分析能力和解決問題的能力。積極主動的工作態度，樂觀向上的價值觀，強烈的團隊合作意識。
崗位職責：
1、負責調研和收集網際網路可採集的資料範圍；
2、負責資料採集、清洗、關聯分析及資料庫設計部分；
3、完成公司交付的其他任務以及公司日常任務；
任職要求：
1、熟練使用Python語言以及常用的標準庫和第三方模組；
2、熟悉linux 環境下的開發
3、熟悉MySQL資料庫
4、熟悉scrapy或其他python爬蟲框架者優先；
5、具有較強的工作計劃性和實施執行能力，做事認真有效率，有耐心；
6、學習能力強，善於分析、思考問題。
1.大學本科及以上學歷，計算機相關專業，基礎紮實；
2.Python開發工作經驗1年以上，熟悉Python常用函式庫和包；
3.熟練掌握python，熟悉常用爬蟲框架中的一種或多種，熟悉Scrapy、Pyspider框架中的至少一種；
4.熟悉Linux；
5.熟悉MySql、Redis、MongoDB等資料庫，對SQL優化有一定的經驗；
6.熟悉網頁抓取原理及技術，熟練掌握正則表示式、XPath、CSS等網頁資訊抽取技術；
7.具有優秀的團隊合作和溝通協作能力，善於學習，能承受較大的工作壓力。
職位描述：
1、爬蟲系統開發和優化；
2、文件識別和提取；
3、網際網路資料採集。
專業素質要求：
1、熟悉Linux作業系統;
2、掌握python語言，有scrapy或者其他爬蟲開發經驗；
3、熟悉網頁抓取原理及技術，熟悉基於Cookie的網站登入原理，熟悉基於正則表示式、Xpath、CSS等網頁資訊抽取技術；
4、有全站爬蟲開發經驗優先。
職位描述：
崗位描述：
參與資料平臺爬蟲的實現和維護
根據業務需要不斷調整爬蟲策慮以提供高質量資料
參與部分資料清洗、分類等處理工作
任職要求：
有實際爬蟲實現經驗
熟悉常見反爬蟲策慮
熟悉正則表示式
熟悉網頁結構及常用爬取解析方式
熟練使用 Python 語言，熟悉 linux 環境下的開發
程式碼風格良好，嚴格遵守 PEP8 規範
優先考慮：
參與過資料探勘或機器學習專案
熟悉 MongoDB
在 github 有相關領域的開源專案
有相關領域的技術部落格、專欄
有文件撰寫習慣
職位描述：
崗位描述：
參與資料平臺爬蟲的實現和維護
根據業務需要不斷調整爬蟲策慮以提供高質量資料
參與部分資料清洗、分類等處理工作
任職要求：
有實際爬蟲實現經驗
熟悉常見反爬蟲策慮
熟悉正則表示式
熟悉網頁結構及常用爬取解析方式
熟練使用 Python 語言，熟悉 linux 環境下的開發
程式碼風格良好，嚴格遵守 PEP8 規範
優先考慮：
參與過資料探勘或機器學習專案
熟悉 MongoDB
在 github 有相關領域的開源專案
有相關領域的技術部落格、專欄
有文件撰寫習慣
職責：
- 探索並實踐前沿爬蟲技術與儲存技術
- 分散式爬蟲系統的開發，維護，與優化
- 對接第三方資料來源，清洗入庫
- 編寫資料分析指令碼
要求：
- 熱愛技術，對解決具有挑戰性問題富有激情，學習能力和求知慾強
- 具備強悍的編碼能力，內功紮實
- 熟悉linux開發環境，熟悉python，畢竟life is short
- 有過分散式爬蟲開發經驗者優先
- 熟悉scrapy/redis/mongodb/mysql者優先
- 一線大學計算機或相關專業
- 閱讀英文技術文件無障礙
崗位職責：
1、完成產品軟體模組規劃、設計；
2、完成產品智慧推薦、使用者評價反饋模組開發；
3、搭建網際網路資料採集平臺，實現視覺化分散式網路爬蟲設計。
任職要求：
1、計算機相關專業，本科以上學歷；3年以上爬蟲開發相關經驗，熟練使用Python進行開發；
2、熟練使用正則表示式、css path、xpath等，能夠從結構化的和非結構化的資料中獲取資訊；
3、精通一種開源爬蟲框架，如scrapy、webmagic、nutch、heritrix等，有開發爬蟲框架經驗優先；
4、參與過實現專案編碼開發。
加分項：瞭解NLP演算法、機器學習、資料探勘等。
1、計算機相關專業，一本院校本科及以上學歷；
2、3年以上工作經驗，其中至少1年爬蟲技術領域的工作經驗；
3、精通Python語言，有go、java等其他語言開發經驗者優先，有紮實的資料結構和演算法功底；
4、理解http，熟悉html, DOM, xpath, scrapy等，精通網頁抓取原理及技術、正則表示式，能從結構化的和非結構化的資料中獲取資訊；
5、熟悉爬蟲、種子、去重、提取、過濾、分發、DNS cache、非同步處理等概念和過程；
6、熟悉linux開發環境，熟練使用Mysql，熟悉Nosql資料庫如mongoDB,Redis等；
7、瞭解Hadoop、Spark等大資料框架和流處理技術者優先。
*計算機相關專業統招本科及以上學歷；
*精通python語言，3年以上python專案開發經驗；
*熟悉restful api設計風格和規則；
*熟悉scrapy或其他python爬蟲框架；
*熟悉http協議，瞭解tcp/ip協議；熟悉linux系統；
*瞭解tornado,或flask、django框架，並深入瞭解其中一種；
*有較多的web站點爬取、開發經驗，至少熟悉一種指令碼語言（python、lua等）；熟悉網頁抓取原理及技術，熟悉基於Cookie的網站登入原理，熟悉基於正則表示式、Xpath、CSS等網頁資訊抽取技術；
熟悉多執行緒，熟悉使用至少一種關係型資料庫（MYSQL)等，熟悉NOSQL、hbase技術者優先；
*良好的程式設計風格，對整潔程式碼有追求；良好的溝通能力和團隊合作精神。
職位職責：
-負責分散式爬蟲spider的開發
-研究各種網站、網頁、連結的形態，發現它們的特點和規律
-設計各種策略和演算法，提升spider的抓取效果
-分析spider的技術缺陷，對spider做出合理地調整或改進
-負責spider系統的升級和維護
任職要求：
-熱愛網際網路，對搜尋技術、探索未知領域有濃厚的興趣
-優秀的分析問題和解決問題的能力，對解決具有挑戰性問題充滿激情
-精python語言程式設計，熟悉linux平臺
-對資料結構和演算法設計有較為深刻的理解
-具有良好的溝通能力，和良好的團隊合作精神
-搜尋相關領域如網頁抓取、解析/資訊挖掘/統計分析工作經驗、多語言研發經驗優先