1. 程式人生 > >Python爬蟲雲伺服器搭建系列之一:環境搭建

Python爬蟲雲伺服器搭建系列之一:環境搭建

簡介

本文所用到的雲伺服器是阿里雲:Ubuntu 16.04 64位

0x00:建立例項並啟動伺服器

本節跳過

0x01:登陸伺服器

工具:putty
安裝putty後輸入ipport(預設22),連線型別選擇SSH(預設),儲存save session,下次直接進入。
完了後點擊open
這裡寫圖片描述
輸入賬號密碼:
這裡寫圖片描述
賬號預設為root,密碼可以到網頁端ecs例項-更多-重置密碼,然後重啟例項:
這裡寫圖片描述
這裡寫圖片描述

0x02:安裝爬蟲元件

  1. sudo apt-get update,首次進入,update一下,以後根據需要再update;
  2. pip install scrapy,Ubuntu16.04預裝Python 3.5.3和Python 2.7,即使用的是Python 3,還是用pip
    安裝,pip3會有問題;
  3. 其它元件就先略過,根據需要再安裝。

0x03:上傳Scrapy爬蟲專案

工具:FileZilla
安裝後開啟軟體,依次輸入主機HOST、使用者名稱、密碼、埠號,點選快速連線。
這裡寫圖片描述
將專案資料夾上傳到對應的目錄:
這裡寫圖片描述

0x04:執行爬蟲專案

  1. 到putty客戶端cd scrapyprojects/jdcomment
  2. Run:Python3 main.py
    這裡寫圖片描述

以上。

相關推薦

Python爬蟲伺服器搭建系列之一環境搭建

簡介 本文所用到的雲伺服器是阿里雲:Ubuntu 16.04 64位。 0x00:建立例項並啟動伺服器 本節跳過 0x01:登陸伺服器 工具:putty 安裝putty後輸入ip和port(預設22),連線型別選擇SSH(預設),儲存save

大資料學習系列之一 ----- Hadoop環境搭建(單機)

一、環境選擇 1,伺服器選擇 阿里雲伺服器:入門型(按量付費) 作業系統:linux CentOS 6.8 Cpu:1核 記憶體:1G 硬碟:40G ip:39.108.77.250 2,配置選擇 JDK:1.8 (jdk-8u144-linux-x64.tar.gz

CNTK與深度強化學習筆記之一 環境搭建和基本概念

如需轉載,請指明出處。 前言 深度強化學習是人工智慧當前的熱點,CNTK也是微軟力推的深度學習框架,2.x版本比之前有了長足的進步。目前國內將這兩者融合起來的文章還不多。因此寫作了這個學習筆記,希望能對大家有所幫助。 硬體,開發環境以及CNTK安裝 CN

UNIX v6原始碼分析除錯之一環境搭建 -- Ubuntu單步除錯系統程式碼

UNIX v6(x86)版本的程式碼短小精悍,非常值得學習除錯。而且程式碼量比較少,容易找到方向。我使用的Ubuntu 12.04 32位的系統。首先下載程式碼,下載地址 https://github.com/guilleiguaran/xv6。該版本的程式碼能執行在x86平

Ext4.2.1學習歷程之一環境搭建及Hello ExtJS4.2

原文出處    http://blog.itpub.net/28562677/viewspace-1066765/ 1、從官網下載ExtJS4.2資源包,解壓開有原始碼、API文件、演示程式; 2、官網地址:http://www.sencha.com/products/e

Weex開發體驗之一環境搭建及調測

搭建開發環境 參考文件 本機開發環境 windows7 64bit 搭建步驟 下載node node包括javascript的執行環境和npm; 下載地址:https://nodejs.org/zh-cn/download/ 安裝好後,檢測

輕鬆上系列之一本地資料遷移上

背景資訊在雲端計算服務高速發展的今天,如何方便快捷地將已有的伺服器系統遷移上雲,有著非常重要的意義。阿里雲伺服器遷移服務方案,即遷移服務,正是在這個需求背景下應運而生。它極大地簡化了伺服器系統遷移工具的使用條件、降低了使用成本,使使用者的系統一鍵遷移到阿里雲成為可能。 使用遷移服務來進行系統遷移比較便捷,您

輕松上系列之一本地數據遷移上

mysql 實踐 目標 mysqldump mysq 應用 重要 動態 雲服務器 背景信息在雲計算服務高速發展的今天,如何方便快捷地將已有的服務器系統遷移上雲,有著非常重要的意義。阿裏雲服務器遷移服務方案,即遷移服務,正是在這個需求背景下應運而生。它極大地簡化了服務器系統遷

爬蟲 Scrapy 學習系列之一Tutorial

前言 筆者打算寫一系列的文章,記錄自己在學習並使用 Scrapy 的點滴;作者打算使用 python 3.6 作為 Scrapy 的基礎執行環境; 本文為作者的原創作品,轉載需註明出處; 備註:本文轉載自本人的部落格,傷神的部落格:http://www.shangyang.me/2017

《轉》VMware vSphere 5.1 學習系列之一實驗環境搭建

目 錄 一、 物理主機配置… 1 二、 實驗環境規劃… 1 實驗環境規劃詳情… 1 設定VMware Workstation記憶體選項… 2 三、 建立虛擬機器… 4 建立VMware Workstation虛擬機器… 4 修改VMware Workstat

自學Python系列之一Win7下Eclipse + PyDev配置Python + PyQt4開發環境

下載相關軟體 安裝jre、Python、PyQt,安裝採用預設設定,一路點Next即可 作業系統為:Windows 7 旗艦版 64bit 軟體版本如下: jre-8u101-windows-x64.exe python-3

一個鹹魚的Python爬蟲之路(三)爬取網頁圖片

you os.path odin 路徑 生成 存在 parent lose exist 學完Requests庫與Beautifulsoup庫我們今天來實戰一波,爬取網頁圖片。依照現在所學只能爬取圖片在html頁面的而不能爬取由JavaScript生成的圖。所以我找了這個網站

VGA系列之一VGA顯示網絡圖片

參數 sed 學習 nal 計數 2個 導入 查看 這一 一休哥是在讀研究生的時候開始正式接觸FPGA的,之所以這麽說呢,是因為之前本科參加電賽的時候也學過一點FPGA的知識,可惜學習周期太短導致那次電賽慘敗。可能世上就是有這麽巧的事,剛上研究生的第一天,老板就給了我一塊F

初識RabbitMQ系列之一簡單介紹

核心概念 out queue producer 概念 images logs 紅色 .org 一:RabbitMQ是什麽? 眾所周知,MQ是Message Queue(消息隊列)的意思,RabbitMQ就是眾多MQ框架其中的一款,開源實現了AMQP協議(官網:http:/

緩存系列之一buffer、cache與瀏覽器緩存

網站 按鈕 強制 根據 3.4 發生 htm 多少 pan 緩存系列之一:buffer、cache與瀏覽器緩存 一:緩存是為了調節速度不一致的兩個或多個不同的物質的速度,在中間對速度較快的一方起到一個加速訪問速度較慢的一方的作用,比如CPU的一級、二級緩存是保存了CPU最近

數據庫面試系列之一內連接和外連接

數據庫 面試 log 全外連接 nbsp 結果 連接 -1 .cn 內連接是返回關系表中既滿足查詢條件又滿足連接條件的元組 外連接是返回關系表中滿足查詢條件的但不一定滿足連接條件的元組 外連接分為:左外連接,右外連接,全外連接 左外連接是返回左表中滿足查詢條件但不一定滿

23個Python爬蟲開源項目代碼爬取微信、淘寶、豆瓣、知乎、微博等

公眾 mon 成交 個人 標簽 req 不同 數據存儲 百度雲盤 來源:全球人工智能 作者:SFLYQ 今天為大家整理了23個Python爬蟲項目。整理的原因是,爬蟲入門簡單快速,也非常適合新入門的小夥伴培養信心。所有鏈接指向GitHub,祝大家玩的

項目管理碎碎念系列之一幹系人管理

關系 mbo ans con lock iar odi 所在 alt 初次見到“項目幹系人”這個詞,我是有點蒙圈的,因為這不太符合中文平時的表達。 其實所謂“項目幹系人”,英文稱作“Project Stakeholder”,翻譯成利益相關者,對其含義就一目了然

Appium python自動化測試系列之appium環境搭建(二)

ftp 自動化 手動 文件 搭建環境 做到 安裝python reg 成員 ?2.1 基礎環境搭建 當我們學習新的一項技術開始基本都是從環境搭建開始,本書除了第一章節也是的,如果你連最基礎的環境都沒有那麽我們也沒必要去說太多,大概介紹一下: 1、因為appium是支持and

mongo 3.4分片集群系列之一淺談分片集群

通過 分片集群 分配 指定 可擴展性 key 負載 snap 無法 這篇為理論篇,稍後會有實踐篇 1、分片集群是個啥玩意兒 要回答這個問題,首先得知道它是由什麽東東組成的。 MongoDB分片集群由以下組件組成: mongos:mongos作為查詢路由器,提供客戶端應用程