1. 程式人生 > >使用python抓取時配置一臺linux抓取機

使用python抓取時配置一臺linux抓取機

python抓取機的配置

1.新增使用者

  • 給機器增加一個普通使用者

    [[email protected] ~]# useradd catchtop

    為該使用者設定登陸密碼,否則該使用者是無效的。

    [[email protected] ~]# passwd catchtop

  • 為該使用者設定無需密碼的sudo許可權:

    vi /etc/sudoers

    在root ALL=(ALL) ALL下面增加一句:

    catchtop ALL=(ALL) ALL

    在## Same thing without a password下面新增一句:

    catchtop ALL=(ALL) NOPASSWD: ALL

    此後在catchtop使用者下可以執行加sudo的命令而無需密碼。

2.安裝setuptools工具或pip工具

  • 安裝setuptools

    使用wget --no-check-certificate https://bootstrap.pypa.io/ez_setup.py -O - | sudo python下載安裝包

    解壓後進入目錄執行 sudo python setup.py install安裝

    完成後模組安裝方式 sudo easy_install httplib2

  • 安裝pip

    sudo yum install python-pip

    完成後模組安裝方式 sudo pip install httplib2

  • 主要安裝的模組如下 :

模組 功能簡介
httplib2 網頁抓取
pika RabbitMQ
lockfile 程式鎖
xlrd 讀excel
xlwt 寫excel

3.安裝MySQLdb模組

需要下載相應的安裝包,此處為1.2.5版本

[[email protected] ~]$ wget --no-check-certificate https://pypi.python.org/packages/source/M/MySQL-python/MySQL-python-1.2.5.zip#md5=654f75b302db6ed8dc5a898c625e030c

進行unzip操作:[[email protected] ~]$ unzip MySQL-python-1.2.5.zip

在安裝之前我們需要做一些準備工作:

sudo yum install mysql

sudo yum install mysql-server

sudo yum install mysql-devel

必須執行yum install python-devel (否則報:error: command ‘gcc’ failed with exit status 1)

最終 我們進入到MySQL-python-1.2.5目錄下,執行sudo python setup.py install安裝成功該模組。

相關推薦

使用python配置linux

python抓取機的配置 1.新增使用者 給機器增加一個普通使用者 [[email protected] ~]# useradd catchtop 為該使用者設定登陸密碼,否則該使用者是無效的。 [[email protected

自己動手輕松制作linux瘦客戶(雲終端)

瘦客戶機 vmware horizon view 雲終端 瘦客戶機簡化了IT管理的復雜程度,因此很多有遠見的企業及IT決策者開始使用瘦客戶機+桌面虛擬化方案來替換傳統的PC,對於一個全新的IT環境,全部使用易管理,零維護的瘦客戶機當然沒有任何問題,但是對於還想繼續利舊,但又不想管理復雜的操作系

linux下centos中nginx配置伺服器多個tomcat,多個域名

1.直接貼程式碼自己看 下面是nginx 的nginx.conf檔案配置 一臺伺服器 三個tomcat 埠分別為:8080,7070,7072 三個域名:maijiaxiu.com;console.maijiaxiu.com; test.maijiaxiu.com #user n

配置裝tomcat的linux伺服器(阿里云為例)

1.ssh 首先安裝ssh yum install ssh 啟動服務 service sshd start 如果是CentOS 7及以上版本 需要把service改為 systemctl 然後可以安裝 SSH Secure Shell

怎麽配置電腦

id 電腦配置 應該現在市面上的板子只有那麽兩種,一種支持INTEL,一種是AMD,英特的U要用英特的主板,比如 G41 P43等等。AMD的要用AMD的主板平臺。比如A780 A770 870 790 880 890GX。主題是你要開店,賣電腦。所以,只要客戶選了定了用那種CPU,那麽你只要給出

用虛擬安裝了Linux系統,突然想克隆服務器,克隆後發現無法上網,如何解決?

network nbsp 修改 發現 sysconfig etc ebo 無法上網 work 用虛擬機安裝了一臺Linux系統,突然想克隆一臺服務器,克隆後發現無法上網,如何解決? 答: a、編輯網卡配置文件/etc/sysconfig/network-scri

初始化linux設備

use grep load nss examples win mirror 服務 啟動服務 time: 2018-06-18 13:00:00 tags: Linux --- 註意 系統版本: Ubuntu 18.04 LTS 代碼 # 更新系統 sudo apt-get

linux機器復制文件到另linux機器上去

linux機器 一個 tmp目錄 文件絕對路徑 root用戶 scp 服務器 home 系統路徑 1、功能說明scp就是security copy,用於將文件或者目錄從一個Linux系統拷貝到另一個Linux系統下。scp傳輸數據用的是SSH協議,保證了數據傳輸的安全,

使用linux遠程登錄另linux

roo 用戶登錄 linux遠程登錄 如果 port 開啟 端口 lin 遠程   可以用ssh命令行方式登錄。對方需要開啟ssh服務。  ssh [-l login_name] [-p port] [user@]hostname  例如,使用root用戶登錄 192.

SSH遠端登入另linux

登入: 可以用ssh命令列方式登入。對方需要開啟ssh服務 ssh [-l login_name] [-p port] [[email protected]]hostname 例如, 不指定使用者: ssh 192.168.0.1 使用root使用者登入 192.168.0.1

linux 主機裝兩個mysql

啟動 3306 nohup /usr/local/mysql5.1.7/bin/mysqld_safe &   啟動 3307/usr/local/mysql/bin/mysqld --defaults-file=/etc/my3307.cnf --user=mysql &

VirtualBox配置Linux實現互相通訊(dhcp自動獲取)

1. 配置VirtualBox 在Virtualbox介面,選擇 管理-> 全域性設定,新增如下圖: 設定Linux網絡卡: 啟動Linux。 2. 配置網絡卡檔案 vim /etc/sysconfig/network-scripts/ifcfg-eth0

linux虛擬機器模擬搭建zookeeper叢集及可能遇到的問題解決

一、zookeeper叢集搭建 1:上傳zookeeper-3.4.13.tar.gz到/myfile/tool(自己定義的存放工具的目錄)目錄下: 2:解壓zookeeper,執行如下命令: [[email protected] tool]# tar

傻瓜式從0開始配置雲伺服器

趁著騰訊秒殺,買了一臺2核4G2M貸款的伺服器,準備搞點兒事情,記錄一下伺服器如何從0配置。 環境:ubuntu16.04。 第一步 更新系統到最新 第一步無異議,肯定是: sudo apt-get upgrade sudo apt-get update 第二

環境配置Linux線上jdk安裝使用

檢視所有版本:yum -y list java 根據自己需要下載(此處自己使用1.8): yum -y install java-1.8.0-openjdk* 安裝完成可使用指令檢測:java -version檢測版本 java預設安裝位置:

linux機器複製檔案到另linux機器上去

1、功能說明 scp就是security copy,用於將檔案或者目錄從一個Linux系統拷貝到另一個Linux系統下。scp傳輸資料用的是SSH協議,保證了資料傳輸的安全,其格式如下:scp 遠端使用者名稱@IP地址:檔案的絕對路徑 本地Linux系統路徑  scp 本地Linux系統檔案路徑 遠端使用者名

將檔案從linux機器拷貝到多的方法

首先你所操作的各臺linux機器間必須設定了ssh免密碼登入,具體方法可上網檢視。將檔案從一臺linux機器拷貝到多臺分為以下幾個步驟: 第一步:建立指令碼檔案remotecopy.sh #!/bin/bash while getopts f: OPT; do case

scp 將資料從linux伺服器複製到另linux伺服器

scp 是secure copy的簡寫,用於在Linux下進行遠端拷貝檔案的命令,和它類似的命令有cp,不過cp只是在本機進行拷貝不能跨伺服器,而且 scp傳輸是加密的。可能會稍微影響一下速度。當你伺服器硬碟變為只讀 read only system時,用scp可以幫你把檔

如何讓linux伺服器既做ntp伺服器也做ntp客戶端

我在是有ntp做時間同步時遇到一個問題,一臺linux機器已經做了ntp的伺服器,但我還想讓它同時做為ntp的客戶端。在這種情況下我執行命令/usr/sbin/ntpdate time.example.com後,沒有任何響應,該機器的時間也沒有同步為時間伺服器time.exa

linux scp命令 將資料從linux伺服器複製到另linux伺服器

scp是secure copy的簡寫,用於在Linux下進行遠端拷貝檔案的命令,和它類似的命令有cp,不過cp只是在本機進行拷貝不能跨伺服器,而且scp傳輸是加密的。可能會稍微影響一下速度。當你伺服器硬碟變為只讀 read only system時,用scp可以幫你把檔案移出