1. 程式人生 > >java爬蟲程式放到linux雲伺服器上執行

java爬蟲程式放到linux雲伺服器上執行

為了防止自己忘記,就寫了下來。

首先建立了java專案檔案後,將jsoup包複製到專案中,然後右鍵將其新增到專案中,

我們現在抓取今日頭條的12377的電話號碼,右鍵審查元素,發現舉報電話使用的是class="tel"檢視原始碼,發現tel對應的class只有一項,


這裡只有一個Element,因此程式碼如下:
Document document = Jsoup.connect(url).get();
Element element = document.getElementsByClass("tel").first();


不能使用https,不然會異常。應使用網址:http://www.toutiao.com/
異常程式碼Caused by: java.security.cert.CertificateException: No subject alternative DNS name matching www.toutiao.com found.


javax.net.ssl.SSLHandshakeException: java.security.cert.CertificateException: No subject alternative DNS name matching www.toutiao.com found.
執行截圖:


將改程式打包成可執行的jar檔案,右鍵export



點選ok,這樣可執行的jar包就匯出來了。


使用winscp與伺服器建立連線,並複製到jar到專案中



登陸騰訊雲,輸入賬號密碼後

執行java –jar Crawler.jar (最後這裡預設的是在root的根目錄下,如果放在root/java/Crawler.jar,則是java/Crawler.jar)

這裡出現了中文亂碼問題。再設定下就好




相關推薦

java爬蟲程式放到linux伺服器執行

為了防止自己忘記,就寫了下來。 首先建立了java專案檔案後,將jsoup包複製到專案中,然後右鍵將其新增到專案中, 我們現在抓取今日頭條的12377的電話號碼,右鍵審查元素,發現舉報電話使用的是class="tel",檢視原始碼,發現tel對應的class只有一項,

Python發郵件程式部署到Linux伺服器之後無法工作

    寫了一個爬取學校教務網獲取成績的小工具,每五分鐘進行一次查詢,如果發現有新成績出現就用郵件通知自己,郵件伺服器使用的騰訊企業郵箱。     爬蟲寫的比較順利,但發郵件的部分出了一些問題,在自己的Linux環境下執行沒問題,在雲伺服

伺服器執行你的爬蟲程式

在伺服器上跑資料是我們常常都需要做的一件事,這篇部落格主要記錄一下從配置伺服器到拿到從伺服器成功拿到資料整個過程我的操作,這裡以騰訊雲伺服器為例 1.申請雲伺服器 這個沒什麼好講的,騰訊雲註冊送7天體驗伺服器,阿里雲送6個月,AWS送一年。因為只是體驗,我開

部署JavaWeb專案到Linux 伺服器

一、前期準備 Linux Ubuntu 16.04 阿里雲阿里雲伺服器 xshell(用於遠端操作Linux雲伺服器) 下載網址:https://xshell.en.softonic.com/ Xftp(用於Linux伺服器和主機之間的檔案互傳)   &n

Linux伺服器搭建環境

將要安裝的軟體放到/usr/home下面 將解壓的安裝檔案複製到/usr/local下面 ------------------------------------------------------------------- 1、安裝JDK ---------------------

java-jvisualvm遠端監控阿里伺服器的Tomcat

一、修改要訪問的遠端主機(Linux)tomcat相關檔案    1.開啟$CATALINA_HOME/bin/catalina.sh,在第一行註釋後面新增,也就是#!/bin/sh後新增,export CATALINA_OPTS="$CATALINA_OPTS -Dcom.

windows傳檔案到linux伺服器

安裝putty,將pscp.exe移到 C:\Windows\System32 目錄下。 在cmd 中執行,pscp -l rot -pw [password] -ls [ip]:/opt 檢視目錄 傳輸檔案     pscp 本地檔案目錄 使用者名稱@[ip]:/

java web程式linux上報錯java.lang.NoSuchMethodError: org.springframework.util.ClassUtils.forName

java web程式放linux上報錯java.lang.NoSuchMethodError: org.springframework.util.ClassUtils.forName(Ljava/lang/String;)Ljava/lang/Class; at org.s

linux伺服器執行java程式,引用外部jar包

 將寫好的java程式放到Linux上執行,可以利用Linux伺服器更快的跑完程式。由於我windows和linux下使用的jdk版本不同,因此將windows的java程式打成jar包後在linux下執行總會報錯。於是只能在Linux下使用javac命令編譯生成class

伺服器部署你的JAVA WEB專案

第一次在阿里雲伺服器上部署自己的java web專案,從一無所知的小小白到現在略微有一點專案部署經驗的小白(hahahaha),這個過程中真的是一路艱辛,各種頭疼,各種痛苦。但是,不積小流無以成江海,不積跬步無以至千里,現在每一步看似很難的操作和痛苦的學習過程,都是在為自己通往大神之路打基礎做積累。

本地執行springboot專案的jar包或阿里伺服器導致,no main異常Exception in thread "main" java.lang.ClassNotFoundException

執行打好的jar包,出現如下異常 首先開啟打好的jar包,出現如下目錄 開啟META-INF目錄,中的MANIFEST.MF檔案,如下 中是否有如下的路徑,Start-Class,如果有,確保是全限定名+啟動類嘛 例如我異常時的Start-Class路徑為

Linux學習2-在阿里伺服器部署禪道環境

前言 以前出去面試總會被問到:測試環境怎麼搭建?剛工作1-2年不會搭建測試環境還可以原諒自己,工作3-5年後如果還是對測試環境搭建一無所知,面試官會一臉的鄙視。 本篇以最簡單的禪道環境搭建為例,學習下如何在Linux上搭建禪道環境。 環境準備: 1.一臺Linux伺服器, 作業系統: CentOS 7.4

java web專案釋出到linux伺服器執行出現亂碼

我們專案的開發是在windows下完成的。然後匯出.sql資料庫檔案,並匯出war包,準備部署到linux下的tomcat伺服器上。部署完成出現中文問題: 問題描述:1.資料庫中原有的資料都能正常顯示2.頁面顯示讀取出來出現亂碼問題的解決過程: 考慮流程:1、資料庫儲存格式

騰訊Centos 7.0 伺服器執行Java指令碼和jar檔案

1.執行java指令碼 編輯java原始檔 vim HelloWorld.java 建立並開啟HelloWorld.java檔案,編輯內容如下: public class HelloWor

伺服器安裝虛擬機器,再通過xshell訪問到虛擬機器中的linux

這個題有點繞哈這是一次異想天開的行動,當時是需要安裝fastDfs圖片伺服器的,但是不想安裝,手裡又有圖片伺服器的虛擬機器壓縮包,於是在阿里雲買了一臺windows伺服器一個月試試水,如下這是在5月份,讀大二,大二下學期,也就是一個多月後就要去找實習了,嘿嘿,我的專案需要用到

將開發完成的java web應用程式部署到tomcat伺服器的方法

方法一:通過複製web應用到tomcat中實現 通過複製web應用到tomcat中實現時,首先需要將web應用資料夾複製到tomcat安裝目錄下的webapps資料夾中,然後啟動tomcat伺服器,再開啟IE瀏覽器,最後在IE瀏覽器的位址列中輸入“http://伺服器IP:

在Windows伺服器部署javaweb專案

javaWeb專案部署到Windows雲伺服器上 工具 / 材料 方法 / 步驟 建立web專案 & 匯出war包 設定遠端桌面連線資訊 在雲伺服器上安裝JDK(版本必須在1.7以上) Tomcat 的安裝與使用

伺服器安裝docker

現在手頭有一臺雲伺服器,對其安裝docker 1.先解除安裝系統殘留的docker # yum remove docker Failed to set locale, defaulting to C Loaded plugins: fastestmirror No Match for arg

伺服器(CentOS)安裝Node

今天手抖,買了臺雲伺服器,本人對伺服器啥的基本不懂,linux命令基本靠度娘,所以連裝個node環境都歷經坎坷,搞了一下午終於搞好了,記錄一下: 第一步:當然是先登入伺服器了,開啟命令列視窗,輸入: ssh [email protected]你的雲伺服器公網IP 回車,輸密碼(你輸密

阿里伺服器部署tomcat,並進行訪問測試

    要求將一個專案部署到新買的阿里雲伺服器上。使用xshell遠端連線(連線使用的ip是例項的公網ip)。     在部署配置tomcat之前首先進行JDK的部署,先說明一下,我使用的CentOS7.4.     選擇JDK1.