用Swing寫個scrapy爬蟲圖形介面 Ⅱ

阿新 • • 發佈：2019-01-05

因為eclipse上沒有matisse form，所以不好再次修改我上次寫的圖形介面，所以呢，下了個Myeclipse，使用matisse form重新寫了下此爬蟲的GUI。

主要程式碼：

/*
 * scs.java
 *
 * Created on __DATE__, __TIME__
 */

package cd.ccx;

import java.awt.TextArea;
import java.awt.TextField;
import java.awt.event.ActionEvent;
import java.awt.event.ActionListener;
import 
 java.awt.event.MouseAdapter;
import java.awt.event.MouseEvent;
import java.io.IOException;
import java.net.UnknownHostException;
import java.util.ArrayList;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import java.awt.TextComponent;
import com.mongodb.BasicDBObject;
import com.mongodb.DB;
import 
 com.mongodb.DBCollection;
import com.mongodb.DBCursor;
import com.mongodb.Mongo;
import com.mongodb.MongoException;

/**
 *
 * @author  __USER__
 */
public class scs extends javax.swing.JFrame {

    public StringBuffer Download_link = new StringBuffer();

    /** Creates new form scs */
    public scs 
() {
        initComponents();
    }

    //GEN-BEGIN:initComponents
    // <editor-fold defaultstate="collapsed" desc="Generated Code">
    private void initComponents() {

        button1 = new java.awt.Button();
        label1 = new java.awt.Label();
        button2 = new java.awt.Button();
        button3 = new java.awt.Button();
        textArea1 = new java.awt.TextArea();
        label2 = new java.awt.Label();
        textField1 = new java.awt.TextField();
        button4 = new java.awt.Button();
        label3 = new java.awt.Label();

        setDefaultCloseOperation(javax.swing.WindowConstants.EXIT_ON_CLOSE);

        button1.setLabel("\u5f00\u59cb\u722c\u866b :");

        button1.addMouseListener(new MouseAdapter() {
            @Override
            public void mouseClicked(MouseEvent arg0) {   
                String command_start="cmd /k start cmd.bat";
                //E:\\scrapy---測試用2\\GitHub\\ scrapy crawl github";
                Runtime   r=Runtime.getRuntime();
                try {

                    Process   ps=r.exec(command_start);

                } catch (IOException e) {
                    // TODO 自動生成的 catch 塊
                    e.printStackTrace();
                }   
        } 

        });

        label1.setText("Scrapy crawl github");

        button2.setLabel("\u7ed3\u675f\u722c\u866b :");
        button2.addActionListener(new ActionListener() {
            public void actionPerformed(ActionEvent e) {
            try {
                Runtime.getRuntime().exec("TaskKill /IM cmd.exe");
            } catch (IOException e1) {
                // TODO 自動生成的 catch 塊
                e1.printStackTrace();
            } 
            }
        });
        button3.setLabel("\u4ece\u6570\u636e\u5e93\u4e2d\u83b7\u53d6\u4fe1\u606f :");
        button3.addActionListener(new java.awt.event.ActionListener() {
            public void actionPerformed(java.awt.event.ActionEvent evt) {
                button3ActionPerformed(evt);
            }
        });

        label2.setText("\u8f93\u5165\u4f60\u60f3\u4e0b\u8f7d\u7684\u9879\u76ee\uff08\u7528\u6237/\u9879\u76ee\u540d\uff09 :");

        textField1.addActionListener(new java.awt.event.ActionListener() {
            public void actionPerformed(java.awt.event.ActionEvent evt) {
                //textField1.setText("gh");

            }
        });

        button4.setLabel("\u4e0b\u8f7d!...");
        //final String tf=textField1.getText();
        /*button4.addActionListener(new ActionListener() {
            public void actionPerformed(ActionEvent e) {
                String tf=textField1.getText();
            }
            });*/

        button4.addMouseListener(new MouseAdapter(){

            @Override
            public void mouseClicked(MouseEvent arg0) {   
                String command1="cmd /k start python download.py ";

                String tf=textField1.getText();
                //getName()就行  getText()就不行  wocwoc
                //String command2="xx";
                //final String tf=textField1.getText();
                //String tf="phpenterprise/bootstrap-lean";//textField1.getText();
                String command2="https://github.com/"+tf+"/archive/master.zip";
                String command=command1+command2;
                //String command="cmd /k start "+command2;//command1+command2;

                Runtime   r=Runtime.getRuntime();
                try {

                    Process   px=r.exec(command);

                } catch (IOException e) {
                    // TODO 自動生成的 catch 塊
                    e.printStackTrace();
                }   
        }
        });

        label3.setText("Stop crawling");

        javax.swing.GroupLayout layout = new javax.swing.GroupLayout(
                getContentPane());
        getContentPane().setLayout(layout);
        layout.setHorizontalGroup(layout
                .createParallelGroup(javax.swing.GroupLayout.Alignment.LEADING)
                .addGroup(
                        layout.createSequentialGroup()
                                .addGroup(
                                        layout.createParallelGroup(
                                                javax.swing.GroupLayout.Alignment.LEADING)
                                                .addGroup(
                                                        layout.createSequentialGroup()
                                                                .addGap(26, 26,
                                                                        26)
                                                                .addGroup(
                                                                        layout.createParallelGroup(
                                                                                javax.swing.GroupLayout.Alignment.LEADING)
                                                                                .addGroup(
                                                                                        layout.createSequentialGroup()
                                                                                                .addGroup(
                                                                                                        layout.createParallelGroup(
                                                                                                                javax.swing.GroupLayout.Alignment.TRAILING,
                                                                                                                false)
                                                                                                                .addComponent(
                                                                                                                        button3,
                                                                                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                                                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                                                                                        Short.MAX_VALUE)
                                                                                                                .addComponent(
                                                                                                                        button1,
                                                                                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                                                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                                                                                        Short.MAX_VALUE))
                                                                                                .addGap(20,
                                                                                                        20,
                                                                                                        20)
                                                                                                .addComponent(
                                                                                                        label1,
                                                                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                                                                        javax.swing.GroupLayout.PREFERRED_SIZE)
                                                                                                .addGap(79,
                                                                                                        79,
                                                                                                        79)
                                                                                                .addComponent(
                                                                                                        button2,
                                                                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                                                                        javax.swing.GroupLayout.PREFERRED_SIZE)
                                                                                                .addGap(37,
                                                                                                        37,
                                                                                                        37)
                                                                                                .addComponent(
                                                                                                        label3,
                                                                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                                                                        javax.swing.GroupLayout.PREFERRED_SIZE))
                                                                                .addGroup(
                                                                                        layout.createSequentialGroup()
                                                                                                .addComponent(
                                                                                                        label2,
                                                                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                                                                        javax.swing.GroupLayout.PREFERRED_SIZE)
                                                                                                .addGap(25,
                                                                                                        25,
                                                                                                        25)
                                                                                                .addComponent(
                                                                                                        textField1,
                                                                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                                                                        163,
                                                                                                        javax.swing.GroupLayout.PREFERRED_SIZE)
                                                                                                .addGap(32,
                                                                                                        32,
                                                                                                        32)
                                                                                                .addComponent(
                                                                                                        button4,
                                                                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                                                                        javax.swing.GroupLayout.PREFERRED_SIZE))))
                                                .addGroup(
                                                        layout.createSequentialGroup()
                                                                .addGap(74, 74,
                                                                        74)
                                                                .addComponent(
                                                                        textArea1,
                                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                                        521,
                                                                        javax.swing.GroupLayout.PREFERRED_SIZE)))
                                .addContainerGap(37, Short.MAX_VALUE)));
        layout.setVerticalGroup(layout
                .createParallelGroup(javax.swing.GroupLayout.Alignment.LEADING)
                .addGroup(
                        layout.createSequentialGroup()
                                .addGap(21, 21, 21)
                                .addGroup(
                                        layout.createParallelGroup(
                                                javax.swing.GroupLayout.Alignment.TRAILING)
                                                .addComponent(
                                                        button2,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE)
                                                .addComponent(
                                                        label1,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE)
                                                .addComponent(
                                                        button1,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE)
                                                .addComponent(
                                                        label3,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE))
                                .addGroup(
                                        layout.createParallelGroup(
                                                javax.swing.GroupLayout.Alignment.LEADING)
                                                .addGroup(
                                                        layout.createSequentialGroup()
                                                                .addGap(29, 29,
                                                                        29)
                                                                .addComponent(
                                                                        button3,
                                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                                        javax.swing.GroupLayout.PREFERRED_SIZE)
                                                                .addGap(42, 42,
                                                                        42))
                                                .addGroup(
                                                        layout.createSequentialGroup()
                                                                .addGap(56, 56,
                                                                        56)
                                                                .addComponent(
                                                                        textArea1,
                                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                                        212,
                                                                        Short.MAX_VALUE)
                                                                .addPreferredGap(
                                                                        javax.swing.LayoutStyle.ComponentPlacement.RELATED)))
                                .addGroup(
                                        layout.createParallelGroup(
                                                javax.swing.GroupLayout.Alignment.TRAILING)
                                                .addComponent(
                                                        label2,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE)
                                                .addComponent(
                                                        textField1,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE)
                                                .addComponent(
                                                        button4,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                        javax.swing.GroupLayout.DEFAULT_SIZE,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE))
                                .addGap(41, 41, 41)));

        pack();
    }// </editor-fold>
    //GEN-END:initComponents

    private void textField1ActionPerformed(java.awt.event.ActionEvent evt) {
        // TODO add your handling code here:
        //textField1.setText("gh");
    }

    private void button4ActionPerformed(java.awt.event.ActionEvent evt) {
        // TODO add your handling code here:

        //String tf=textField1.getText();//xiaokuan
        //String a[] = tf.split(",");
        //String ta=textArea1.getText();//dakuan
        /*String s = textField1.getText();
        String a[] = s.split(",");
        String xx = "{ [username] : BellaMarquez [popular_repos] : openfaqs [popular_repos_star]: 0 [the download_link]: https://github.com/BellaMarquez/openfaqs/archive/master.zip[ popular_repos_info]: An Open Source FAQ Board  }{ [username] : Gerst20051 [popular_repos] : HnS-Desktop [popular_repos_star]: 5 [the download_link]: https://github.com/Gerst20051/HnS-Desktop/archive/master.zip[ popular_repos_info]: Homenet Spaces OS. A jQuery web desktop }";
        for (int i = 0; i < a.length; i++) {
            // Pattern p = Pattern.compile(a[i]);
            //Matcher m = p.matcher(xx);
            String a1[] = a[i].split(":");
            Pattern p = Pattern.compile("https://github.com/" + a1[0] + "/"
                    + a1[1] + "/archive/master.zip");
            Matcher m = p.matcher(xx);
            while (m.find()) {
                String mg = m.group(0);
                Download_link.append(mg);
                // if(mg.indexOf(a[i])){}
                //System.out.println(mg);
            }
        }*/

    }

    private void button3ActionPerformed(java.awt.event.ActionEvent evt) {
        // TODO add your handling code here:
        Mongo m = null;
        try {
            m = new Mongo("localhost", 27017);
        } catch (UnknownHostException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (MongoException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        DB db = m.getDB("github");
        DBCollection dbCol = db.getCollection("github38_info");
        DBCursor x = dbCol.find();
        while (x.hasNext()) {
            BasicDBObject bdbObj = (BasicDBObject) x.next();
            if (bdbObj != null) {
                String xxxx = "{ [使用者] : " + bdbObj.getString("username")
                        + " [最熱門專案]: " + bdbObj.getString("popular_repos")
                        + " [專案stars]: "
                        + bdbObj.getString("popular_repos_star")
                        + " [專案下載連結]: "
                        + bdbObj.getString("popular_repos_download")
                        + " [專案資訊]: " + bdbObj.getString("popular_repos_info")
                        + " }" + "\n";
                //textArea_1.append("{ [username] : "+bdbObj.getString("username")+" [popular_repos] : "+bdbObj.getString("popular_repos")+" [popular_repos_star]: "+bdbObj.getString("popular_repos_star")+" [the download_link]: "+bdbObj.getString("popular_repos_download")+"[ popular_repos_info]: "+bdbObj.getString("popular_repos_info")+" }");  

                if ((bdbObj.getString("popular_repos") != "None"))
                //此判斷句沒用
                {
                    textArea1.append(xxxx);
                    textArea1.append("\n");
                }
            }
        }
    }

    private void button1ActionPerformed(java.awt.event.ActionEvent evt) {
        // TODO add your handling code here:
    }

    /**
     * @param args the command line arguments
     */
    public static void main(String args[]) {
        java.awt.EventQueue.invokeLater(new Runnable() {
            public void run() {
                new scs().setVisible(true);
            }
        });
    }

    //GEN-BEGIN:variables
    // Variables declaration - do not modify
    private java.awt.Button button1;
    private java.awt.Button button2;
    private java.awt.Button button3;
    private java.awt.Button button4;
    private java.awt.Label label1;
    private java.awt.Label label2;
    private java.awt.Label label3;
    private java.awt.TextArea textArea1;
    private java.awt.TextField textField1;
    // End of variables declaration//GEN-END:variables

}

引用的庫依舊是 mongo-java-driver-2.65。

比起之前的GUI，這次增加了一個下載欄。

這裡寫圖片描述

使用的話我貼個視訊連結：

用Swing寫個scrapy爬蟲圖形介面 Ⅱ

因為eclipse上沒有matisse form，所以不好再次修改我上次寫的圖形介面，所以呢，下了個Myeclipse，使用matisse form重新寫了下此爬蟲的GUI。主要程式碼： /* * scs.java * * Created on

用 Java 拿下 HTML 分分鐘寫個小爬蟲

> 本文適合有 Java 基礎知識的人群 ![](https://img2020.cnblogs.com/blog/759200/202009/759200-20200901132548961-938462130.png) 本文作者：HelloGitHub-秦人 HelloGitHub 推出的[《

用python寫個隨機驗證碼

range emp pytho [] and random code port rand 隨機驗證碼 import random li = [] for i in range(8): r = random.randrange(0,5) print(r)

用C#寫個NBiot串列埠小工具

背景做嵌入式這行剛剛開始入門基本就是流水燈跟串列埠這些了，一直用別人的工具（在此感謝那些前輩寫的很好用的工具），雖然很好，但是缺少一些定製化的開發。比如最近我在做NBiot的專案，在除錯NB模組的時候就需要手動複製貼上MsgID號碼，十分繁瑣，有時候還會因為超時，不得不從頭來走一遍

女朋友是機票販子？用Python寫個刷飛機票的指令碼！生活費多了兩百

進群：548377875 即可獲取數十套PDF從零基礎到專案實戰的哦！看到上面的介面你是否也有下面的感受：簡單描述一下eterm的操作流程，方便理解指令碼的

用node寫個簡單的靜態服務器

exist text 本地控制 erro binary node quest png 直接上代碼吧，我把它命名為 app.js, 只要在該文件所在目錄下，控制臺運行 node app.js 即可啟動一個本地服務器了。 /** * 服務器 * Author je

用webpack寫個現代的JavaScript包

webpack 作為目前主流的構建工具，其較快的版本迭代和複雜的配置方式，使得每次開發前不得不規劃相當部分時間來除錯。這裡將記錄整個環境的搭建過程，為新手提供基礎思路。就像我在開發vue-sitemap時一樣，構建工具往往需要達到下面幾個需求：構建生成 CommonJS/UMD/ES Modul

用C#寫一個簡單的進度介面

介面設計如下：實現類： public partial class FormProgressInfo : Form { public FormProgressInfo(int nMinimum = 0, int nMaximum = 100) { InitializeCom

用 mpvue 寫個【微博-青銅版】微信小程式

第一次寫小程式，由於偏愛 Vue，所以選則了 mpvue 這個框架。那就寫個青銅版微博來練練手吧。效果截圖：圖1：微博首頁圖2：發微博圖3：我的技術要點 1、小程式框架：mpvue 2、http 請求庫：fly.js 3、狀態管理：vuex 4、資料來源：微博開放平臺 ap

用Python寫網絡爬蟲（高清版）PDF

頁面逆向網上編程語言線程 ajax 是什麽保護 term 用Python寫網絡爬蟲（高清版）PDF百度網盤鏈接：https://pan.baidu.com/s/1kdRFAEuze-A9ToWVXHoCXw 提取碼：8ib1 復制這段內容後打開百度網盤手機App，

簡單地用swing寫一個登陸頁面

import java.awt.Container; import java.awt.event.ActionEvent; import java.awt.event.ActionListener; import javax.swing.JButton; import j

10款最好用的MySQL資料庫客戶端圖形介面管理工具

　MySQL 在過去由於效能高、成本低、可靠性好，已經成為最流行的開源資料庫，因此被廣泛地應用在 Internet 上的中小型網站中。隨著 MySQL 的不斷成熟，它也逐漸用於更多大規模網站和應用，比如維基百科、Google 和 Facebook 等網站。非常流行的開源軟

scrapyd用來方便控制scrapy爬蟲

python#使用scrapyd服務的方法與步驟 scrapyd = scrapy + deploying 把scrapy程式釋出到上面的一套由python寫好的服務 Scrapyd is an application for depl

用Python寫個簡單的推薦系統（一）

本篇建立在電影評分的環境下，對多位成員通過各自電影評分的情況，利用兩種相似度測量（歐幾里得距離和皮爾遜相關度）檢視使用者之間的相似度。 Python version3.4 1. 建立影評評分字典電影種類6種：a,b,c,d,e,f使用者7人： C

用Python3和tkinter開發簡單圖形介面程式 2018-09-28

原始碼庫: program-in-chinese/wubi_code_editor 起因在這裡. 由於此專案和漢字相關, 個人也想嘗試Python的圖形介面開發, 於是開始嘗試. 遇到的一個坑. 使用者測試時, 發現png圖片載入不了, 後發現是由於tkinter版本問題: T

[c語言 ] 用libev 寫個echo伺服器

放假了.同學都回家了,我是更情願留久點在學校,一來學校安靜,二來免得火車太擠. 這臨走前的幾天,放下了erlang,寫了一下c. 其實只是對比下erlang 寫socket伺服器,和c寫socket伺服器的異同. 說一下libev: Libev是一個event l

用Python寫的開源爬蟲網站，秒搜所有豆瓣好書

程式設計師在提升自己的道路，大多還是會選擇閱讀程式設計書籍這一途徑，但找到一本好書就沒那麼容易了。通過檢視各大銷售網站的銷量資料

500行程式碼，教你用python寫個微信飛機大戰

這幾天在重溫微信小遊戲的飛機大戰，玩著玩著就在思考人生了，這飛機大戰怎麼就可以做的那麼好，操作簡單，簡單上手。幫助蹲廁族、YP族、飯圈女孩在無聊之餘可以有一樣東西讓他們振作起來！讓他們的左手 / 右手有節奏有韻律的朝著同一個方向來回移動起來！這是史詩級的發明，是濃墨重彩的一筆，是…… 在一陣抽搐後，我

用 Shader 寫個完美的波浪

# 前言皮皮最近接到了一個小需求： >

PyGObject筆記1——用Python寫圖形介面

Linux下最著名的圖形庫GTK+的較新版本GTK+不僅支援C語言，還綁定了多種語言，Python是其中繫結比較成熟的一種。 Python繫結GTK2為PyGTK，現在推薦使用繫結GTK3+的PyGObject替代PyGTK。本篇開

用Swing寫個scrapy爬蟲圖形介面 Ⅱ

相關推薦