使用Chrome Headless 快速實現java版數據的抓取
阿新 • • 發佈:2017-07-03
chrome headless java調webkit
參考《使用Chrome快速實現數據的抓取(一)——概述》和《使用Chrome快速實現數據的抓取(二)——協議》。
各協議客戶端實現參考:https://github.com/ChromeDevTools/awesome-chrome-devtools#chrome-devtools-protocol。
Java: cdp4j - Java library for CDP,使用這個類庫實現。
地址:https://github.com/webfolderio/cdp4j
maven引入:
<dependency> <groupId>io.webfolder</groupId> <artifactId>cdp4j</artifactId> <version>1.1.0</version> </dependency>
官方例子: import io.webfolder.cdp.Launcher;import io.webfolder.cdp.session.Session;import io.webfolder.cdp.session.SessionFactory;public class HelloWorld { public static void main(String[] args) { Launcher launcher = new Launcher(); try (SessionFactory factory = launcher.launch(); Session session = factory.create()) { session.navigate("https://webfolder.io"); session.waitDocumentReady(); String content = (String) session.getProperty("//body", "outerText"); System.out.println(content); } } } 更多例子,如PrintToPDF,請參考https://github.com/webfolderio/cdp4j
使用Chrome Headless 快速實現java版數據的抓取