最簡單的萬能爬蟲器
摘要：
最簡單的萬能爬蟲器
專案介紹
爬取指定網站url所有圖片以及描述資訊
爬取指定網站中任何標籤下的任意屬性
效果展示
效果圖嗯哼.jpg
1.獲取所有圖片以及描述資訊
ImageResult(name='...
最簡單的萬能爬蟲器
專案介紹
- 爬取指定網站url所有圖片以及描述資訊
- 爬取指定網站中任何標籤下的任意屬性
效果展示
效果圖嗯哼.jpg
1.獲取所有圖片以及描述資訊
ImageResult(name='142847_16a48_236.jpg', url='http://i.meizitu.net/thumbs/2018/07/142847_16a48_236.jpg', desc='藝妓的誘惑 日系美女水嫩性感柔媚多情', extendOne='') ImageResult(name='146379_12c46_236.jpg', url='http://i.meizitu.net/thumbs/2018/08/146379_12c46_236.jpg', desc='美到噴血! 尤果女神韓安琪美豔性感盡顯成熟女人味', extendOne='') ImageResult(name='144268_27c28_236.jpg', url='http://i.meizitu.net/thumbs/2018/07/144268_27c28_236.jpg', desc='嫵媚小女人張馨彤為誘惑而生 水溼白襯衫酥胸誘人', extendOne='') ImageResult(name='137510_05b45_236.jpg', url='http://i.meizitu.net/thumbs/2018/06/137510_05b45_236.jpg', desc='尤果女神李莉莉高清寫真 雪白酥胸誘惑滿滿', extendOne='') ImageResult(name='147468_20f29_236.jpg', url='http://i.meizitu.net/thumbs/2018/08/147468_20f29_236.jpg', desc='氣質滿分！美女尤物美人駱雪淇白嫩美腿嫵媚動人', extendOne='') ImageResult(name='150001_07b63_236.jpg', url='http://i.meizitu.net/thumbs/2018/09/150001_07b63_236.jpg', desc='微胖小姐姐白曉白 輕熟的氣質讓你欲罷不能', extendOne='') ImageResult(name='140752_29b05_236.jpg', url='http://i.meizitu.net/thumbs/2018/07/140752_29b05_236.jpg', desc='尤果美女輪番上陣誘惑升級 清涼陪你度過甜蜜盛夏', extendOne='') ImageResult(name='147534_20e07_236.jpg', url='http://i.meizitu.net/thumbs/2018/08/147534_20e07_236.jpg', desc='還是熟婦最有味道 成熟端莊萬種風情', extendOne='')
2.獲取指定標籤（img）下面指定屬性（"data-original", "alt"）
[http://i.meizitu.net/thumbs/2018/08/148211_26b29_236.jpg, 尤果女神方子萱奶大腿長屁股翹，動作挑逗引人遐想] [http://i.meizitu.net/thumbs/2018/06/140460_28c43_236.jpg, 嫵媚輕熟女極品美臀大膽露出 惹火身材完美勾魂] [http://i.meizitu.net/thumbs/2018/06/138976_16y03_236.jpg, 氣質小姐姐清爽優雅魅力難擋 性感嫵媚盡顯輕熟女範] [http://i.meizitu.net/thumbs/2018/06/140116_25c19_236.jpg, 御姐氣息十足，尤果模特莫妮卡盡顯精緻小女人氣質] [http://i.meizitu.net/thumbs/2018/08/145201_02a09_236.jpg, 妖豔御姐萌漢藥萌漢藥baby撩衣露乳激情銷魂]
最簡單使用方式
1. Add it in your root build.gradle at the end of repositories:
allprojects {
repositories {
...
maven { url 'https://jitpack.io' }
}
}
2. Add the dependency
dependencies {
implementation 'com.github.pengMaster:SpiderTool:1.0.0'
}
3. Add use to activity
案例： 獲取妹子圖網站所有圖片
//妹子圖網站Url
val url = "http://www.mzitu.com/tag/ugirls/"
//kotlin 獲取該網站所有圖片以及描述資訊
SpiderUtil.getImageByUrl(url, object : ImageResultListener {
override fun result(imageList: HashSet<ImageResult>) {
mTvContent.text = imageList.toString()
imageList.forEach {
Log.e("getImageByUrl", it.toString())
}
}
})
//java 版
SpiderUtil.Companion.getImageByUrl(url, new ImageResultListener() {
@Override
public void result(@NotNull HashSet<ImageResult> imageList) {
}
});
案例： 獲取妹子圖網站所有img標籤下"data-original", "alt"
//標籤
val tag = "img"
//要獲取屬性集合
val attributeList = listOf<String>("data-original", "alt")
SpiderUtil.getAttributeByTag(url, tag, attributeList, object : ResultListener {
override fun result(list: HashSet<ArrayList<String>>) {
mTvContent.text = list.toString()
list.forEach {
Log.e("getAttributeByTag", it.toString())
}
}
})
4. add permission to your menifest
<!--聯網--> <uses-permission android:name="android.permission.INTERNET" />
注意
1.比如妹子圖網站獲取的圖片url如果進行展示或者下載，需要進行防盜鏈處理操作
2.獲取指定標籤下的指定屬性
例如："<img width='236' height='354' class='lazy' alt='清純中帶著性感 尤果網女神美替極品身材一覽無遺' src='http://i.meizitu.net/pfiles/img/lazy.png' data-original='http://i.meizitu.net/thumbs/2018/09/150833_14c39_236.jpg' />"
獲取img標籤下altsrc 屬性
tag = img
list = ("alt","src")
參與貢獻
- Fork 本專案
- 新建 Feat_xxx 分支
- 提交程式碼
- 新建 Pull Request
github地址
- 專案地址： ofollow,noindex">https://github.com/pengMaster/SpiderTool