爬蟲

#!/usr/bin/env python #coding:utf-8 import requests,io,time from bs4 import BeautifulSoup def neihanjoke(): headers = { 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 'Accept-Encoding':'gzip, deflate', 'Accept-Language':'zh-CN,zh;q=0.9', 'Cookie':'tt_webid=6536425014367225358; uuid="w:1057f146c0254dafbd487a6da58210b7"; _ga=GA1.2.64952905.1521880043; _gid=GA1.2.1818828277.1521880043; csrftoken=111d911d1b2b2a61b5cad8282ee5b16e; _gat=1', 'Host':'neihanshequ.com', 'Referer':'https://www.baidu.com/link?url=DP5I6qLhobaPUAJ321iP0PzTkPBvbUE0-YdK4x6H01Wuq_PuPpwErjcv4dICWag3&wd=&eqid=82195f930001ef0c000000035ab61073', 'Upgrade-Insecure-Requests':'1', 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36', } s = requests.session() s.keep_alive = False respone = requests.get('http://neihanshequ.com/',headers=headers) soup = BeautifulSoup(respone.text,"html.parser") jokedct = {} for joke in soup.find_all('div',class_='detail-wrapper'): value = u'發布時間：'+ joke.find_all('span')[1]['title'] +' '+ u'段子內容:'+joke.p.string jokedct[joke.span.text] = value f = io.open('neihanjok.txt', 'a',encoding='utf-8') for joke in jokedct: joke2 = u"用戶: %s %s \n" %(joke,jokedct[joke]) f.write(joke2) f.close() if __name__ == '__main__': f = open("neihanjok.txt") lines = len(f.readlines()) while lines < 52113.14: f = open("neihanjok.txt") lines = len(f.readlines()) neihanjoke() time.sleep(3)

用戶: 呆婷-   發布時間：2018-01-09 21:34:38000   段子內容:2.“我可以進去嗎？”“不行！”“就進去一下下，保證不動，馬上就出來，好嗎？”“真的不行！”“你看我這多難受啊，頭都進去了，就讓我再進去一點唄，就一點。”“你有病啊，電梯滿了你看不出來啊！”  
用戶: 王浩晨吖   發布時間：2018-03-24 23:29:21000   段子內容:3月24日 我永遠忘不了這一天！我和對象相處一年，天天都黏在一起，但是為了生活，為了我們的以後，我選擇離開他在北京工作，我忘不了淩晨你送我時的心痛，淚流滿面，到北京了，我好想你，真的好想！相信我，我會在北京好好幹，好好攢錢，娶你！汪雪你要等我！我愛你！  
用戶: 赤峰段友會董事長   發布時間：2018-03-25 10:11:46000   段子內容:抖音和快手，智障中的倆泰鬥！段友頂起，不火還發！  
用戶: osuning142568355   發布時間：2018-03-25 12:10:46000   段子內容:兒子最近一直笑，一直搖頭，今天下午去南京，明天去南京兒童醫院看，眼淚都哭幹了，老天保佑不要有任何事情，我寧願少活二十歲，胖一百斤，寧願所有的病痛都讓我來受，真的需要別人給我點鼓勵，親人只要一開口，我就淚奔了，忐忑不安，我也不知道自己想表達什麽，亂七八糟的，進段子好多年了，給我個祝福吧。  
用戶: Gudgudi   發布時間：2018-02-08 15:49:33000   段子內容:下課，我對前桌的妹子說，咱們一人講一個坑笑話，比比誰的更冷，妹子欣然應戰，於是女士優先妹子先來，妹子說: 冷笑話是這樣的。可是等了半天妹子只是含情脈脈的看著我，不在再多說一句話，我有點納悶，便催促說講啊，妹子卻說，講完啦，冷笑話是這樣的！！！我心裏暗暗敬佩，於是到我了，我說: 你用一個字形容冬天，妹子說冷，我說:那是因為我在叫冷笑話啊  
用戶: 南方木子李   發布時間：2018-03-24 16:11:31000   段子內容:年輕人問道禪師：“我誌向高潔，出淤泥而不染，無法容納這個汙穢的世界。”禪師拿出一個袋子讓年輕人把屋子裏的垃圾裝進去，年輕人很快就裝滿了，禪師又拿出一個袋子。年輕人恍然大悟：“您是說只要有足夠寬廣的胸懷，就能容納這個世界？”禪師搖搖頭，指著袋子說：“裝，你繼續裝。”  
用戶: 那年花開心破碎   發布時間：2018-03-24 15:58:31000   段子內容:有一天，兩姐妹在睡覺 妹妹對姐姐說：姐今天蚊子好多哦～ 姐姐說：把燈關了蚊子就看不到我們了 後來妹妹真的把燈關了 忽然間一雙螢火蟲飛了進來 妹妹很緊張的說：姐慘了，蚊子提著燈籠來找我們了……  
用戶: 身無長物戾氣滿懷220399124   發布時間：2018-03-25 11:33:52000   段子內容:坐地鐵看到一姑娘在看我的微博，我搭訕說：“唉我也關註了這人，挺好玩的。” 　　她掃了我一眼說：“有啥用？段子手，不是窮就是醜，指不定在哪兒擠地鐵呢。”  
用戶: 汙王舞賤   發布時間：2018-03-01 19:06:57000   段子內容:夏天的時候，跟幾個哥們去遊泳池遊泳，到了泳池才發現沒帶泳褲，就在旁邊的便利店買，老板問我是要便宜的還是貴的？我想都沒想，就說要便宜的。老板說便宜的可能有一點脫色。我說不要緊。等我剛一下遊泳池，一哥門呆呆的看著我，你什麽時候做手術啦？  
用戶: 含成登九品   發布時間：2018-03-25 12:06:19000   段子內容:我是小可愛  
用戶: Very保護我方傻染   發布時間：2018-02-06 22:17:02000   段子內容:今天飯店裏人特多，一對小情侶實在找不到地方了就拼桌坐在我對面，說實話那女的長得挺漂亮，我就多看了兩眼。那個男的發現了，他很鄙夷的看了我一眼，啪嚓一下往桌子上放了一個大眾的車鑰匙，我往前一看，臥槽 ，輝騰！嚇唬我？！我啪嚓往桌子上放了個瑪莎拉蒂的車鑰匙，然後啪嚓，啪嚓，啪嚓，布加迪、賓利、勞斯萊斯、卡宴、法拉利好幾個車鑰匙我都摔在桌子上了 。沈靜了片刻，那男的死命拽著那個眼睛越來越亮的美女走了 真是的 大過年的你跟我一個修車的裝什麽裝！？  
用戶: doctor小顏   發布時間：2018-03-25 00:33:45000   段子內容:畢業後從醫一年了。在我們醫院遇見過很多病人，很信任我們，我們也一直在盡心盡力的救治，看到每一位病號從生死線上被拉回來然後到出院都很開心。但是看到段子裏好多人都在罵醫護人員，我很難理解，每天每夜都在加班，盡心盡力都在救治，為什麽大家的看法對於醫護人員是這樣的仇視。心裏很不開心，現實也許和網絡真的不一樣，網絡可以放大人內心的醜惡，可以肆無忌憚的詆毀。算了，發發牢騷，還得繼續努力，謝謝大家的信任來到醫院，至少幾乎還沒有見到向網絡那般偏執的帶著有色眼睛的人兒。如果有一天，你的孩子長大了，希望不要讓他從醫。  
用戶: 蔣教授一米高   發布時間：2018-03-24 22:51:41000   段子內容:段友們對不住哈，今天一整天都沒時間發段子，現在補一波吧。。  
用戶: 殘林夕   發布時間：2017-12-26 21:17:38000   段子內容:今天在火車站排隊買票，就快輪到我的時候，忽然一男子插隊跑到了我的前面，長得五大三粗的，脖子上還有紋身。我當時就不樂意了，便拍拍他的肩膀說道：哥們你插隊了！他擼起袖子對我說：怎麽你有意見？我自信的一笑，想我跆拳道也練了三個月了，我會慫你？便說道：有你麻痹！於是我倆就幹起來了……要不是民警及時趕到，我就要被他給打死了  
用戶: 我的一個道姑朋友丨   發布時間：2018-03-24 21:49:41000   段子內容:“你感情路不順嗎？”“順啊 一路上都沒什麽人”  
用戶: 悲喜190271798   發布時間：2018-03-25 04:01:57000   段子內容:我和她不是什麽異地戀也不是什麽離了多遠，我們在一起上班，我是做廚師的她是服務員，每天能看到她，和她在一起的每一天我都很珍惜，2018.3.20 我刪了她，把她所有東西全部刪除了，現在我在所有同事的眼裏都是渣男，原來的我是老板和服務員中的暖男，就因為我和她分了手，短短這幾天，所有人看我的眼神都不一樣。我沒做過對不起她的任何一件事，反而她卻連分手都不能和我當面說，連續五天，整整五天，給我擺出一副無所謂的樣子，不論我這麽逗她，都是一樣。剛剛我才知道，原來就在三月二十號，她有了新男朋友，或許在自己眼中覺得非常珍惜的東西，在她眼裏，都是一文不值的狗屁吧。  
用戶: 樓下吃翔丶   發布時間：2018-03-24 15:35:13000   段子內容:求特朗普在wwe挨打的視頻，20紅包奉上（只限第一位發視頻者），謝謝  
用戶: 匿名用戶   發布時間：2018-02-08 07:48:47000   段子內容:今天上班，同事看到老板新買了一輛紅色的凱迪拉克。忍不住上前誇到：老板，您的新車真好看! 老板拍拍同事的肩膀，微笑著對他說：好看吧，如果今年你再努力工作點，明年我還能再買一輛。。。。  
用戶: 老葉先生   發布時間：2018-03-25 09:07:16000   段子內容:雞，各種肉類中火性最多，每天跑得快，不回頭，歸屬 心 這個五臟。所以老話說，吃雞可以補心氣。反過來說，心氣很足的兒童，吃雞多了就容易多動癥，煩躁。所以，雞適合虛寒的人吃，這樣的人情緒上經常表現為 哀，怨，愧等。鴿子等飛禽和雞是一樣的，都入心。常見與之搭配的材料有 黨參，黃芪， 紅棗，枸杞 ，生姜 ，蔥， 阿膠， 蘑菇等。  
用戶: 大大專屬小胖妞   發布時間：2018-03-25 10:22:52000   段子內容:一句話，贊我的心想事成，男的JJ變長5cm，女的全是A4腰  
用戶: 天下為蘇嬌喘   發布時間：2018-03-25 00:06:18000   段子內容:沒連wifi 看了文字段子 感覺有點看不下去了 因為看著心裏特不舒服 好多人在陌生人面前吐露心聲 在熟人面前裝作堅強 好像我也不怎麽愛發朋友圈了 玩玩段子吧 畢竟都不認識 哈哈 但至少感覺有人看的到呀 我挺好的 希望大家也好好的 晚安。  
用戶: 匿名用戶   發布時間：2018-03-25 01:14:18000   段子內容:大家以後要遠離×××，好好生活，不要羨慕那些來錢快的，來的快去得也快，踏踏實實過好每一天，有錢沒錢，人起碼要活的充實。說說我自己吧，兩年前我打打小麻將輸兩三百塊都覺得好心疼，慢慢的越玩越大，越輸越多，然後自己開紅包群利用身邊的人玩，三四個月之內是贏了一百多個，但是並沒有什麽卵用，錢來得快是不會珍惜的。照樣玩得別的輸出去，今晚又在別的群裏玩紅包輸了7萬了...想想之前自己有車有房家裏一家人其樂融融，可是現在我身負一身賭債，幾十個了，我家裏人還不知道，我深深的後悔，悔不當初，可是沒辦法從來了，我在這裏說不是博取你們的同情，因為×××的人都是死不足惜的。只想用自己的經歷告訴大家，珍愛生命，遠離×××。  
用戶: 已瘋未成魔   發布時間：2018-03-24 13:42:58000   段子內容:剛來到貴陽有沒有段友介紹個開車的工作  
用戶: 自由魚175182954   發布時間：2018-03-25 02:56:40000   段子內容:2：54有沒睡的嗎？今晚失眠了，有跟我一樣的嗎？想找個對象適合自己的就那麽難嗎？好茫然到底是找個愛自己的還是自己愛的  
用戶: 用戶143382847   發布時間：2018-02-04 20:34:38000   段子內容:我就服段子裏一天說評論送什麽送什麽的。人家評論了你又不送。什麽點贊送什麽的。都TM騙子。想我一樣說到做到點贊送你我家wifi密碼123456  
用戶: 手機用戶82229263196   發布時間：2018-03-25 12:05:12000   段子內容:說實話，中國並不大，美國省，日本村，韓國鎮，俄羅斯自治區，歐洲區，非洲寺廟……就這幾個地方，哎何時站立宇宙呀  
用戶: 傾淑於牧   發布時間：2018-03-25 05:19:17000   段子內容:淩晨五點十九分，，你睡了嗎  
用戶: 老師我懷孕了   發布時間：2018-03-24 08:12:27000   段子內容:我要在工廠上班了，幹他娘的，段友們吶，想你們  
用戶: 牛從良   發布時間：2018-03-02 12:12:29000   段子內容:白雪公主結婚以後，身體一直不太好。王子請來醫生診斷，發現她居然只剩下一個腎。王子悲傷地捧起她的臉：“親愛的，你到底遭遇了什麽？”白雪公主勉強露出一個微笑：“我在森林隱居時，有一天，一個巫婆敲開門對我說：“孩子，來個蘋果吧！  
用戶: 這輩子不可能打工的嘟   發布時間：2018-03-25 10:11:22000   段子內容:別看金牛座一副老實巴交的樣子，他們在戀愛中也有一套疼戀人的方案。只是不善於表達，不懂得溝通的金牛座人，在意一個人時，往往會很盲目，不懂得為自己著想，當付出自己的全部之後，才發現那個人早已經不在自己的身邊，這讓金牛座人很受傷。  
用戶: A浮華滄桑終究太多的傷858   發布時間：2018-03-24 20:48:54000   段子內容:今天我生日，路過的段友給個祝福  
用戶: 冰峰丶冰峰   發布時間：2018-02-14 17:42:47000   段子內容:剛剛去超市，本來想買包煙，結果看見結賬員是我前女友， 我果斷放下煙，拿了一包姨媽巾驕傲地走了過去  
用戶: 記住你雪   發布時間：2018-02-03 22:07:51000   段子內容:宿舍一哥們特別喜歡一個姑娘，但是他比較靦腆，有那姑娘的電話但是不敢打。就在昨天兄弟們都慫恿他表白，電話撥通鼓起勇氣說了一句：我好喜歡你 我給你唱首歌好不好，說完唱了幾分鐘的歌，唱完頓時就哭了，我們都看蒙圈了，結果他擡起頭說：其實電話早就掛了 他對空氣唱完了歌。通話時長0：7秒。  
用戶: 竊瓦辛格瓦   發布時間：2018-03-24 08:36:06000   段子內容:昨天去吃火鍋，看到火鍋店的墻上醒目的寫著:羊是自己養的，菜是自己種的，油是自己榨的，提醒顧客放心食用。買單的時候，我悄悄地跟老板說:這錢是自己印的，請放心使用，然後老板追了我好幾條街。  
用戶: 小泥巴熊001km   發布時間：2018-03-11 18:52:37000   段子內容:朋友去店裏吃冷飲，發現店裏的餐勺挺好看的，於是叫來服務員：“你們的勺子挺好看，一會送我倆行不”服務員橫眉冷目道：“不行，店裏有規定餐具不能送人”！！朋友：“那我要是偷呢”？服務員：那我管不著。轉身就走了……走了……  
用戶: 內涵警務部部長   發布時間：2018-03-24 22:42:02000   段子內容:你知道嗎？我在想你，一直都在想，習慣了有你的生活，沒有你在，簡直度日如年，時間過的好慢好慢，沒有你在我身邊，食無味，夜無眠。聽著歌我更想你。你能快點回到我身邊嘛，想你想你想你。我一直在QYF。  
用戶: 鬼鬼丨丨   發布時間：2018-03-24 23:15:50000   段子內容:誰能幫幫我，段友們，夏天就快到了，我是一位狐臭患者，對於狐臭我是絞盡腦汁，怕別人聞到，其實你們聞到難受我比你們更難受，我動過微創手術，基本沒效果，現在就想問問段友有懂這個的嗎，最好能去除的，我想段友不止我一個人有腋臭，希望有貴人幫助，謝謝！  
用戶: 我耗慌   發布時間：2018-03-25 12:14:36000   段子內容:段友們，我想請教一下大家，電瓶車車主喝了酒的，然後因為害怕和小車撞上，自己處理不當摔倒了，算哪個的責任。謝謝段友們  
用戶: 喜XD   發布時間：2018-03-24 22:59:55000   段子內容:今晚看到一個女同事發微信朋友圈 很搞笑，看能不能過。女同事說: 每次我家狗看見外賣小哥就很親切，我就問外賣小哥到底是為了什麽？外賣小哥想了想 說: 可能它覺得我天天給你送飯，是你主人吧。  
用戶: 佳洽-潮流鞋貿招代理   發布時間：2018-03-25 02:05:24000   段子內容:2.05分 還有沒睡的嗎  
用戶: ?171385241   發布時間：2018-03-25 08:13:41000   段子內容:老婆懷孕了，去醫院做B超，一個實習的小夥一臉嚴肅地跟我們說：“做好心理準備，可能是個怪胎，他有倆腦袋四只手四條腿！” .. 我們瞬間驚呆了，老婆當場就嚎啕大哭， 這時，醫生過來，一個“風雷神掌”打在小夥子的頭上，怒罵道：“那是雙胞胎，你大爺的。”  
用戶: 讓時光說58FV9   發布時間：2018-03-25 07:51:31000   段子內容:出海兩年多的的船員阿福終於回到家鄉。但一回到家的他卻發現多一個嬰兒！阿福激動的問著妻子“是誰幹的好事？是不是隔壁的阿呆？”“不是。”妻子回答“是不是我的朋友阿瓜？”“不是。”“一定是小王，我那該死的酒肉兄弟！”“煩死人了！”妻子叫道“難道我就沒有自己的朋友嗎？”  
用戶: 路過的黑森林   發布時間：2018-02-04 21:55:13000   段子內容:談了一段時間的妹子突然問我：“動手術和動感情有什麽共同點”估計妹子考我了。哈，如此簡單同一個“動”字啊！我得意地回答。萬萬沒想到，旁邊的大哥鄙視的眼彪過來：“你是不是傻？“難道不對嗎？  
用戶: 果實321   發布時間：2018-03-25 12:07:32000   段子內容:開心是什麽，不開心又是什麽，都是自己虛擬的感覺而已，空空如也  
用戶: 墻交術之黴   發布時間：2018-03-10 08:08:29000   段子內容:一日和斌哥去醫院看病。醫生問他：你什麽情況啊？”斌哥嘆了口氣說：不知道怎麽的，經常感覺疲勞、意誌消沈、記憶力減退、理解力下降、失眠多夢，頭疼的很”醫生看了他一眼在病歷本上畫了些圈圈，說：以後少玩魂鬥羅。”我好奇的插嘴道：魂鬥羅是什麽啊？”醫生看了我一眼說：他自己知道。”說完把病歷本遞了過來  
用戶: 用戶75315880724   發布時間：2018-03-25 01:03:41000   段子內容:我有個朋友網貸15萬，銀行貸款15萬，信用卡幾家銀行加起來14萬，他準備全部不還款了，他會怎麽樣，網貸應該只是催收，銀行的錢會不會被抓去坐牢啊？求指點  
用戶: 原諒帽恐怖總部派送員   發布時間：2018-03-13 15:52:05000   段子內容:從前，有一男孩，他隨著村裏郎中學醫，12歲時上山采藥救了一只受傷的白狐。郎中去世，白狐成精前來報恩。4年後，看著毛絨絨的小狐貍，他簡直毫無抵抗力。抱著蹭了又蹭，十方歡喜。是夜，白狐幻化作一天資美人: 恩公，奴家...他一臉冷漠: 變回去。  
用戶: 玫瑰余香8294   發布時間：2018-03-24 22:48:59000   段子內容:看清一個人需要時間，表裏如一的人直得深交。結識君子是幸運；遠離小人更榮幸。困難時拉一把的人不忘恩，傷口灑鹽的小人刻骨銘心。不要從別人嘴裏去了解一個人，因為你沒有經歷過這個人的事情。  
用戶: 聽129633831   發布時間：2018-03-24 18:56:42000   段子內容:成都今天下雨，進小區的時候前面一個阿姨放了一個屁。那酸爽，混雜著濕潤的空氣撲鼻而來。也喚醒了我體內的洪荒之力。於是我快步走到她的前面，回敬了一個無聲的致意。  
用戶: 羊八兩   發布時間：2018-03-25 07:35:37000   段子內容:閨蜜一大早打電話給我，說早上起床發現鎖好的房門被撬開了。我問丟東西沒？她說沒丟。我心剛放下來，就聽她支支吾吾地說就是昨晚做了個春夢……怎麽辦？要不要去醫院？我我我我…我也不知道…  
用戶: 楓葉願望   發布時間：2018-03-24 21:31:58000   段子內容:媽的，今天去浴室遇到一個人，真TM能bb，搞得就像：老子天下第一，老子最牛逼！但卻在浴室敲腿，混的也不怎麽樣，逗逼！
python 抓取內涵段子