1. 程式人生 > >今日頭條的爬取

今日頭條的爬取

import requests,json
import pymysql
m=’’‘嫖娼
與其發生性關係
勾引
三妻四妾
色情交易
涉黃
發生關係
女兒發生性關係
出軌的女人
站街女
紅杏出牆
援助交際
一夫多妻
偷過情
猥褻
性病
一夫一妻制
強暴
親熱
嫁一夫
通姦
性經歷
性交易
性伴侶
父女亂倫
一夫兩妻
家暴
已婚女人出軌
招嫖
約炮
齷齪事
性虐
發生性關係
二夫侍一妻
性愛生活
賣淫活動
夫妻房
陪睡
上過床
外嫁
強迫賣淫
男人偷吃
包養情婦
交歡
喜當爹
禽獸
私通
偷人
忘年戀
生孩子
渣女
嫖宿
炮友
淫窩
戀母情結
姦情
丈夫卻不是孩子父親
母子戀
性史
出過軌
離婚
騙財騙色
情慾片
代孕
家有嬌妻
禁忌之愛
3p
正房
性愛
地下捐精
姦汙
捐精者
兩妻子
禁忌戀
有染
出軌的婚姻
走婚
情人
插足婚姻
懷疑妻子出軌
一夫二妻

侍一夫
不雅圖片
禁斷
冷暴力
師生戀
換妻
姐弟戀
獸交
婆媳關係
賣淫
性侵
婚前性行為
如飢似渴
花心
不正當關係
賤女人
床上戲
偷情
共侍一夫
幽會
私生女
媽媽是奶奶
老婆出軌
一夫一妻
九歌
性工作者
權色
位老婆
辦公室戀情
香港三級片
換妻俱樂部
共妻
破處門
女大學生賣淫
雞姦
別人的情婦
強姦
出軌
私情
外遇
父女戀
包養
援交妹
婚外情人
拐賣婦女
一夫
女人出軌
西門慶
網上招嫖
婚姻制度
閃婚
上床
捐精
丈夫與情人
捉姦
乾妹妹
一夫三妻
感情
賣身
愛上母女
官場潛規則
禁忌之戀
一妻多夫
租妻
夜夜激情
美人圖
出軌後
寵幸
中年女人出軌
三陪小姐
交換性伴侶
同時交往
抓姦
備胎
不倫之戀
婚外情
陪玩
老少戀
捉姦在床
老婆出軌後
六房老婆
性醜聞
借種生子
狐狸精
慾求不滿
女人島
淫婦
胸推
一妻兩夫
姦夫
誘姦
金瓶梅
失足婦女
老牛吃嫩草
小情人
婚外戀
龔玥菲
同性戀
性風俗
霸佔兒媳
同床
綠茶婊
破身
拜金女
淫妻
紅燈區
迷姦
賣淫女
應召女郎
性服務
賣淫嫖娼
女性癮者
傍大款
陪侍
前男友
瞎搞
援交女
荒淫
童婚
正妻
騙婚
一夜激情
被拐賣
同居
有一腿
二奶
與多人發生關係
地下情
一妻二夫
多妻制
走婚制
買春
摸奶節
出軌率
姘頭
第三者
金主
二奶村
女人出軌後
渣男
偷了人
辦公室偷情
婚外性
色情
輪姦
騷婦
淫窟
老夫少妻
原配
夫妻性生活
妓女
偷蛋賊
爺孫戀
性都
正室
性關係
偷腥
性愛交易
勾搭
失足女
綠帽
慾望都市
多角關係
婚姻
不倫
有夫之婦
性愛派對
姦夫淫婦
小三門
婚外戀情
三人生活
戀情
綠帽子
姦淫幼女
男人上床
虐戀
絕望的女人
有婦之夫
戀母
亂來
色情服務
三陪
接客
閻惜嬌
偷窺
群婚
女同性戀
性飢渴
陰婚
孫戀
開房
同居生活
風流債
淫蕩
畸戀
聚眾淫亂
染指
人獸雜交
密會
霸佔
淫亂
戴綠帽
偷漢子
性幻想
撲火的飛蛾
乾爸
娶妻
裸聊
妻妾成群
家外有家
無性婚姻
妻子與情人
換妻遊戲
暗娼
偷歡
yp
床笫之歡
性騷擾
色情場所
3d肉蒲團之極樂寶鑑
戴帽子
與其發生關係
劈腿
賣春
亂搞
床戲
出了軌
性交
人獸戀
黃昏戀
哥哥是生父
偷妻
精盡人亡
出個軌
小三
偏房
亂倫
變心
婚變
妻妾
私生子
公媳
性生活
妻子出軌後
性壓抑
前任
多夫制
姦淫
母子亂倫
性賄賂
乾爹
第三者插足
情夫
一夫多妻制
吳月娘
三角戀
新金瓶梅
包養女
借種
開房照
姐夫
戴綠帽子
偷吃
母系氏族
老公
前女友
妻子出軌
人魚戀
相戀
情敵
被出軌
情婦
飢渴少婦
求包養
混住
援交
性行為
婚外偷情
辦公室婚外情
不忠
同房
強姦生母
多妻
迷姦門
寵幸兒媳
綠過
婚內不忠

權色交易
婚外
一夜情
禁戀’’’
key_words_list=m.split(’\n’)
for key_words in key_words_list:
for num in [0,20,40,60]:
url = “

https://www.toutiao.com/search_content/?offset={}&format=json&keyword={}&autoload=true&count=20&cur_tab=1&from=search_tab&pd=synthesis”.format(num,key_words)
headers = {“User-Agent”: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36’}
response=requests.get(url,headers=headers)
res_content=response.json()
#獲取20條新聞的ajax
m=res_content[“data”]
#獲取一條新聞
for one in m:
#來源
try :
source=(one[“media_name”])
except:
source=“空”
print(repr(source))
#評論數
try:
comment =one[“comment_count”]
comment=str(comment)
except:
comment=‘空’
print(repr(comment))
#更新時間
try:
datetime = one[“datetime”]
except:
datetime=“空”
print(repr(datetime))
#連結
try:
URL=one[“article_url”]
except:
URL=“空”
print(repr(URL))
#標題
try:
article_title = one[“title”]
except:
article_title=‘空’
print(repr(article_title))
print(‘關鍵詞是{}’.format(key_words))
# 建立連線
try:
db = pymysql.connect(host=‘127.0.0.1’, user=‘root’, password=‘123456’, database=‘key_word’, charset=‘utf8’)
# 建立遊標物件
cursor = db.cursor()
# 資料新增到資料庫的語句
#sql = “insert into title_1 values(null,{},{},{},{})”.format(article_title,source,comment,datetime)
sql = ‘’‘insert into title_1 values(null,"%s","%s","%s","%s","%s")’’’%(article_title,source,comment,datetime,key_words)
# 執行新增過程
cursor.execute(sql)
# 提交
db.commit()
# 關閉遊標
cursor.close()
db.close()
print("=="*60)
except:
print(‘出錯了’)