自制簡單的詩歌搜尋系統
專案簡介
本文將介紹一個筆者自己的專案:自制簡單的詩歌搜尋系統。該系統主要的實現功能如下:指定一個關鍵詞,檢索出包含這個關鍵詞的詩歌,比如關鍵詞為“白雲”,則檢索出的詩歌可以為王維的《送別》,內容為“下馬飲君酒,問君何所之?君言不得意,歸臥南山陲。但去莫復問,白雲無盡時。”
該專案使用的Python模組為:
- requests
- BeautifulSoup
- pymongo
- tornado
其中,requests模組和BeautifulSoup模組用來製作爬蟲,爬取網上的詩歌。pymongo模組用來將爬取的詩歌寫入到MongoDB資料庫。tornado模組用於網頁端展示。
該專案主要分以下三步實現:
- 收集資料:使用爬蟲,爬取網上的詩歌作為專案的資料集;
- 存入資料庫:將爬取到的詩歌寫入到MongoDB資料庫;
- 網頁展示:利用tornado框架實現詩歌搜尋功能。
該專案的結構如下:
資料收集
首先,我們利用Python爬蟲來爬取詩歌,存為CSV檔案poem.csv。爬取的網址為: https://www.gushiwen.org 。由於僅是展示該專案的思路,因此,只爬取了該頁面中的唐詩三百首、古詩三百、宋詞三百、宋詞精選,一共大約1100多首詩歌。
實現該爬蟲的程式碼檔案為poem_scrape.py,程式碼如下:
# -*- coding: utf-8 -*- import re import requests from bs4 import BeautifulSoup import pandas as pd # 爬取的詩歌網址 urls = ['https://www.gushiwen.org/gushi/tangshi.aspx', 'https://www.gushiwen.org/gushi/sanbai.aspx', 'https://www.gushiwen.org/gushi/songsan.aspx', 'https://www.gushiwen.org/gushi/songci.aspx' ] poem_links = [] # 詩歌的網址 for url in urls: # 請求頭部 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'} req = requests.get(url, headers=headers) soup = BeautifulSoup(req.text, "lxml") content = soup.find_all('div', class_="sons")[0] links = content.find_all('a') for link in links: poem_links.append(link['href']) # print(poem_links) # print(len(poem_links)) content_list = [] title_list = [] dynasty_list = [] poet_list = [] # 爬取詩歌頁面 def get_poem(url): #url = 'https://so.gushiwen.org/shiwenv_45c396367f59.aspx' # 請求頭部 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'} req = requests.get(url, headers=headers) soup = BeautifulSoup(req.text, "lxml") # 詩歌內容 poem = soup.find('div', class_='contson').text.strip() poem = poem.replace(' ', '') poem = re.sub(re.compile(r"\([\s\S]*?\)"), '', poem) poem = re.sub(re.compile(r"([\s\S]*?)"), '', poem) poem = re.sub(re.compile(r"。\([\s\S]*?)"), '', poem) poem = poem.replace('!', '!').replace('?', '?').replace('\n', '') content = poem if content: content_list.append(content) else: content_list.append('') # 詩歌朝代,詩人 dynasty_poet = soup.find('p', class_='source').text if ':' in dynasty_poet: dynasty, poet = dynasty_poet.split(':') else: dynasty, poet = '', '' dynasty_list.append(dynasty) poet_list.append(poet) # 詩歌標題 title = soup.find('h1').text if title: title_list.append(title) else: title_list.append('') # 爬取詩歌 for url in poem_links: get_poem(url) # 寫入至csv檔案 df = pd.DataFrame({'title': title_list, 'dynasty': dynasty_list, 'poet': poet_list, 'content': content_list }) print(df.head()) df.to_csv('./poem.csv', index=False)
儲存的poem.csv的前幾行如下:
資料庫
資料收集完畢後,我們需要將這些資料出訪到資料庫中,便於後續的呼叫,在這裡選擇MongoDB。利用檔案write2mongodb.py檔案可以將剛才爬取到的詩歌存放至MongoDB資料庫中,完整的程式碼如下:
import pandas as pd from pymongo import MongoClient # 連線MongoDB conn = MongoClient('mongodb://localhost:27017/') db = conn["test"] # 插入詩歌 df = pd.read_csv('poem.csv') columns = ['title', 'dynasty', 'poet', 'content'] for i in range(df.shape[0]): print(i) row = df.iloc[i, :] db.poem.insert(dict(zip(columns, row[columns])))
不到一分鐘,我們可以看到MongoDB中的內容如下:
前端展示
準備好資料集後,我們需要視覺化地展示詩歌檢索功能,我們選擇tornado這個框架來實現。詩歌檢索功能為:指定一個關鍵詞,檢索出包含這個關鍵詞的詩歌。關鍵詞由使用者輸入,提交HTTP請求,在後臺實現詩歌檢索功能,然後在前端頁面展示出來。
實現的server.py的程式碼如下:
# -*- coding: utf-8 -*- import random import os.path import tornado.httpserver import tornado.ioloop import tornado.options import tornado.web from tornado.options import define, options from pymongo import MongoClient # 連線MongoDB conn = MongoClient('mongodb://localhost:27017/') coll = conn["test"].poem #定義埠為8000 define("port", default=8000, help="run on the given port", type=int) # GET請求 class QueryHandler(tornado.web.RequestHandler): # get函式 def get(self): self.render('query.html') # POST請求 # POST請求引數:query_string class ResultHandler(tornado.web.RequestHandler): # post函式 def post(self): query = self.get_argument('query_string') res = list(coll.find({'content': {'$regex': query}})) if len(res) > 0: result = random.sample(res, 1)[0] del result["_id"] title = result['title'] dynasty = result['dynasty'] poet = result['poet'] content = result['content'] else: title = '' dynasty = '' poet = '' content = '' self.render('result.html', query=query, title=title, dynasty=dynasty, poet=poet, content=content) # 主函式 def main(): tornado.options.parse_command_line() # 定義app app = tornado.web.Application( handlers=[(r'/query', QueryHandler), (r'/result', ResultHandler)], #網頁路徑控制 template_path=os.path.join(os.path.dirname(__file__), "templates") # 模板路徑 ) http_server = tornado.httpserver.HTTPServer(app) http_server.listen(options.port) tornado.ioloop.IOLoop.instance().start() main()
其中,query路徑對應的網頁query.html的程式碼如下:
<!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>Poem Query</title> </head> <body> <h2>請輸入查詢</h2> <form method="post" action="/result"> <p>包含文字: <input type="text" name="query_string"></p> <input type="submit"> </form> </body> </html>
result路徑對應的網頁result.html如下:
<!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>Result</title> <script> //highlight query word in the page function Func(){ var query = document.getElementById("query").innerHTML; query = query.split(':')[1]; if(query == ''){alert('查詢詞為空!')} else{ document.getElementById("result").innerHTML = document.getElementById("result").innerHTML.replace(new RegExp(query,'g'),'<mark>'+query+'</mark>'); } } </script> </head> <body> <font color="red"><p id="query">查詢詞:{{query}}</p></font> <p>標題:{{title}}</p> <p>朝代:{{dynasty}}</p> <p>詩人:{{poet}}</p> <p id="result">內容:{{content}}</p> <a href="/query"><button type="button">返回</button></a> <button type="button" onclick="Func()">查詢詞高亮</button> </body>
使用示例
執行server.py, 在瀏覽器中輸入網址: http://localhost :8000/query ,介面如下:
在其中輸入搜尋關鍵詞,比如“白雲”,則會顯示一條隨機的結果,如下:
點選“查詢詞高亮”,則查詢詞部分會高亮顯示。
總結
本專案僅為展示詩歌檢索的一種實現思路,仍有許多功能還待完善,後續將進一步補充實現。本專案的github地址為: https://github.com/percent4/P... 。
注意:本人現已開通微信公眾號: Python爬蟲與演算法(微訊號為:easy_web_scrape), 歡迎大家關注哦~~