1. 程式人生 > >推薦一款Python開源庫,技術人必備的造資料神器!

推薦一款Python開源庫,技術人必備的造資料神器!

# 1. 背景 在軟體需求、開發、測試過程中,有時候需要使用一些測試資料,針對這種情況,我們一般要麼使用已有的系統資料,要麼需要手動製造一些資料。由於現在的業務系統資料多種多樣,千變萬化。在手動製造資料的過程中,可能需要花費大量精力和工作量,此項工作既繁複又容易出錯,比如要構造一批使用者三要素(姓名、手機號、身份證)、構造一批銀行卡資料、或構造一批地址通訊錄等。 這時候,人們常常為了偷懶快捷,測試資料大多數可能是類似這樣子的: ``` 測試, 1300000 000123456 張三, 1310000 000123456 李四, 1320000 000234567 王五, 1330000 000345678 ``` 測試資料中包括了大量的“測試XX”,要麼就是隨手在鍵盤上一頓亂敲,都是些無意義的假資料。 你是不是這樣做的呢?坦白的說,有過一段時間,筆者偶爾也是這麼幹的。 但是,細想一下,這樣的測試資料,不僅要自己手動敲,還假的不能再假,浪費時間、浪費人力、資料價值低。 而且,部分資料的手工製造還無法保障:比如UUID類資料、MD5、SHA加密類資料等。 **為了幫助大家解決這個問題,更多還是提供種一種解決方案或思路**,今天給大家分享一款Python造資料利器:**Faker庫**,利用它可以生成一批各種各樣的看起來“像真的一樣”的假資料。 # 2. Faker介紹 、安裝 ## 2.1 Faker是什麼 Faker是一個Python包,主要用來建立偽資料,使用Faker包,無需再手動生成或者手寫隨機數來生成資料,只需要呼叫Faker提供的方法,即可完成資料的生成。 專案地址:[https://github.com/joke2k/faker](https://github.com/joke2k/faker) ![](https://tva1.sinaimg.cn/large/007S8ZIlgy1ggctdoru6qj30zu0pq1dk.jpg) ## 2.2 安裝 安裝 Faker 很簡單,使用 pip 方式安裝: ``` pip install Faker ``` 除了pip 安裝,也可以通過上方提供的github地址,來下載編譯安裝。 ```python (py3_env) ➜ py3_env pip show faker Name: Faker Version: 4.1.1 Summary: Faker is a Python package that generates fake data for you. Home-page: https://github.com/joke2k/faker Author: joke2k Author-email: [email protected] License: MIT License Location: /Users/xxx/work_env/py3_env/lib/python3.7/site-packages Requires: python-dateutil, text-unidecode Required-by: ``` # 3. Faker常用使用 ### 3.1 基本用法 Faker 的使用也是很簡單的,從 faker 模組中匯入類,然後例項化這個類,就可以呼叫方法使用了: ```python from faker import Faker fake = Faker() name = fake.name() address = fake.address() print(name) print(address) # 輸出資訊 Ashley Love 074 Lee Village Suite 464 Dawnborough, RI 44234 ``` 這裡我們造了一個名字和一個地址,由於 Faker 預設是英文資料,所以如果我們需要造其他語言的資料,可以使用 locale引數,例如: ```python from faker import Faker fake = Faker(locale='zh_CN') name = fake.name() address = fake.address() print(name) print(address) # 輸出資訊 張豔 海南省上海市朝陽邱路y座 175208 ``` 是不是看起來還不錯,但是有一點需要注意,這裡的地址並不是真實的地址,而是隨機組合出來的,也就是將省、市、道路之類的隨機組合在一起。 這裡介紹幾個比較常見的語言代號: - 簡體中文:zh_CN - 繁體中文:zh_TW - 美國英文:en_US - 英國英文:en_GB - 德文:de_DE - 日文:ja_JP - 韓文:ko_KR - 法文:fr_FR 例如將語言修改為繁體中文`fake = Faker(locale='zh_TW')`,輸出資訊為: ``` 楊志巨集 100 中壢博愛街10號9樓 ``` ## 3.2 常用函式 除了上述介紹的`fake.name`和`fake.address`生成姓名和地址兩個函式外,常用的faker函式按類別劃分有如下一些常用方法。 **1、地理資訊類** - fake.city_suffix():市,縣 - fake.country():國家 - fake.country_code():國家編碼 - fake.district():區 - fake.geo_coordinate():地理座標 - fake.latitude():地理座標(緯度) - fake.longitude():地理座標(經度) - fake.postcode():郵編 - fake.province():省份 - fake.address():詳細地址 - fake.street_address():街道地址 - fake.street_name():街道名 - fake.street_suffix():街、路 **2、基礎資訊類** - ssn():生成身份證號 - bs():隨機公司服務名 - company():隨機公司名(長) - company_prefix():隨機公司名(短) - company_suffix():公司性質 - credit_card_expire():隨機信用卡到期日 - credit_card_full():生成完整信用卡資訊 - credit_card_number():信用卡號 - credit_card_provider():信用卡型別 - credit_card_security_code():信用卡安全碼 - job():隨機職位 - first_name_female():女性名 - first_name_male():男性名 - last_name_female():女姓 - last_name_male():男姓 - name():隨機生成全名 - name_female():男性全名 - name_male():女性全名 - phone_number():隨機生成手機號 - phonenumber_prefix():隨機生成手機號段 **3、計算機基礎、Internet資訊類** - ascii_company_email():隨機ASCII公司郵箱名 - ascii_email():隨機ASCII郵箱: - company_email(): - email(): - safe_email():安全郵箱 **4、網路基礎資訊類** - domain_name():生成域名 - domain_word():域詞(即,不包含字尾) - ipv4():隨機IP4地址 - ipv6():隨機IP6地址 - mac_address():隨機MAC地址 - tld():網址域名字尾(.com,.net.cn,等等,不包括.) - uri():隨機URI地址 - uri_extension():網址檔案字尾 - uri_page():網址檔案(不包含字尾) - uri_path():網址檔案路徑(不包含檔名) - url():隨機URL地址 - user_name():隨機使用者名稱 - image_url():隨機URL地址 **5、瀏覽器資訊類** - chrome():隨機生成Chrome的瀏覽器user_agent資訊 - firefox():隨機生成FireFox的瀏覽器user_agent資訊 - internet_explorer():隨機生成IE的瀏覽器user_agent資訊 - opera():隨機生成Opera的瀏覽器user_agent資訊 - safari():隨機生成Safari的瀏覽器user_agent資訊 - linux_platform_token():隨機Linux資訊 - user_agent():隨機user_agent資訊 **6、數字類** - numerify():三位隨機數字 - random_digit():0~9隨機數 - random_digit_not_null():1~9的隨機數 - random_int():隨機數字,預設0~9999,可以通過設定min,max來設定 - random_number():隨機數字,引數digits設定生成的數字位數 - pyfloat(): left_digits=5 #生成的整數位數, right_digits=2 #生成的小數位數, positive=True #是否只有正數 - pyint():隨機Int數字(參考random_int()引數) - pydecimal():隨機Decimal數字(參考pyfloat引數) **7、文字、加密類** - pystr():隨機字串 - random_element():隨機字母 - random_letter():隨機字母 - paragraph():隨機生成一個段落 - paragraphs():隨機生成多個段落,通過引數nb來控制段落數,返回陣列 - sentence():隨機生成一句話 - sentences():隨機生成多句話,與段落類似 - text():隨機生成一篇文章(不要幻想著人工智慧了,至今沒完全看懂一句話是什麼意思) - word():隨機生成詞語 - words():隨機生成多個詞語,用法與段落,句子,類似 - binary():隨機生成二進位制編碼 - boolean():True/False - language_code():隨機生成兩位語言編碼 - locale():隨機生成語言/國際 資訊 - md5():隨機生成MD5 - null_boolean():NULL/True/False - password():隨機生成密碼,可選引數:length:密碼長度;special_chars:是否能使用特殊字元;digits:是否包含數字;upper_case:是否包含大寫字母;lower_case:是否包含小寫字母 - sha1():隨機SHA1 - sha256():隨機SHA256 - uuid4():隨機UUID **8、時間資訊類** - date():隨機日期 - date_between():隨機生成指定範圍內日期,引數:start_date,end_date - date_between_dates():隨機生成指定範圍內日期,用法同上 - date_object():隨機生產從1970-1-1到指定日期的隨機日期。 - date_time():隨機生成指定時間(1970年1月1日至今) - date_time_ad():生成公元1年到現在的隨機時間 - date_time_between():用法同dates - future_date():未來日期 - future_datetime():未來時間 - month():隨機月份 - month_name():隨機月份(英文) - past_date():隨機生成已經過去的日期 - past_datetime():隨機生成已經過去的時間 - time():隨機24小時時間 - timedelta():隨機獲取時間差 - time_object():隨機24小時時間,time物件 - time_series():隨機TimeSeries物件 - timezone():隨機時區 - unix_time():隨機Unix時間 - year():隨機年份 **9、python 相關方法** - profile():隨機生成檔案資訊 - simple_profile():隨機生成簡單檔案資訊 - pyiterable() - pylist() - pyset() - pystruct() - pytuple() - pydict() 可以用dir(fake),看Faker庫都可以fake哪些資料,目前Faker支援近300種資料,此外還支援自己進行擴充套件。 有了這些生成資料函式之後用fake物件就可以呼叫不同的方法生成各種資料了。 ## 3.3 常用資料場景 **1、構造通訊錄記錄** ```python from faker import Faker fake = Faker(locale='zh_CN') for _ in range(5): print('姓名:', fake.name(), ' 手機號:', fake.phone_number()) # 輸出資訊: 姓名: 駱柳 手機號: 18674751460 姓名: 薛利 手機號: 13046558454 姓名: 翟麗麗 手機號: 15254904803 姓名: 宋秀珍 手機號: 13347585045 姓名: 孔桂珍 手機號: 18258911504 ``` **2、構造信用卡資料** ``` from faker import Faker fake = Faker(locale='zh_CN') print('Card Number:', fake.credit_card_number(card_type=None)) print('Card Provider:', fake.credit_card_provider(card_type=None)) print('Card Security Code:', fake.credit_card_security_code(card_type=None)) print('Card Expire:', fake.credit_card_expire()) # 輸出資訊: Card Number: 676181530350 Card Provider: Diners Club / Carte Blanche Card Security Code: 615 Card Expire: 09/21 ``` **3、生成個人檔案資訊** ```python from faker import Faker fake = Faker(locale='zh_CN') print(fake.profile()) # 輸出資訊 {'job': '美術指導', 'company': '易動力傳媒有限公司', 'ssn': '370703197807179500', 'residence': '廣西壯族自治區旭縣薊州東莞街L座 784064', 'current_location': (Decimal('78.3608745'), Decimal('-95.946407')), 'blood_group': 'B+', 'website': ['https://www.jiewang.org/', 'https://www.longsong.cn/', 'https://jingyong.net/', 'https://58.cn/'], 'username': 'qinqiang', 'name': '唐偉', 'sex': 'F', 'address': '新疆維吾爾自治區建華市東麗拉薩街a座 875743', 'mail': '[email protected]', 'birthdate': datetime.date(2014, 4, 27)} ``` **4、生成Python相關結構資訊** ```python from faker import Faker fake = Faker(locale='zh_CN') print('生成Python字典: {}'.format(fake.pydict( nb_elements=10, variable_nb_elements=True))) # Python字典 print('生成Python可迭代物件:{}.'.format(fake.pyiterable( nb_elements=10, variable_nb_elements=True))) # Python可迭代物件 print('生成Python結構:{}'.format(fake.pystruct(count=1))) # Python結構 # 輸出資訊 成Python字典: {'論壇': 'nVcSbHlrcrhIBtwByVUM', '直接': 'drkyFUNcNxdbwYKhRLEZ', '成功': 'https://fang.cn/main/search/blog/search/', '沒有': datetime.datetime(2006, 2, 24, 15, 40, 14), '原因': 404, '作者': 'OTJjsFHQklpUvTPtLCqP'} 生成Python可迭代物件:{1088, 'ignqbohwYRxqolLEzSti', 'http://gang.cn/main/search.php', 'zRnNYdIpPXUxEVISHbvS', 'ToZxuBetghvlPHUumAvi', 9830, 'OYAjoKeVNGhHMLgnYUAw', 970446.888, -17681479853.4069, 872236250787063.0, datetime.datetime(2017, 12, 24, 5, 58, 58), 'aRSfxiUSuMqHXvKCCkMJ'} 生成Python結構:(['cKwOvdCEFOhCERMSMXSf'], {'只有': 'hhwGCmjkHMOUjBTDztXp'}, {'還有': {0: 'vjcNqpnRbNUUxXpgVyvh', 1: [8725, 7125, 'aTSJssAJUKpuRLcbiwyK'], 2: {0: 'RmWlFQQpVZIQkxZPfJnq', 1: 'efsUVLgeStXbCOJDuJCf', 2: ['FgZQLCRjUTmEbBdDMEPZ', 'https://min.cn/search/faq/']}}}) ``` # 4. Faker常用使用 如果這些資料還不夠生成資料使用,Faker還支援建立自定義的Provider生成資料。 ```python from faker import Faker from faker.providers import BaseProvider # 建立自定義Provider class CustomProvider(BaseProvider): def customize_type(self): return 'test_Faker_customize_type' # 新增Provider fake = Faker() fake.add_provider(CustomProvider) print(fake.customize_type()) ``` 是不是十分簡單,以後常用的資料就可以自己建立Provider用自動化的方法生成了,不僅節省了時間,複用性也變高了。 ## 5. 總結 這些只是其中的一些常見的資料,Faker 可以造的資料遠不止這些型別。相信通過本文的介紹,大家應該對 Faker 不陌生了吧。以後在需要造資料的時候,一定要想起 Faker 這個利器哦! 此外,作為一個開源的庫,Faker的原始碼是非常值得研究的,也是Python新手可以用來練開源專案的利器。