#!/usr/bin/python 
# -*- coding: utf-8 -*-

'''
Created on 2015-1-4
@author: beyondzhou
@name: find_popular_entities.py
'''

# Extract entities of sina weibo
def find_popular_entities():
    
    # import 
    from login import weibo_login
    from statuses import get_common_weibo_entities
    from prettytable import PrettyTable
        
    # Access to sina api
    weibo_api = weibo_login()
    
    # Get public timeline
    statuses = weibo_api.statuses.public_timeline.get()['statuses']

    # Output the public timeline
    # print json.dumps(statuses, indent=1)
    
    # Get common weibo entities
    common_entities = get_common_weibo_entities(statuses, entity_threshold=1)
    
    # Output the first 100 record
    pt = PrettyTable(field_names=['Count', 'Entity'])
    [pt.add_row(kv) for kv in sorted(common_entities, reverse=True)[:100]]
    pt.max_width['Entity'] = 1000
    pt.align['Count'], pt.align['Entity'] = 'l', 'l'
    print pt
    
if __name__ == '__main__':
    find_popular_entities()
 

# Get common weibo entities
def get_common_weibo_entities(statuses, entity_threshold=0):

    from collections import Counter

    # Create a flat list  of all weibo entities
    weibo_entities = [  e
                        for status in statuses
                           for entity_type in extract_weibo_entities([status])
                             for e in entity_type
                     ]
    
    c = Counter(weibo_entities).most_common()

    # Compute frequencies (counter before entities!)
    return [(v,k)
             for (k,v) in c
               if v >= entity_threshold
           ]
 

callback_url: https://api.weibo.com/oauth2/authorize?redirect_uri=http%3A//apps.weibo.com/guaguastd&response_type=code&client_id=2925245021
return_redirect_uri: http://weibo.com/login.php?url=http%3A%2F%2Fapps.weibo.com%2Fguaguastd%3Fcode%3De9e21c4065777549b99f240a935fc712
code: ['e9e21c4065777549b99f240a935fc712']
+-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Count | Entity                                                                                                                                                                                                                                                            |
+-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 40    | 0                                                                                                                                                                                                                                                                 |
| 4     | 讓你從此潮起來！[酷]最近身邊的姐妹們都特別潮，死磨硬泡才知道[可憐]原來大家都在工廠店買的，價格實惠，而且品質特別好，我也給大家分享一下[互粉][威武]xin：3104359614不要感謝我，請叫我雷鋒[偷笑]                                                                     |
| 2     | 讓我愛你可以，但請給我一個愛你的理由。                                                                                                                                                                                                                            |
| 2     | 讓你從此潮起來！[酷]最近身邊的朋友們都特別潮，死磨硬泡才知道[可憐]原來大家都在工廠店買的，價格實惠，而且品質特別好，我也給大家分享一下[互粉][威武]xin：VIP999_9不要感謝我，請叫我雷鋒[偷笑]                                                                       |
| 2     | 沒有人是擅長做一切事情，你也是不會例外。因此，正如你對於新員工做的那樣，你應該首先評′估自己最有可能成功的地方（你的優勢）以及你最有可能需要別人幫助的地方在哪裡（你的短處）。                                                                                     |
| 2     | 時間就是答案，它證明了一切，也忘記了一切。                                                                                                                                                                                                                        |
| 2     | 新年穿新鞋啦！！潮人看過來[加油啊]實力老口碑上家，傾誠鉅獻[給力]玩裝潮鞋在腳下[偷樂][喵喵]正品授權，更有百餘款顏色供您選擇，還有明星同款等你來[心]讓你坐在家裡逛專櫃，省錢穿大牌[互粉][威武]xin：VIP999_9                                                         |
| 2     | 夏天來了，為什麼我卻是個胖子。。。。胖妞玩♂水上衝浪，結果杯具了                                                                                                                                                                                                   |
| 2     | 同事們都說我最近穿的鞋好潮好時尚呢[偷笑]我才不會告訴他們，我是在一個工廠店買的呢，價格不貴不說，東西質量特別好，款式也多，還會不間斷推出新款，簡直就是赤裸裸的餡兒餅啊！[心][互粉][威武]xin：VIP999_9                                                             |
| 2     | 【育兒常識】想幫助寶ˋ寶在黃金生長期茁壯成長，可以準備四類食物：1、奶類：含有鈣質、維生素Ｄ、蛋白質2、蔬果：含維生素Ａ及C、纖維素3、五穀類：含有碳水化臺物，維生素B14、肉類、蛋類、豆類：含有蛋白質、鐵質。                                                        |
| 2     | 【番茄奶油蝦意麵】鍋內水燒開，加入1小勺鹽，幾滴食用油，倒入意麵攪拌一下，煮熟撈出↑，過冷水瀝乾；鮮蝦去須洗淨，熱鍋冷油滑炒至斷生盛出；鍋內留底油，加入2勺番茄醬炒勻，點適量鹽，放入一片三明治乳酪，煮至醬汁起稠時，倒入意麵和鮮蝦炒至均勻裹上蕃茄醬汁；裝盤即可。 |
| 1     | 高6瓜仔                                                                                                                                                                                                                                                           |
| 1     | 荷蘭瓜中含有豐富的維生素E,可起到延年益壽，抗衰老的作用；荷蘭瓜中的黃瓜酶，有很強的生物活性，能有效地促進機體的新陳代謝。用荷蘭瓜搗汁塗擦面板，有潤膚，舒·展皺紋功效。                                                                                             |
| 1     | 使用者5318294148                                                                                                                                                                                                                                                    |
| 1     | 玉蘭花比萍果漂亮多了//【華為2014年銷售收入約460億美元】  http://http://t.cn/RZ5P2yv                                                                                                                                                                               |
| 1     | 玉蘭花比萍果漂亮多了//【華為2014年銷售收入約460億美元】                                                                                                                                                                                                           |
| 1     | 熱愛不妥協#大學畢業、坐等上班報到的同學們:你們是不是已經開始幻想成為職業人、摩拳擦掌躍躍欲試、準備大展拳腳改變世界呢？有些工作，其實和你想的不太一樣，請做好心理準備……                                                                                            |
| 1     | 靈緹xiao信球                                                                                                                                                                                                                                                      |
| 1     | 時尚護膚師-小巨集                                                                                                                                                                                                                                                   |
| 1     | 我參與了@人氣攀升榜 發起的投票【2014【人氣攀升榜】TOP50（1/5)】，我投給了“@胡夏 《同桌的你》”這個選項。你也快來表態吧：http://t.cn/RZ5qc90                                                                                                                        |
| 1     | 我參與了@人氣攀升榜                                                                                                                                                                                                                                               |
| 1     | 愛上芝dG士的怪咖                                                                                                                                                                                                                                                  |
| 1     | 微笑vvvvae                                                                                                                                                                                                                                                        |
| 1     | 開溜攝影O濱印象                                                                                                                                                                                                                                                   |
| 1     | 鞏義無名人                                                                                                                                                                                                                                                        |
| 1     | 小鳥愛天空灬wahev                                                                                                                                                                                                                                                 |
| 1     | 大叔你賊帥                                                                                                                                                                                                                                                        |
| 1     | 哇~原來桌面竟然可以酷炫的如此與眾不同！還有更多個性化主題盡在魔秀哦，小夥伴們都快來領走自己的專屬桌面吧@魔秀桌面 http://t.cn/RzHAe40                                                                                                                              |
| 1     | 哇~原來桌面竟然可以酷炫的如此與眾不同！還有更多個性化主題盡在魔秀哦，小夥伴們都快來領走自己的專屬桌面吧@魔秀桌面                                                                                                                                                  |
| 1     | 發起的投票【2014【人氣攀升榜】TOP50（1/5)】，我投給了“@胡夏                                                                                                                                                                                                       |
| 1     | 再跟一年                                                                                                                                                                                                                                                          |
| 1     | 倆倆1003623241                                                                                                                                                                                                                                                    |
| 1     | 便、快捷、安全地使用電子憑證進行消費。                                                                                                                                                                                                                            |
| 1     | 人，必須經[照相機]歷許多坎坷才能到達所去的目的地。心，必須經歷許多傷害才能讓自己堅強起來。                                                                                                                                                                        |
| 1     | 人，必須經[照相機]歷許多坎坷才能到達所去的目的地。心，必須經歷許多傷害才能讓自己堅強起來。                                                                                                                                                                        |
| 1     | 專家稱確實如此】葡萄酒專家樑竟志表示，自釀葡萄酒不僅會產生微量的甲醇，更因家庭自釀葡萄酒不能新增二氧化硫進行殺菌，會導致自釀葡萄酒產生細菌，長期喝會對人體有危害。所以，家庭自釀葡萄酒是不科學的釀酒方式。                                                        |
| 1     | 【蒜香荷蘭瓜】做法：炒。口味：蒜香味。菜品特色： 荷蘭瓜中含有豐富的維生素E,可起到延年益壽，抗衰老的作用；荷蘭瓜中的黃瓜酶，有很強的生物活性，能有效地促進機體的新陳代謝。用荷蘭瓜搗汁塗擦面板，有潤膚，舒·展皺紋功效。                                            |
| 1     | 【蒜香荷蘭瓜】做法：炒。口味：蒜香味。菜品特色：                                                                                                                                                                                                                  |
| 1     | 【電子憑證】商戶使用掃描列印裝置對消費ì者的電子憑證進行掃描、識別，實現電子憑證的消費和應用。通過手機本身的攝像頭功能和聯網功能，讓消費者能方 便、快捷、安全地使用電子憑證進行消費。                                                                              |
| 1     | 【電子憑證】商戶使用掃描列印裝置對消費ì者的電子憑證進行掃描、識別，實現電子憑證的消費和應用。通過手機本身的攝像頭功能和聯網功能，讓消費者能方                                                                                                                     |
| 1     | 【傳自釀葡萄酒含甲醇對身體有害 專家稱確實如此】葡萄酒專家樑竟志表示，自釀葡萄酒不僅會產生微量的甲醇，更因家庭自釀葡萄酒不能新增二氧化硫進行殺菌，會導致自釀葡萄酒產生細菌，長期喝會對人體有危害。所以，家庭自釀葡萄酒是不科學的釀酒方式。                         |
| 1     | 【傳自釀葡萄酒含甲醇對身體有害                                                                                                                                                                                                                                    |
| 1     | 《秦時明月》破秦兵百萬，做秦時霸王！ http://t.cn/Rv7vsvT                                                                                                                                                                                                          |
| 1     | 《秦時明月》破秦兵百萬，做秦時霸王！                                                                                                                                                                                                                              |
| 1     | 《同桌的你》”這個選項。你也快來表態吧：http://t.cn/RZ5qc90                                                                                                                                                                                                        |
| 1     | milklalal                                                                                                                                                                                                                                                         |
| 1     | louderc                                                                                                                                                                                                                                                           |
| 1     | kai爺karry王                                                                                                                                                                                                                                                      |
| 1     | http://t.cn/RzHAe40                                                                                                                                                                                                                                               |
| 1     | http://t.cn/Rv7vsvT                                                                                                                                                                                                                                               |
| 1     | http://http://t.cn/RZ5P2yv                                                                                                                                                                                                                                        |
| 1     | M丿江                                                                                                                                                                                                                                                             |
| 1     | Memory痴情丶yakde                                                                                                                                                                                                                                                 |
| 1     | MamlrH                                                                                                                                                                                                                                                            |
| 1     | Angelatao1368                                                                                                                                                                                                                                                     |
| 1     | Aitna旭                                                                                                                                                                                                                                                           |
| 1     | #畢業季 熱愛不妥協#大學畢業、坐等上班報到的同學們:你們是不是已經開始幻想成為職業人、摩拳擦掌躍躍欲試、準備大展拳腳改變世界呢？有些工作，其實和你想的不太一樣，請做好心理準備……                                                                                    |
| 1     | #畢業季                                                                                                                                                                                                                                                           |
+-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+