對於自己使用requests創寫的類及方法想要對資料進行去重入庫

問題1：如何做到資料去重處理？

答：使用set，並且set能夠自動實現去重效果。

問題2：當列表中有大資料怎麼提高讀取速度？

答：轉換為set型別。

a = [1, 4, 7, 2, 1, 8, 7]
b = set(a)
print(type(b), b)

<class 'set'> {1, 2, 4, 7, 8}

c = [i for i in b]
print(type(c), c)

<class 'list'> [1, 2, 4, 7, 8]


for i in b:
    print(type(i), i)

<class 'int'> 1
<class 'int'> 2
<class 'int'> 4
<class 'int'> 7
<class 'int'> 8
 

ps:列表讀取大資料時能卡到爆炸，set讀取熟讀最快，dict其次，不信你可以測試下!!!!!