1. 程式人生 > >python爬蟲常見面試題(一)

python爬蟲常見面試題(一)

前言

  之所以在這裡寫下python爬蟲常見面試題及解答,一是用作筆記,方便日後回憶;二是給自己一個和大家交流的機會,互相學習、進步,希望不正之處大家能給予指正;三是我也是網際網路寒潮下崗的那批人之一,為了找工作而做準備。

一、題目部分

1、python中常用的資料結構有哪些?請簡要介紹一下。
2、簡要描述python中單引號、雙引號、三引號的區別。
3、如何在一個function裡設定一個全域性的變數。
4、python裡面如何拷貝一個物件?(賦值、淺拷貝、深拷貝的區別)
5、如果custname字串的編碼格式為uft-8,如何將custname的內容轉化為gb18030的字串?
6、請寫出一段python程式碼實現刪除list中的重複元素。
7、這兩個引數是什麼意思?args和 kwargs。
8、
(1)統計如下list單詞及其出現的次數。

a=['apple', 'banana', 'apple', 'tomato', 'orange', 'apple', 'banana', 'watermeton']

(2)給列表中的字典排序:例如有如下list物件:

alist=[{"name":"a", "age":20}, {"name":"b", "age":30}, {"name":"c", "age":25}] 將alist中的元素按照age從小到大排序。

(3)寫出下列程式碼的執行結果
1 a = 1
2 def fun(a):
3     a = 2
4 fun(a)
5 print(a)
1 a = []
2 def fun(a):
3     a.append(1)
4 fun(a)
5 print(a)
1 class Person:
2     name = 'Lily'
3  
4 p1 = Person()
5 p2 = Person()
6 p1.name = 'Bob'
7 print(p1.name)
8 print(p2.name)
9 print(Person.name)

二、解答部分

注:以下答案,均為google後結合自己學所知識回答,可能會有不正確的地方,錯誤之處希望大家幫我指正出來,謝謝。

1、python中常用的資料結構有哪些?請簡要介紹一下。

python中常見的資料結構有:列表(list),字典(dict),元組(tuple),字串(string),集合(set),數字(int或long或float。。。)等。

其中,列表,元祖和字串可以統一歸為序列類,即這三種資料結構中的元素是有序的。比如,他們都有索引(下標)操作,還有切片、相加和長度(len),最大值(max),最小值(min)操作。這是他們的共同點。

補充:python中常見的資料結構可以統稱為容器(container)。序列(如列表和元組)、對映(如字典)以及集合(set)是三類主要的容器。

另外,關於這個問題,面試官很容易引出另一個問題:python中的哪些資料型別是可變的,哪些是不可變的?

首先,可變/不可變是針對該物件所指向的記憶體中的值是否可變來判斷的。如可變型別的資料型別有列表和字典。不可變型別的資料型別有字串,元組,集合,數字。

就舉個最簡單的數字的例子,python中有小整數池的概念,即[-5,256]範圍內的整數,python直譯器對他們做了特殊處理,都放在記憶體中的固定位置,不會因為你的操作二發生變化。

現在:a = 1 ,然後我們又重新對a賦值,a = 2,在重新賦值的過程中,整數1所對應的記憶體地址沒有和數字的大小都沒有發生變化,還在記憶體中的固定位置。整數2也是如此。變化的是a的指標(這裡引用C中的概念)從指向數字1變成數字2。a物件指向的記憶體中的值沒有發生變化,因此數字是不可變型別的資料型別。字串,集合也是同理。

2、簡要描述python中單引號、雙引號、三引號的區別。

 首先,單引號和雙引號在使用時基本上沒有什麼區別,唯一需要注意的是:當字串中有單引號時,最好在外面使用雙引號;當有雙引號時,最好在外面使用單引號。

三引號一般不常用,除了用來做註釋之外,還可以用來列印多行字串。特殊用途,是可以列印多行字串。

1 print('''i
2 love
3 you''') #特殊功能,可以直接列印多行內容,而前面兩種情況需要顯示輸入\n才能換行

輸出結果:

1 i
2 love
3 you

而單引號和雙引號如果想要實現上面的效果,需要加上換行符。

1 print('i\nlove\nyou')
3、如何在一個function裡設定一個全域性的變數。

先說概念,全域性變數是指定義在函式外部的變數。全域性變數的作用域為全域性。

區域性變數是指定義在函式內部的變數。區域性變數的作用域為函式內,除了函式就無效了。

這裡舉個例子,如果把函式比作國家,那麼全域性就是全球,全域性變數好比是阿拉伯數字,每個國家都認識。

所以,根據定義可以知道,在函式內部是無法定義一個全域性變數的,只能做到修改已經定義的全域性變數。

4、python裡面如何拷貝一個物件?(賦值、淺拷貝、深拷貝的區別)

在python中如何拷貝一個物件是需要根據具體的需求來定的。

(1)賦值:其實就是物件的引用。相當於C的指標,修改了其中一個物件,另一個跟著改變。注意對於不可變物件而言,如果修改了其中一個物件,就相當於修改它的指標指向,另一個物件是不會跟著變化的。

1 a = ['1', '2'] # a是一個可變物件
2 b = a
3 a = a.pop()
4 print(b) # 修改了a,b也跟著變

輸出結果:

1 ['1']

當a為不可變物件時:

1 a = 1
2 b = a
3 a = 2
4 print('b = {}'.format(b))

輸出結果:

1 b = 1

 

(2)淺拷貝:拷貝父物件,但是不會拷貝父物件的子物件。(具體的方法有:b = copy.copy(a),切片如b = a[1:4])

1 a = {1: [1, 2, 3]}
2 b = a.copy()
3 print(a, b)
4 a[1].append(4)
5 print(a, b)

輸出結果為:

{1: [1, 2, 3]} {1: [1, 2, 3]}
{1: [1, 2, 3, 4]} {1: [1, 2, 3, 4]}

當a為不可變物件時:

1 import copy
2 a = 'TEST_STRING'
3 b = copy.copy(a)
4 print(a, b)
5 a = a.lower()
6 print(a, b)

輸出結果:

1 TEST_STRING TEST_STRING
2 test_string TEST_STRING

 (3)深拷貝:完全拷貝了父物件和子物件(具體的方法有:b = copy.deepcopy(a))

1 import copy
2 a = {1: [1, 2, 3]}
3 b = copy.deepcopy(a)
4 print(a, b)
5 a[1].append(4)
6 print(a, b)

輸出結果:

1 {1: [1, 2, 3]} {1: [1, 2, 3]}
2 {1: [1, 2, 3, 4]} {1: [1, 2, 3]}

當a為不可變物件時:

1 import copy
2 a = 'TEST_STRING'
3 b = copy.deepcopy(a)
4 print(a, b)
5 a = a.lower()
6 print(a, b)

輸出結果:

1 TEST_STRING TEST_STRING
2 test_string TEST_STRING

下面是圖解:

1、b = a: 賦值引用,a 和 b 都指向同一個物件。

2、b = a.copy(): 淺拷貝, a 和 b 是一個獨立的物件,但他們的子物件還是指向統一物件(是引用)。

3、b = copy.deepcopy(a): 深度拷貝, a 和 b 完全拷貝了父物件及其子物件,兩者是完全獨立的。

總結:

(1)當物件為不可變型別時,不論是賦值,淺拷貝還是深拷貝,那麼改變其中一個值時,另一個都是不會跟著變化的。

(2)當物件為可變物件時,如果是賦值和淺拷貝,那麼改變其中任意一個值,那麼另一個會跟著發生變化的;如果是深拷貝,是不會跟著發生改變的。

啊,這一題答案真的是好長啊,累到掉渣!歇會兒。。。

5、如果custname字串的編碼格式為uft-8,如何將custname的內容轉化為gb18030的字串?

先將custname編碼格式轉換為unicode,在轉換為gb18030。即custname.decode('utf-8').encode('gb18030')。

注意:unicode編碼是一種二進位制編碼,是轉換編碼的中間橋樑。比如需要將utf-8轉換為gbk,那麼就需要先轉換為unicode(decode),再轉為gbk(encode)。

6、請寫出一段python程式碼實現刪除list中的重複元素。

兩種方法:

(1)利用字典的fromkeys來自動過濾重複值

(2)利用集合set的特性,元素是非重複的

方法一:

1 a = [1, 2, 3, 4, 5, 2, 3]
2 
3 def fun1(a):
4     a = list(set(a))
5     print(a)
6 
7 fun1(a)

方法二:

1 a = [1, 2, 3, 4, 5, 2, 3]
2 
3 def fun1(a):
4     b = {}
5     b = b.fromkeys(a)
6     c = list(b.keys())
7     print(c)
8 
9 c = fun1(a)
7、這兩個引數是什麼意思?args和 kwargs。

首先,我想說的是*args和**kwargs並不是必須這樣寫,只有前面的*和**才是必須的。你可以寫成*var和**vars。而寫成*args和**kwargs只是約定俗稱的一個命名規定。

*args和**kwargs主要用於函式定義,你可以將不定量的引數傳遞給一個函式。其中,*args 是用來發送一個非鍵值對的可變數量的引數列表給一個函式;**kwargs 允許你將不定長度的鍵值對, 作為引數傳遞給一個函式。 如果你想要在一個函式裡處理帶名字的引數, 你應該使用**kwargs

1 def import_args(test, *args):
2     print('param1', test)
3     for item in args:
4         print('other param', item)
5 
6 
7 import_args('123', 'hello', '2019')

這裡傳遞了3個引數,按位置傳參,'123'為test傳參,'hello'和'2019'為*args傳參,這裡傳了2個引數。

注意,看下面的*args的另一種用法:用來解壓資料。

1 def import_args(test, *args):
2     print('param1', test)
3     for item in args:
4         print('other param', item)
5 
6 
7 args = ['hello', '2019']
8 import_args('123', *args)

輸出結果:

1 param1 123
2 other param hello
3 other param 2019

 

這段程式碼和上面的效果是一樣的,但是這裡第8行的*args和第1行的*args可是不一樣的。第一行是表示函式可以接受不定數量的非鍵值對的引數,用來傳參使用的。第八行是用來解壓列表

['hello', '2019']的每一項資料的,用來解壓引數的。這是*args的兩種用法,也可說是*的兩種用法,因為args是可變的。

 

接下來說說**kwargs。

1 def import_kwargs(test, **kwargs):
2     print('param1', test)
3     for key, value in kwargs.items():
4         print(key, value)
5 
6 
7 d = {'name': 'jack', 'age': 26}
8 import_kwargs('123', **d)

**kwargs用來傳遞帶鍵值對的引數,而**也是用來解壓字典容器內的引數。

輸出結果:

1 param1 123
2 name jack
3 age 26

總結:*args和**kwargs都是用於函式中傳遞引數的,*args傳遞的是非鍵值對的引數,**kwargs傳遞的是帶鍵值對的引數,如果還有普通引數需要傳遞,那麼應該先傳遞普通的引數。

8、
(1)統計如下list單詞及其出現的次數。

a=['apple', 'banana', 'apple', 'tomato', 'orange', 'apple', 'banana', 'watermeton']

方法一:

利用字典。

1 a = ['apple', 'banana', 'apple', 'tomato', 'orange', 'apple', 'banana', 'watermeton']
2 dic = {}
3 for key in a:
4     dic[key] = dic.get(key, 0) + 1
5 print(dic)

輸出結果:

1 {'apple': 3, 'banana': 2, 'tomato': 1, 'orange': 1, 'watermeton': 1}

 

方法二:

利用python的collections包。

1 from collections import Counter
2 
3 a = ['apple', 'banana', 'apple', 'tomato', 'orange', 'apple', 'banana', 'watermeton']
4 d = Counter(a)
5 print(d)

輸出結果:

1 Counter({'apple': 3, 'banana': 2, 'tomato': 1, 'orange': 1, 'watermeton': 1})  # 是一個類似字典的結構
(2)給列表中的字典排序:例如有如下list物件:

alist=[{"name":"a", "age":20}, {"name":"b", "age":30}, {"name":"c", "age":25}] 將alist中的元素按照age從小到大排序。

利用list的內建函式,list.sort()來進行排序。

1 alist = [{"name": "a", "age": 20}, {"name": "b", "age": 30}, {"name": "c", "age": 25}]
2 alist.sort(key=lambda x: x['age'])
3 print(alist)

這是一種效率很高的排序方法。

輸出結果:

1 [{'name': 'a', 'age': 20}, {'name': 'c', 'age': 25}, {'name': 'b', 'age': 30}]
(3)寫出下列程式碼的執行結果

第一段程式碼的執行結果為:1

分析,在函式外面定義了一個全域性變數a為1,在函式內部定義了一個區域性變數a為2。區域性變數在離開函式後就失效了。

所以,結果為全域性變數的a的值。如果在a=2之前加上global a,宣告為全域性變數,那麼結果為2。

第二段程式碼的執行結果為:[1]

這是因為,將a傳入到function中,這相當於對a進行賦值引用。由於a是可變型別的,所以在函式內部修改a的時候,外部的全域性變數a也跟著變化。

第三段程式碼的執行結果為:

1 Bob
2 Lily
3 Lily

以上。