以JSON格式儲存爬蟲爬取到的檔案

JSON檔案儲存

JSON,全稱為JavaScript Object Notation,也就是JavaScript物件標記,它透過物件和陣列的組合來表示資料,構造簡潔但是結構化程度非常高,是一種輕量級的資料交換格式。本節中,我們就來了解如何利用Python儲存資料到Json檔案。

物件和陣列

在JavaScript語言中,一切皆是物件。因此,任何支援的型別都可以透過JSON來表示,例如字串、數字、物件、陣列等,但是物件和陣列是比較特殊且常用的兩種型別,下面簡要地介紹一下它們。

物件:它在JavaScript中是使用花括號( )包裹起來的內容,資料結構為{key1:value1,key2:value2,。 。 。 。 。 。}的鍵值對結構。在面向物件的語言中,key為物件的屬性,value為對應的值。鍵名可以使用整數和字串來表示。值的型別可以是任意型別。

陣列:陣列在JavaScript重視方括號[ ]括起來的內容,資料結構為[“java”, “javascript”,“vb”,。 。 。 。 。 。]的索引結構。在JavaScript中,陣列是一種比較特殊的資料型別,它也可以像物件那樣使用鍵值對,但還是索引用得多。同樣,值的型別可以是任意型別。

所以,一個JSON物件可以寫為如下形式:

以JSON格式儲存爬蟲爬取到的檔案

由中括號包圍的就相當於列表型別,列表中的每個元素可以是任意型別,這個示例中它是字典型別,由大括號包圍。

JSON可以由以上兩種形式自由組合而成,可以無限次巢狀,結構清晰,是資料交換的極佳方式。

讀取JSON

Python為我們提供了簡單易用的JSON庫來實現JSON檔案的讀寫操作,我們可以呼叫JSON庫的loads( )方法將JSON文字字串轉為JSON物件,可以透過dumps( )方法將JSON物件轉為文字字串。

例如,這裡有一段JSON形式的字串,它是str型別,我們用Python將其轉化為可操作的資料結構,如列表或字典:

以JSON格式儲存爬蟲爬取到的檔案

執行結果如下:

以JSON格式儲存爬蟲爬取到的檔案

這裡使用loads( )方法將字串轉為JSON物件。由於最外層是中括號,所以最終的型別是列表型別。

這樣一來,我們就可以用索引來獲取對應的內容了。例如,如果想取第一個元素裡的name屬性,就可以使用如下方式:

以JSON格式儲存爬蟲爬取到的檔案

執行結果如下,我們得到的結果都是一樣的:

以JSON格式儲存爬蟲爬取到的檔案

透過中括號加0索引,可以得到第一個字典元素,然後再呼叫其鍵名就可以得到相應的鍵值。獲取鍵值時有兩種方式,一種是中括號加鍵名,另一種是透過get( )方法傳入鍵名。這裡推薦使用get( )方法,這樣如果鍵名不存在,則不會報錯,而是會返回None。另外,get( )方法還可以傳入第二個引數(即預設值),示例如下:

以JSON格式儲存爬蟲爬取到的檔案

執行結果如下:

以JSON格式儲存爬蟲爬取到的檔案

這裡我們嘗試獲取年齡age,其實在原字典中該鍵名不存在,此時預設會返回None。如果傳入第二個引數(即預設值),那麼在不存在的情況下返回該預設值。

值得注意的是,JSON的資料需要用雙引號來包圍,不能使用單引號。例如,若使用如下形式表示,則會出現錯誤:

以JSON格式儲存爬蟲爬取到的檔案

執行結果如下:

以JSON格式儲存爬蟲爬取到的檔案

這裡會出現JSON解析錯誤的提示。這是因為這裡的資料用單引號來包圍,請千萬注意JSON字串的表示需要用雙引號,否則loads( )方法會解析失敗。

如果從JSON文字中讀取內容,例如這裡有一個data。json文字檔案,其內容是剛才定義的JSON字串,我們可以先將文字檔案的內容讀出,然後再利用loads( )方法轉化:

以JSON格式儲存爬蟲爬取到的檔案

執行結果如下:

以JSON格式儲存爬蟲爬取到的檔案

輸出JSON

另外,我們還可以呼叫dumps( )方法將JSON物件轉化為字串。例如,將上例中的列表重新寫入文字:

以JSON格式儲存爬蟲爬取到的檔案

利用dumps( )方法,我們可以將JSON物件轉為字串,然後再呼叫檔案的write( )方法寫入文字,結果如下所示:

以JSON格式儲存爬蟲爬取到的檔案

另外,如果想儲存JSON的格式,可以再加一個引數indent,代表縮排字元個數。示例如下:

以JSON格式儲存爬蟲爬取到的檔案

此時寫入結果如下所示:

以JSON格式儲存爬蟲爬取到的檔案

這樣得到的內容會自動帶縮排,格式會更加清晰。

另外,如果JSON中包含中文字元,會怎麼樣呢?例如,我們將之前的JSON的部分值改為中文,再用之前的方法寫入到文字:

以JSON格式儲存爬蟲爬取到的檔案

寫入結果如下所示:

以JSON格式儲存爬蟲爬取到的檔案

可以看到,中文字元都變成了Unicode字元,這並不是我們想要的結果。

為了輸出中文,還需要指定引數ensure_ascii為False,另外還要規定檔案輸出的編碼:

以JSON格式儲存爬蟲爬取到的檔案

寫入結果如下所示:

以JSON格式儲存爬蟲爬取到的檔案

可以發現,這樣就可以輸出JSON為中文了。我們以後會經常用Python進行JSON檔案讀寫的,大家要熟練掌握這一部分的內容。