巨細！小姐姐告訴你關于 BeautifulSoup 的一切
詳細了解 BeautifulSoup 爬蟲
前面第一篇文章是關于 BeautifulSoup 爬蟲的基礎知識詳解第一部分，主要介紹了 BeautifulSoup 爬蟲的安裝過程及簡介，同時又快速學習了利用 BeautifulSoup 技術定位標簽、獲取標簽內容的相關知識點，今天的文章將深入地介紹 BeautifulSoup 技術的詳細語法及其相關用法。
1.BeautifulSoup 對象
BeautifulSoup 將復雜的 HTML 文檔轉換成一個樹形結構，每個節點都是 Python 對象，BeautifulSoup 官方文檔將所有的對象歸納為以下四種：
- Tag
- NavigableString
- BeautifulSoup
- Comment
接下來詳細介紹 BeautifulSoup 的四個對象：
Tag
Tag 對象表示 XML 或 HTML 文檔中的標簽，通俗地講就是 HTML 中的一個個標簽，該對象與 HTML 或 XML 原生文檔中的標簽相同。Tag 有很多方法和屬性，BeautifulSoup 中定義為 soup.Tag，其中 Tag 為 HTML 中的標簽，比如 a、title 等，其結果返回完整的標簽內容，包括標簽的屬性和內容等。例如以下實例就是 Tag:
- <title>BeautifulSoup 技術詳解</title>
- <p class="title">Hello</p>
- <p class="con">Python 技術</p>
以上的 HTML 代碼中，title、p 都是標簽，起始標簽和結束標簽之間加上內容就是 Tag。標簽獲取方法代碼如下：
- #創建本地文件soup對象
- soup = BeautifulSoup(open('test.html','rb'), "html.parser")
- #獲取a標簽
- a = soup.a #Tag
- print('a標簽的內容是:', a)
除此之外，Tag 中最重要的屬性是 name 和 attrs 。
- name
name 屬性用于獲取文檔樹的標簽名字，如果想獲取 title 標簽的名字，只要使用 soup.title.name 代碼即可，對于內部標簽，輸出的值便為標簽本身的名稱。
- attrsattrs是屬性(attributes)的英文簡稱，屬性是網頁標簽的重要內容。一個標簽(Tag)可能有很多個屬性，例如：
- <a href="https://www.baidu.com" class="xiaodu" id="l1">ddd</a>
以上實例存在兩個屬性，一個是class屬性，對應的值為“xiaodu”;一個是id屬性，對應的值為“l1”。Tag屬性操作方法與Python字典相同，獲取p標簽的所有屬性代碼如下，得到一個字典類型的值，它獲取的是第一個段落 p 的屬性及屬性值。
- # 獲取屬性
- print(soup.p.attrs)
- # 獲取屬性值
- print(soup.a['class'])
- #[u'xiaodu']
- print(soup.a.get('class'))
- #[u'l1']
BeautifulSoup 每個標簽 tag 可能有很多個屬性，可以通過 “.attrs” 獲取屬性，tag 的屬性可以被修改、刪除或添加。
NavigableString
NavigableString 也叫可遍歷的字符串，字符串常被包含在 tag 內,BeautifulSoup 用 NavigableString 類來包裝tag中的字符串，
BeautifulSoup 用 NavigableString 類來包裝 tag 中的字符串，NavigableString 表示可遍歷的字符串。一個 NavigableString 字符串與 Python 中的 Unicode 字符串相同，并且支持包含在遍歷文檔樹和搜索文檔樹中的一些特性。下述代碼可查看 NavigableString 的類型。
- # coding=utf-8
- from bs4 import BeautifulSoup
- soup = BeautifulSoup(open('test.html','rb'), "html.parser")
- tag = soup.title
- print(type(tag.string))
輸出結果如下：
- <class 'bs4.element.NavigableString'>
BeautifulSoup
BeautifulSoup 對象表示的是一個文檔的全部內容，通常情況下把它當作 Tag 對象，該對象支持遍歷文檔樹和搜索文檔樹中描述的大部分的方法，下面代碼是輸出 soup 對象的類型，輸出結果就是 BeautifulSoup 對象類型。
- # coding=utf-8
- from bs4 import BeautifulSoup
- soup = BeautifulSoup(open('test.html','rb'), "html.parser")
- tag = soup.title
- print(type(soup))
輸出結果如下：
- <class 'bs4.BeautifulSoup'>
因為 BeautifulSoup 對象并不是真正的 HTML 或 XML 的標簽 tag，所以它沒有 name 和 attribute 屬性。但有時查看它的.name 屬性是很方便的，故 BeautifulSoup 對象包含了一個值為[document]的特殊屬性soup.name。下述代碼即是輸出 BeautifulSoup 對象的 name 屬性，其值為 [document]。
Comment
Comment 對象是一個特殊類型的 NavigableString 對象，它用于處理注釋對象。下面這個示例代碼用于讀取注釋內容，代碼如下：
- markup = "<b><!-- hello comment code --></b>"
- soup = BeautifulSoup(markup, "html.parser")
- comment = soup.b.string
- print(type(comment))
- print(comment)
- if __name__ == '__main__':
- mark()
輸出結果如下：
- <class 'bs4.BeautifulSoup'>
- <class 'bs4.element.Comment'>
- hello comment code
2.遍歷文檔樹
以上內容講解完 4 個對象后，下面的知識講解遍歷文檔樹和搜索文檔樹以及 BeatifulSoup 常用的函數。在 BeautifulSoup 中，一個標簽(Tag)可能包含多個字符串或其它的標簽，這些稱為這個標簽的子標簽。
咱們繼續用以下超文本協議來講解：
- <!DOCTYPE html>
- <html lang="en">
- <head>
- <title>BeautifulSoup 技術詳解</title>
- </head>
- <body>
- <p class="title">Hello</p>
- <p class="con">Python 技術</p>
- <a href="https://www.baidu.com" class="xiaodu" id="l1">ddd</a>
- </body>
- </html>
- 子節點
一個Tag可能包含多個字符串或其它的Tag,這些都是這個Tag的子節點，Beautiful Soup 提供了許多操作和遍歷子節點的屬性。
例如獲取標簽子節點內容：
- # coding=utf-8
- from bs4 import BeautifulSoup
- soup = BeautifulSoup(open('test.html','rb'), "html.parser")
- tag = soup.title
- print(soup.head.contents)
輸出結果如下：
- ['\n', <title>BeautifulSoup 技術詳解</title>, '\n']
注意: Beautiful Soup中字符串節點不支持這些屬性,因為字符串沒有子節點。
節點內容
如果標簽只有一個子節點，需要獲取該子節點的內容，則需要使用 string 屬性，以此輸出節點的內容：
- # coding=utf-8
- from bs4 import BeautifulSoup
- soup = BeautifulSoup(open('test.html','rb'), "html.parser")
- tag = soup.title
- print(soup.head.string)
- print(soup.title.string)
輸出結果如下：
- None
- BeautifulSoup 技術詳解
- 父節點
調用 parent 屬性定位父節點，如果需要獲取節點的標簽名則使用 parent.name。實例如下：
- # coding=utf-8
- from bs4 import BeautifulSoup
- soup = BeautifulSoup(open('test.html','rb'), "html.parser")
- tag = soup.title
- p = soup.p
- print(p.parent)
- print(p.parent.name)
- content = soup.head.title.string
- print(content.parent)
- print(content.parent.name)
輸出結果如下：
- <body>
- <p class="title">Hello</p>
- <p class="con">Python 技術</p>
- <a class="xiaodu" href="https://www.baidu.com" id="l1">ddd</a>
- </body>
- body
- <title>BeautifulSoup 技術詳解</title>
- title
- 兄弟節點
兄弟節點是指和本節點位于同一級的節點，其中 next_sibling 屬性是獲取該節點的下一個兄弟節點，previous_sibling 則與之相反，取該節點的上一個兄弟節點，如果節點不存在，則返回 None。
- print(soup.p.next_sibling)
- print(soup.p.prev_sibling)
- 前后節點
調用屬性 next_element 可以獲取下一個節點，調用屬性 previous_element 可以獲取上一個節點，代碼舉例如下：
- print(soup.p.next_element)
- print(soup.p.previous_element)
3.搜索文檔樹
BeautifulSoup 定義了很多搜索方法，例如 find() 和 find_all(); 但find_all()是最常用的一種方法，而更多的方法與遍歷文檔樹類似，包括父節點、子節點、兄弟節點等，使用find_all()方法的代碼如下：
- # coding=utf-8
- from bs4 import BeautifulSoup
- soup = BeautifulSoup(open('test.html','rb'), "html.parser")
- tag = soup.title
- urls = soup.find_all('p')
- for u in urls:
- print(u)
輸出結果如下：
- <p class="title">Hello</p>
- <p class="con">Python 技術</p>
使用 find_all() 可以查找到想要查找的文檔內容。
總結
至此，阿醬理解范圍內的 BeautifulSoup 基礎知識及用法基本上已經概述完畢，有差池的地方希望大家海涵，我們一起努力前行。
參考
BeautifulSoup 官網https://blog.csdn.net/Eastmount
