Python 自動化爬蟲

步驟 2：Queue（URL 隊列） 將多個 Instagram 貼文 URL 放入列表 post_urls。

步驟 3：檢查網頁請求允許性 使用 robots.txt 確認允許爬取，並模擬瀏覽器行為。

步驟 4：Downloader（下載器） 使用 DrissionPage 模擬瀏覽器模式，登入帳號以訪問完整內容。

步驟 5：解析與擷取內容 使用 CSS 選擇器抓取 <div>、<span> 和 <ul> 的內容。

步驟 6：儲存資料 將抓取的資料整理為字典，並使用 csv.DictWriter() 將資料寫入 CSV 檔案。

步驟 7：迭代 (Loop) 每次擷取後使用 time.sleep(5) 延遲請求，避免被封鎖。

以下補充程式碼範例：

from DrissionPage.errors import \*
def scrape_instagram_posts(account, target_post_num, connection):
`    `""" 爬取 Instagram 貼文資訊並存入資料庫 """
`    `page = ChromiumPage()
`    `page.get(f'https://www.instagram.com/{account}/')
`    `page.wait(5)

`    `post_set = set()
`    `unique_posts = []
`    `post_number = 1
`    `post_dict = {}
`    `no_new_post_count = 0 # 記錄連續無新貼文次數
`    `consecutive_fail_count = 0 # 連續失敗次數
`    `total_fail_count = 0 # 累積失敗次數
`    `skip_kol=[]
`    `#抓取貼文連結
`    `for i in range(20):
`        `page.scroll.down(80) # 向下滾動
`        `page.wait(2) # 等待頁面加載
`        `posts = page.eles('.x1lliihq x1n2onr6 xh8yej3 x4gyw5p x1ntc13c x9i3mqj x11i5rnm x2pgyrj') # 重新讀取貼文列表
`        `added_new_post = False # 判斷這次爬取是否有新增貼文

`        `for post in posts:
`            `a_tag = post.ele('.x1i10hfl xjbqb8w x1ejq31n xd10rxx x1sy0etr x17r0tee x972fbf xcfux6l x1qhh985 xm0m39n x9f619 x1ypdohk xt0psk2 xe8uvvx xdj266r x11i5rnm xat24cr x1mh8g0r xexx8yu x4uap5 x18d9i69 xkhd6sd x16tdsg8 x1hl2dhg xggy1nq x1a2a7pz \_a6hd') # 從 post 抓取 <a> 標籤
`            `if a_tag:
`                `link = a_tag.attr('href')
`                `# 篩選符合 "/reel/" 或 "/p/" 的連結
`                `if f"{account}/reel/" in link or f"{account}/p/" in link:
`                    `if link not in post_set:
`                        `# 數據
`                        `try:
`                            `try:
`                                `post.scroll.to_half()
`                                `post.hover()
`                            `except NoRectError:
`                                `print("無法定位該元素，跳過該貼文。")
`                                `page.scroll.to_bottom()
`                                `continue # 跳過該貼文
`                            `# 如果找不到元素，就跳過這個貼文

`                            `common_class = 'x972fbf xcfux6l x1qhh985 xm0m39n x3nfvp2 x15zctf7 xln7xf2 xk390pu xdj266r x1mh8g0r x1j4z8aw x2pgyrj xl1lypt x5th0yj xexx8yu x4uap5 x18d9i69 xkhd6sd x11njtxf'
`                            `elements = post.eles(f'.{common_class}', timeout=2)

`                             `# 檢查按讚數是否存在
`                            `if len(elements) < 2:
`                                `print("按讚數或留言數被隱藏，跳過此貼文。")
`                                `consecutive_fail_count += 1 # 連續失敗次數加 1
`                                `total_fail_count += 1 # 累積失敗次數加 1
`                                `if consecutive_fail_count >= 10 or total_fail_count >= 40:
`                                    `print(f"{account} 累積 {total_fail_count} 次或連續 {consecutive_fail_count} 次獲取失敗，跳過該 KOL。")
`                                    `skip_kol.append(account)
`                                    `delete_kol_data(connection, account) # 刪除 KOL 資料
`                                    `return
`                                `continue

`                            `#如果大於等於 2
`                            `elif len(elements) == 2 or len(elements) > 2:
`                                `# 如果成功獲取數據，重置連續失敗次數
`                                `consecutive_fail_count = 0
`                                `full_link = link # 加上完整網址
`                                `post_key = f"{account}\_{post_number:03d}" # 編號鍵值
`                                `post_dict[post\_key] = full_link # 加入字典
`                                `post_number += 1 # 編號遞增
`                                `added_new_post = True # 新增貼文
`                                `post_set.add(link)
`                                `unique_posts.append(full_link)
`                                `likes_count = elements[0].text
`                                `if likes_count.endswith('萬'):
`                                    `likes_count = int(float(likes_count.strip('萬')) \* 10000)
`                                `else:
`                                    `likes_count = int(likes_count)

`                                `comments_count = elements[1].text
`                                `if comments_count.endswith('萬'):
`                                    `comments_count = int(float(comments_count.strip('萬')) \* 10000)
`                                `else:
`                                    `comments_count = int(comments_count)

`                                `print(f"帳號: {account}, 編號: {post_key}, 按讚數: {likes_count}, 留言數: {comments_count}, 連結: {full_link}")
`                                `insert_post_data(connection, post_key, account, likes_count, comments_count, full_link)

`                                `# 當達到 target_post_num 時，結束爬取，換下一個 KOL
`                                `if post_number > target_post_num:
`                                    `return
`                        `except IndexError:
`                            `print("發生 IndexError，跳過此貼文。")
`                            `continue # 當 `elements` 長度不足時跳過

`            `else:
`                `print("未找到 <a> 標籤")
`        `# 檢查這次爬取是否有新增貼文
`        `if not added_new_post:
`            `no_new_post_count += 1 # 無新增貼文次數加 1
`            `print(f"第 {i + 1} 次爬取無新增貼文，連續無新貼文次數：{no_new_post_count}")
`            `if no_new_post_count >= 3: # 若連續 3 次無新貼文，結束爬取
`                `print(f"{account} 貼文數量不足，換下一個 KOL")
`                `break
`        `else:
`            `no_new_post_count = 0 # 如果有新增貼文，重置計數
`            `# page.wait(2)

`        `print(f"不重複的貼文數量：{len(unique_posts)}")
`        `# 顯示有哪些 KOL 被跳過
`    `print("跳過的 KOL：", skip_kol)

四、打好基礎功 — 10 分鐘快速了解爬蟲用 HTML

| HTML 是什麼？簡單拆解基本結構

HTML 是一種標記語言，也是所有網頁背後的構成基礎，學習爬蟲的第一步便是學會解析 HTML，從中找出有用的資訊。

HTML 的整體架構就好像一個漢堡包，最上面會需要有麵包（head），把中間的起司、番茄跟肉（body — 主要內容）夾住。以下是一個簡單的 HTML 文件釋例：

<!DOCTYPE html>
<html>
<head>
`    `<title>我的第一個網頁</title>
</head>
<body>
`    `<h1>歡迎來到我的網站</h1>
`    `<p class="content">這是一段段落文字。</p>
`    `<a href="https://example.com">這是一個超連結</a>
</body>
</html>

| 那些你爬得到的標籤們：常見 HTML 元素速查

• <html>：整個 HTML 文件的開始與結束。
• <head>：網頁的標頭部分，包含網頁標題、描述、CSS 樣式表等資訊。
• <title>：瀏覽器標籤上的網頁名稱。
• <body>：網頁的主要內容，包括文字、圖片、連結等。
• <h1>、<h2>、<h3>：標題文字，h1 為最大標題。
• <p>：段落文字。
• <a>：超連結，href 指定連結的網址。
• <img>：圖片，src 指定圖片路徑，alt 為圖片替代文字。
• <div>：區塊容器（可以塞東西），通常用於組織網頁結構。
• <span>：行內元素（更小的容器），通常用來標記小範圍的內容。

| 抓對目標最重要！快速定位你要的資料

在爬蟲時，我們需要找出網頁中我們感興趣的部分。如同上文所述，若我們想爬取 Instagram 貼文的內容，可以使用**滑鼠右鍵的「檢查」或是瀏覽器開發者工具（F12）**來檢視 HTML，找到貼文的標籤位置。

例如，Instagram 的貼文可能包含以下 HTML 結構：

<div class="C4VMK">
`    `<span>這是一則 Instagram 貼文的內容。</span>
</div>

在爬蟲程式中，我們就可以使用 div.C4VMK span 來抓取這段內容。

| 四種資料擷取方式一次整理：Python、element、XPath、CSS 選擇器

1. 使用 Python 擷取並解析 HTML（以 DrissionPage 為例）：

from DrissionPage import WebPage

# 建立網頁物件
page = WebPage()

# 請求 Instagram 貼文頁面
page.get('https://www.instagram.com/p/example/')

# 擷取貼文內容
txt = page.ele('.C4VMK span').text
print(f'貼文內容: {txt}')

這樣就能成功擷取 Instagram 貼文的內容了！

2. 使用 element 抓取資料：

有時，我們不僅想獲取單個元素的內容，還可能想獲取整個 HTML 元素 以進一步處理。這時候可以使用 element 來獲取目標元素，並對其進行進一步分析。

from DrissionPage import WebPage

# 初始化 DrissionPage
page = WebPage()

# 取得貼文的整個 div 元素
post_element = page.eles('.C4VMK')

# 從該元素中提取作者、日期、內容
author = post_ele('.author').text
date = post_ele('.date').text
post_content = post_ele.e('.post-content').text

# 輸出結果
print(f'發文者: {author}')
print(f'發文時間: {date}')
print(f'貼文內容: {post_content}')

3. 使用 XPath 抓取特定的 HTML 元素：

# 使用 XPath 抓取 Instagram 貼文內容
author = page.e('//div[@class="C4VMK"]/span[@class="author"]').text
date = page.e('//div[@class="C4VMK"]/span[@class="date"]').text
post_content = page.e('//div[@class="C4VMK"]/span[@class="post-content"]').text

print(f'發文者: {author}')
print(f'發文時間: {date}')
print(f'貼文內容: {post_content}')

4. 使用 CSS 選擇器，更靈活地抓取資料：

from DrissionPage import WebPage

# 模擬載入 HTML（在實際爬蟲時應該從網頁獲取）
html = """<div class='C4VMK'>
`    `<span class='author'>用戶名稱</span>
`    `<span class='date'>2024-03-01</span>
`    `<span class='post-content'>這是一則 Instagram 貼文的內容。</span>

</div>"""

# 初始化 DrissionPage（使用本地 HTML）
page = WebPage()
page.load(html) # 直接載入 HTML 字串

# 選取貼文的 div 元素
post_element = page.e('css:.div.C4VMK')

# 提取作者、日期、內容
author = post_element.e('css:.span.author').text
date = post_element.e('css:.span.date').text
post_content = post_element.e('css:.span.post-content').text

# 輸出結果
print(f'發文者: {author}')
print(f'發文時間: {date}')
print(f'貼文內容: {post_content}')

＊select_one 方法可以讓我們使用 CSS 選擇器來抓取單個元素，而 select 則可以抓取多個元素。

五、工具才是生產力 — 三大爬蟲套件推薦與比較

| BeautifulSoup：簡單好上手的新手首選

1. 特點

• 快速高效，適用於靜態網頁（無 JavaScript 動態渲染的網站）。
• 與 requests 搭配使用，獲取 HTML 內容後快速解析。
• 資源占用極低，比 Selenium 和 DrissionPage 更輕量級。

2. 適用場景

• 靜態網頁爬取，如新聞、論壇、簡單的 API。
• 解析已獲取的 HTML，如從 Selenium 或 Requests 獲取並解析 HTML。
• 純資料提取，無需與網站進行互動，如點擊按鈕、登入...等。

3. 缺點

• 無法處理 JavaScript，如果網站依賴 JavaScript 渲染內容，則無法獲取完整數據。
• 需要與 requests 或 urllib 搭配使用，無法單獨完成動態操作。

4. 範例代碼

import requests
from bs4 import BeautifulSoup

url = "https://example.com"
response = requests.get(url) # 獲取網頁 HTML
soup = BeautifulSoup(response.text, "html.parser") # 解析 HTML
print(soup.title.text) # 獲取網頁標題

| Selenium：動態網站的最佳幫手

1. 特點

• 適用於 JavaScript 渲染的網站，可模擬用戶的點擊、輸入、滾動等操作。
• 支援多種瀏覽器（Chrome、Firefox、Edge）。
• 適合測試自動化，如表單填寫、UI 測試、登入驗證。

2. 適用場景

• 需要與網站交互（點擊按鈕、登入、滾動加載）。
• 需要模擬真實用戶行為（避免被反爬機制攔截）。
• 需要處理 JavaScript 加載的動態內容。

3. 缺點

• 速度慢，資源占用高（啟動瀏覽器比 requests 或 DrissionPage 慢很多）。
• 易被網站偵測（許多反爬蟲機制可檢測 Selenium 瀏覽器）。
• 需要手動管理 WebDriver（如 chromedriver.exe 版本更新問題）。

4. 範例代碼

from selenium import webdriver

driver = webdriver.Chrome() # 啟動瀏覽器
driver.get("https://example.com") # 打開網頁
print(driver.title) # 獲取網頁標題
driver.quit() # 關閉瀏覽器

| DrissionPage® — 講者激推！瀏覽器 & 請求工具全能型選手

1. 特點

• 同時支援 瀏覽器（Selenium）和請求（Requests）兩種模式，能夠在效率與靈活性之間切換。
• 適合需要登入的網站，能夠用瀏覽器獲取 cookies 並轉換到 requests 模式，提高爬取效率。
• 支援無頭模式（Headless），節省資源。

2. 適用場景

• 需要 動態內容（JS 渲染的頁面），但不想用純 Selenium。
• 需要 自動切換 瀏覽器與請求模式，提高爬取效率（如登入後的請求）。
• 需要 低調爬取，降低網站風險（因為比 Selenium 更接近 requests）。

3. 缺點

• 使用門檻稍高，需要熟悉 瀏覽器模式（Browser Mode） 與 請求模式（Request Mode） 的轉換
• 相對於 requests + BeautifulSoup，依然會有瀏覽器的開銷。

4. 範例代碼

from DrissionPage import WebPage

page = WebPage() # 啟動瀏覽器
page.get("https://example.com") # 打開網站
print(page.soup.title.text) # 獲取網頁標題

| 套件比較總整理：選擇最適合你的那一個

DrissionPage vs. BeautifulSoup vs. Selenium 多層面比較

由此可知，我們可以這樣選擇合適的工具：

1. 如果是靜態網頁（無 JavaScript）→ BeautifulSoup + Requests

• 快速、簡單、資源佔用少。
• 適合新聞、簡單 API、論壇等靜態內容。

2️. 如果需要瀏覽器控制，但想提高效率 → DrissionPage

• 適合需要登入（Cookies 共享）、部分 JavaScript 內容，但不希望完全依賴 Selenium。
• 能自動在 requests 和 browser 之間切換，比 Selenium 高效。

3️. 如果需要完整模擬用戶行為（點擊、滾動、輸入）→ Selenium

• 適用於 動態網站（如無限滾動、Ajax 請求）。
• 需要處理 登入、點擊按鈕、填寫表單 等操作。

本次社課透過深入淺出的介紹，帶大家了解資料的種類、網站渲染原理、常見的數據來源與爬蟲的基本運作邏輯，為後續的實作打下堅實的基礎。

從今天起，資料不再遙不可及，只要掌握正確方法，我們也能透過程式從浩瀚的網路中挖掘出屬於自己的資訊寶藏！