2025 09 14 左永安 顧問/講師/委員/宮主/秘書長/永續長/執行長/理事長 AI應用規劃師(初級) 人工智慧基礎概論 (L11) 資料收集、清理、分析 和 呈現 是 人工智慧（AI） 基礎中 資料處理 的 核心流程。。TTQS 人才發展品質管理系統 Talent Quality-management System 若想要追求金牌 國立臺灣大學 臺灣師範大學 EMBA 找左永安顧問輔導 AI-ESG- PMP- HRD- ICAP- IPAS 人力資源管理 專案管理 品牌管理 策略管理 關鍵就業力 共通核心職能 師資 左記歐洲商行 安永經營管理顧問
資料收集、清理、分析 和 呈現
是 人工智慧（AI） 基礎中 資料處理 的
核心流程。
1.資料收集
是 AI資料處理 的 起點，涉及從各種來源
1.數據庫
2.API （如從社交媒體獲取數據）
3.網頁爬取（如使用Selenium工具）
4.感測器 調查問卷或感測器數據收集（如IoT設備）
獲取相關信息。
5. 數據品質：
確保數據代表性和無偏見非常重要，因為這直接影響AI模型的性能。
例如:一家電信公司可能收集客戶使用模式數據來預測流失風險。
6. 倫理考量：
遵守隱私法規（如GDPR）和道德指南，特別是在處理個人數據時。
確保數據準確、完整且無偏見，例如避免僅收集某特定群體的數據。
2.資料清理
資料清理（或預處理）是 準 備 數 據 以供 分析的過程，包括
1.處理缺失值
2.移除異常值
3.標準化數據
常見方法 包括用
4.平均值填補缺失數據 或
5.使用IQR方法檢測異常值
這一步驟對AI至關重要，因為數據品質決定模型表現。
常見技術：
6.處理缺失數據：
使用 平均值、中位數填補，或 刪除 過多缺失值的記錄；
先進方法可使用機器學習 預測缺失值。
7.異常值檢測：
使用統計方法如z-score（標準化得分）或IQR（四分位距）識別並移除異常值。
8.標準化與正規化：
將數值特徵縮放到相似範圍，如
min-max縮放（0到1）或 標準化（均值0，標準差1）。
9. 特徵工程：
從現有數據 創建 新特徵，或 轉換 數據格式 以提升模型表現，
例如 將 日期數據 轉為 天數。
3.資料分析
資料分析 利用 機器學習 和 其他技術
從清理後 的數據中 提取洞見。
1. 監督學習（如分類、回歸）用於預測
監督學習： 基於標籤數據訓練模型，例如回歸（預測連續值，如房屋價格）
或分類（預測類別，如客戶是否流失）。
常見算法包括邏輯回歸、支持向量機（SVM）和神經網路。
2. 無監督學習（如聚類）用於發現模式
無監督學習： 在無標籤數據上發現模式，如k-means聚類（分組相似客戶）
或主成分分析（PCA，降維）。
3. 選擇合適的算法（如邏輯回歸或神經網路）
基於 問題類型，訓 練 和 評估模型 以確保準確性。
4.深度學習： 使用神經網路處理複雜任務，
如 4.1圖像識別 （卷積神經網路，CNN）或
4.2自然語言處理（循環神經網路，RNN）。
關鍵活動：
5.模型選擇： 根據問題類型選擇算法，
例如 分類問題用 隨機森林，預測問題用 線性回歸。
6.模型訓練與驗證：
將數據分為訓練集（70%）、驗證集（20%）和測試集（10%），
訓練模型並 使用 驗證集 調整參數。
7.超參數調優：
通過 交叉驗證 優化 模型參數，如 學習率 或 樹的深度，以提升性能。
4.資料呈現
資料呈現 將分析結果以清晰方式展示，
常使用 圖表、儀表板或報告。
有效呈現 幫助利益相關者理解洞見
例如: 1. 用 混淆矩陣 展示 分類模型 性能，或
2. 用 特徵 重要性 圖 表 顯示 影響因素
呈現方法：
1.視覺化：
使用圖表如柱狀圖、折線圖、熱圖或散點圖，展示關鍵發現。
工具包括Matplotlib、Seaborn或Tableau。
2.報告：
撰寫書面報告，總結 主要結果和建議。
3.互動工具：
使用儀表板（如Power BI）允許用戶動態 探索數據。
最佳實踐：
根據觀眾技術水平 調整呈現方式，
例如 對非技術利益相關者避免使用技術術語。
使用清晰語言，強調關鍵洞見及其影響。
提供視覺輔助，如
4.混淆矩陣 展示 分類模型性能，或
5.特徵重要性圖表 顯示 影響因素。
