以動態任務分配為基礎之分散式循序樣本探勘系統 | |
---|---|
學年 | 93 |
學期 | 2 |
發表日期 | 2005-05-28 |
作品名稱 | 以動態任務分配為基礎之分散式循序樣本探勘系統 |
作品名稱(其他語言) | |
著者 | 張昭憲; 周定賢 |
作品所屬單位 | 淡江大學資訊管理學系 |
出版者 | 臺北縣新莊市:輔仁大學資訊管理學系 |
會議名稱 | 第十六屆國際資訊管理學術研討會:企業創新與IT創新之間的連結:機會發現=The 16th International Conference on Information Management |
會議地點 | 臺北縣, 臺灣 |
摘要 | 循序樣本探勘(sequential pattern mining)可從資料庫找出經常出現的樣本, 而且指出樣本中各項目出現的時序,其複雜度遠高於關聯規則式的菜籃分析 (Market Basket Analysis)。針對循序樣本探勘目前已有許多方法被提出 [1,10-16],然而,面對日益膨脹的資料庫,這些方法的效能再次受到挑戰。為 有效改善大型資料庫的探勘效率,利用網路結合多部電腦的分散式探勘 (distributed mining)便開始受到重視[2][4]。為加速大型資料庫的循序樣本探 勘,本研究以分散式架構為基礎研製有效的探勘演算法,並據以發展實用的探勘 系統。首先,本研究提出任務佇列(task queue)的概念,有效結合靜態與動態任 務分配之優點,不但可減輕靜態分配的任務歪斜問題,亦能降低動態分配頻繁的 通訊負擔。其次,為使探勘完成後之結果彙整更有效率,本研究也充分利用閒置 節點來進行探勘結果整合。此外,我們特別採用PrefixSpan[1]做為基礎演算法 ,以便有效控制任務間的獨立性。為評估系統效能,我們分別使用2、4、8、 16及32部電腦進行分散式探勘實驗,數據顯示本系統不但能有效降低探勘時間, 同時具有良好的加速比(speedup ratio)。此結果驗證了提出方法之有效性,也 顯示本系統處理大型資料庫之潛能。 |
關鍵字 | 資料探勘;分散式架構;循序樣本探勘;關聯規則;Data mining;Distributed architecture;Sequential pattern mining;Association rules |
語言 | zh_TW |
收錄於 | |
會議性質 | 國際 |
校內研討會地點 | |
研討會時間 | 20050528~20050528 |
通訊作者 | |
國別 | TWN |
公開徵稿 | Y |
出版型式 | 紙本 |
出處 | 第十六屆國際資訊管理學術研討會論文集:企業創新與IT創新之間的連結:機會發現=Proceedings of the 16th International Conference on Information Management,12頁 |
相關連結 |
機構典藏連結 ( http://tkuir.lib.tku.edu.tw:8080/dspace/handle/987654321/23055 ) |
SDGS | 尊嚴就業與經濟發展,產業創新與基礎設施 |