개방 데이터 마이닝에 효율적인 이동 윈도우 기법
A Sliding Window Technique for Open Data Mining over Data Streams
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
근래들어 구성 요소가 빠른 속도로 지속적으로 발생되는 무한 집합으로 정의되는 데이터 스트림에 대한 개방 데이터 마이닝 방법들이 활발히 제안되고 있다. 데이터 스트림에 내재된 정보들은 시간 흐름에 따른 변화의 가능성이 매우 높다. 따라서, 이러한 변화를 빠른 시간에 분석할 수 있다면 해당 데이터 스트림에 대한 분석에서 보다 유용한 정보를 제공할 수 있다. 본 논문에서는 개방 데이터 마이닝 환경에서 효율적인 최근 빈발 항목 탐색을 위한 이동 윈도우 기법을 제시한다. 해당 기법에서는 데이터 스트림이 지속적으로 확장되더라도 지연 추가 및 전지 작업을 적용하여 마이닝 수행과정에서의 메모리 사용량이 매우 작게 유지되며, 분석 대상 범위의 데이터 객체들을 반복적으로 탐색하지 않기 때문에 각 시점에서 마이닝 결과를 짧은 시간에 구할 수 있다. 더불어, 해당 방법은 데이터 스트림의 최근 정보에 집중한 분석을 통해 해당 데이터 집합의 변화를 효율적으로 감지할 수 있다.
Abstract
Recently open data mining methods focusing on a data stream that is a massive unbounded sequence of data elements continuously generated at a rapid rate are proposed actively. Knowledge embedded in a data stream is likely to be changed over time. Therefore, identifying the recent change of the knowledge quickly can provide valuable information for the analysis of the data stream. This paper proposes a sliding window technique for finding recently frequent itemsets, which is applied efficiently in open data mining. In the proposed technique, its memory usage is kept in a small space by delayed-insertion and pruning operations, and its mining result can be found in a short time since the data elements within its target range are not traversed repeatedly. Moreover, the proposed technique focused in the recent data elements, so that it can catch out the recent change of the data stream.
참고문헌 (13)
- "Approximate frequency counts over data streams" (2002)
- "An efficient algorithm for incremental mining", pp.263~270 (2001)
- "Maintaining stream statistics over sliding windows" (2002)
- "Dynamic itemset counting and implication rules for market basket data", pp.255~264 (1997)
- "Depth first generation of long patterns", pp.108~118 (2000)
- "Fast algorithms for mining association rules" (1994)
- "An efficient algorithm for mining association rules in large databases", pp.432~444 (1995)
- "Online association rule mining", pp.145~156 (1999)
- "Finding frequent items in data streams" (2002)
- "Mining a stream of transactions for customer patterns", pp.305~310 (2001)
- "Mining time-changing data streams", pp.97~106 (2001)
- "이원석. 데이터 스트림에서 개방 데이터 마이닝 기반의 빈발항목 탐색.", 10-D(3) (2003)
- "Querying and Mining Data Streams: You Only Get One Look" (2002)