본문 바로가기
KERD
논문KCI 등재

기계학습 및 분류를 위한 SVM 엔진의 FPGA 구현

FPGA Implementation of SVM Engine for Training and Classification

정용진|나원섭
한국전기전자학회 (Institute of Korean Electrical and Electronics Engineers)|2016.12|전기전자학회논문지 (Journal of IKEEE)|제20권 제4호|pp. 398-411

0

조회

0

다운로드

0

인용

0

참고문헌

키워드

TrainingClassificationMachine LearningSVMFPGA
주제분류전자/정보통신공학

초록

기계학습 방법의 하나인 SVM은 뛰어난 일반화 성능으로 영상처리 분야에서 많이 사용하고 있다. 하지만 SVM을 이용한 시스템에서 미리 학습된 데이터가 아닌 다른 데이터를 이용하려하면 새로 학습을 시켜야 하는 경우가 생긴다. 특히, 임베디드 환경에서는 이러한 상황에서 학습 시간이 오래 걸려 SVM을 적절히 이용하지 못하는 경우가 있다. 본 논문에서는 이러한 문제점을 해결하기 위하여 SVM의 학습 및 분류를 모두 수행할 수 있도록 하나의 FPGA로 구현하였다. SVM 연산의 복잡성으로 인해 생기는 반복연산을 병렬처리를 통하여 해결하고 커널 사용으로 생기는 지수 연산을 변형하여 고정 소수점 연산이 가능하도록 하였다. 제안하는 하드웨어는 Xilinx사의 ZC 706보드에 구현하였고, 구현한 FPGA의 검증을 위하여 TSR 알고리즘을 이용하였다. 구현한 하드웨어는 100 MHz의 주파수로 동작하며, 2천개의 데이터를 이용한 학습 시 약 5sec가 소요되고 1360 X 800 해상도에서 분류 시 약 16.54msec가 소요됨을 확인했다.

Abstract

SVM, a machine learning method, is widely used in image processing for it's excellent generalization performance. However, to add other data to the pre-trained data of the system, we need to train the entire system again. This procedure takes a lot of time, especially in embedded environment, and results in low performance of SVM. In this paper, we implemented an SVM trainer and classifier in an FPGA to solve this problem. We parlallelized the repeated operations inside SVM and modified the exponential operations of the kernel function to perform fixed point modelling. We implemented the proposed hardware on Xilinx ZC 706 evaluation board and used TSR algorithm to verify the FPGA result. It takes about 5 seconds for the proposed hardware to train 2,000 data samples and 16.54ms for classification for 1360 X 800 resolution in 100MHz frequency, respectively.

참고문헌 (20)

  1. K. Grauman, "The pyramid match kernel Discriminative classification with sets of image features", Proceedings of IEEE International Conference on Computer Vision (2005)
  2. 강윤희, "SVM을 이용한 디렉토리 기반 기술정보 문서 자동 분류시스템 설계", 전기전자학회논문지, 8(2), pp.186~194 (2004), 한국전기전자학회
  3. J. Platt, "Advances in kernel methods – Support Vector Learning", pp.185~208 (1999), MIT Press
  4. C. Chang, "LIBSVM : A Library for Support Vector Machine", ACM Transactions on Intelligent Systems and Technology, 2(3), pp.1~27 (2011)
  5. S. Cadambi, "A massively parallel FPGA-based coprocessor for support vector machines", Field Programmable Custom Computing Machines ‘09. 17th IEEE Symposium on (2009)
  6. T. Kuan, "VLSI Design of an SVM Learning Core on Sequential Minimal Optimization Algorithm", IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 20(4), pp.673~683 (2012)
  7. M. Qasaimeh, "FPGA-Based Parallel Hardware Architecture for Real-Time Image Classification", Computational Imaging, IEEE Transactions, 1(1), pp.56~70 (2015)
  8. Marta Ruiz-Llata, "FPGA Implementation of a Support Vector Machine for Classification and Regression", IJCNN (2010)
  9. Xipeng Pan, "FPGA Implementation of SVM Decision Function Based on Hardware-friendly Kernel", ICCIS (2013)
  10. Bryan Catanzaro, "Fast Support Vector Machine Training and Classification on Graphics Processors", IMAGING, 1(1) (2015)
  11. Christos Kyrkou, "A Parallel Hardware Architecture for Real-Time Object Detection with Support Vector Machines", IEEE TRANSACTIONS ON COMPUTERS, 61(6) (2012)
  12. A Practical Guide to Support Vector Classification, "Chih-Wei Hsu", Department of Computer Science National Taiwan University, ~ (2003)
  13. 나원섭, "실시간 영상처리를 위한 SVM 분류기의 FPGA 구현", 전기전자학회논문지, 20(3), pp.209~219 (2016), 한국전기전자학회
  14. C. Cortes, "Support-Vector Network", Machine Learning, 20(3), pp.273~297 (1995)
  15. Il-Seok Oh, "Pattern Recognition", pp.137~173 (2008), Kyobomoongo
  16. Trevor Hastie, "The Elements of Statistical Learning – Data Mining, Inference, and Prediction" (2008)
  17. V. Vapnik, "Estimation of Dependances Based on Empirical Data" (1982), Springer-Verlag
  18. E. Osuna, "An improved training algorithm for support vector machines", Neural Networks for Signal Processing VII. Proceedings of the 1997 IEEE Workshop, pp.276~285 (1997)
  19. J. Stallkamp, "Man vs. computer: Benchmarking machine learning algorithms for traffic sign recognition", Neural Networks, 32, pp.323~332 (2012)
  20. Tomasz Kryjak, "FPGA IMPLEMENTATION OF REAL-TIME HEAD-SHOULDER DETECTION USING LOCAL BINARY PATTERNS, SVM AND FOREGROUND OBJECT DETECTION", Design and Architectures for Signal and Image Processing (DASIP) Conference (2012)

관련 논문AI추천

실시간 영상처리를 위한 SVM 분류기의 FPGA 구현나원섭, 정용진, 한성우한국전기전자학회 · 전기전자학회논문지2016 · 제20권 제3호비디오 감시 시스템을 위한 멀티코어 프로세서 기반의 병렬 SVM김희곤, 박대희, 이성주, 이한성, 정용화한국정보보호학회 · 정보보호학회논문지2011 · 제21권 제6호자가학습 가능한 SVM 기반 가스 분류기의 설계정우재, 정윤호한국전기전자학회 · 전기전자학회논문지2019 · 제23권 제4호차량 검출용 CNN 분류기의 실시간 처리를 위한 하드웨어 설계방지원, 정용진한국전기전자학회 · 전기전자학회논문지2016 · 제20권 제4호SoC FPGA 기반 실시간 객체 인식 및 추적 시스템 구현김동진, 박영석, 주연정대한임베디드공학회 · 대한임베디드공학회논문지2015 · 제10권 제6호한정된 자원을 갖는 FPGA에서의이진가중치 신경망 가속처리 구조 설계 및 구현김종현, 윤상균한국전기전자학회 · 전기전자학회논문지2020 · 제24권 제1호

이 간행물의 다른 논문 (19건)

실리콘광증배관 기반의 미세기둥 구조 CsI:Tl 제작 및 평가박찬종, 주관식, 김기담pp. 337-343고해상 영상의 회전된 각도를 검출하기 위한 Extreme Contour Point 알고리즘의 FPGA 설계정민우, 김희석, 박찬수pp. 344-350차량 검출용 CNN 분류기의 실시간 처리를 위한 하드웨어 설계정용진, 방지원pp. 351-360향상된 전기적 특성을 갖는 저면적 ESD 보호회로에 관한 연구도경일, 박경현, 구용서, 권민주, 박준걸pp. 361-366실시간감시를 위한 광섬유 ROTDR센서의 특성연구박형준, 김인수pp. 367-372
원문 보기