본문 바로가기
KERD
논문KCI 등재

데이터 경제 시대에 있어서 웹 크롤링(crawling)의 법적 인식에 관한 연구

A Study on the Legal Perception of Web Crawling in the Data Economy Era

이정훈|이창무|권세진
한국산업보안연구학회 (The Korea Association for Industrial Security)|2021.12|한국산업보안연구 (Korean Journal of Industrial Security)|제11권 제3호|pp. 73-100|DOI https://doi.org/10.33388/kais.2021.11.3.073

0

조회

0

다운로드

16

인용

0

참고문헌

키워드

빅데이터데이터 경제부정경쟁데이터베이스DatabaseBig DataUnfair CompetitionWeb Crawling웹 크롤링Data Economy
주제분류학제간연구

초록

웹 크롤링은 빅데이터 시대에 있어서 필수불가결한 데이터 수집 방법론임에도 불구하고 그 법적 기준이 불분명하고 관련 분쟁이 지속적으로 발생하고 있다는 점에서 부정적인 시각이 일부 존재한다. 그러나 웹 크롤링에 대한 소극적이고 부정적인 이해는 빅데이터 시대의 데이터 경제 촉진을 저해할 우려가 있다. 따라서 이 연구는 보다 객관적이고 중립적 입장에서 웹크롤링의 필요성과 중요성에 대한 인식을 환기시키고자 웹 크롤링에 관한 특허기술, 선행 연구, 언론보도 등을 분석하고, 관련 판례 및 법적 쟁점을 검토하였다. 분석 결과 웹 크롤링은 데이터 경제시대에 필수불가결한 기술이자 데이터 경쟁력의 원천이 되며 몹시 다양한 분야에 활용되고 있으나, 지식재산권 침해 및 정보통신망 침입죄 등을 구성할 우려가 존재한다는 점을 확인할 수 있었다. 그러나 웹 크롤링이 타인의 권리를 침해할 소지가 있더라도, 데이터를 수집하여 새로운 가치를 창출하기 위해 유용하게 사용되는 웹 크롤링 기술의 특성상 이에 대한 과도한 규제는 바람직하지 않다는 점을 도출하였다. 따라서 이 연구에서는 웹 크롤링을 데이터 경제시대의 원천이 되는 “자원 수집 기술”이자, “자원 활용 기술”로서 원천기술에 해당하는 역할을 수행하는 것으로 이해하였다. 나아가 향후 TDM 면책 규정이 입법되고 데이터 활용 기반이 확충되는 경우라면 웹 크롤링의 역할은 더욱 중요해질 것으로 전망하였다. 이에 따라 데이터 경제시대의 공정한 웹 크롤링 기반 조성의 방향성을 i)법제도·정책 기반 개선 및 공정이용 가이드라인 마련, ii) 웹 크롤링 관련 대체적 분쟁해결 제도 활성화, iii) 상생과 협력의 웹 크롤링 생태계 마련으로서 공정거래법상 웹 크롤링 제한에 관한 규율과 대·중소기업의 데이터 상생과 상호 활용 모델 발굴을 각 제안하였다.

Abstract

Web crawling is an indispensable data collection methodology in the era of big data. Nevertheless, the criteria for this are unclear, and related disputes continue to arise. This leads to a negative view of web crawling. However, a passive and negative understanding of web crawling raises concerns that it will hinder the promotion of the data economy in the era of big data. In order to raise awareness of the necessity and importance of web crawling from a more objective and neutral standpoint, this study analyzed patent technology, previous studies, and media reports on web crawling and reviewed related precedents and legal issues. As a result of the analysis, web crawling is an indispensable technology and a source of data competitiveness in the data economy era. At the same time, it was found that web crawling may constitute infringement of intellectual property rights and intrusion of information and networks. However, even if web crawling may infringe on the rights of others, excessive regulation of web crawling technology, which is usefully used to collect data and create new value, is not desirable. Therefore, in this study, web crawling was understood to play a role corresponding to the original technology as a “resource collection technology” and a “resource utilization technology” that is the source of the data economy era. Furthermore, it is predicted that the role of web crawling will become more important if the TDM exemption regulations are legislated and the basis for data utilization is expanded in the future. Accordingly, the direction of creating a fair web crawling base in the data economy era was suggested to 1) improve the legal and policy base and establish fair use guidelines, 2) revitalize alternative dispute resolution systems related to web crawling, and 3) establish web crawling ecosystems under the Fair Trade Act.

참고문헌 (42)

  1. 정보통신망이용촉진등에관한법률개정법률안 검토보고서, "과학기술정보통신위원회 수석전문위원", ~ (2000)
  2. 과학기술정보통신위원회, "제215회 국회(정기회)제10차 전체회의 회의록", ~ (2000)
  3. 김경환, "크롤링과 데이터베이스 제작자의 권리, 한국정보법학회 2월 사례연구회 발표자료", 1~50 (2017)
  4. 김영아, "실시간 웹 크롤링 분산 모니터링 시스템 설계 및 구현", 융합정보논문지, 9(1), pp.45~53 (2019), 중소기업융합학회[DOI]
  5. 김윤명, "人工知能(로봇)의 법적 쟁점에 대한 試論的 考察", 정보법학, 20(1), pp.141~176 (2016), 한국정보법학회
  6. 김현숙, "크롤링을 이용한 공개데이터 수집ㆍ활용의 법적 쟁점에 대한 비판적 검토", 강원법학, 61, pp.217~252 (2020), 비교법학연구소
  7. 김희숙, "빅데이터 분석 기반의 정보 검색을 위한 웹 크롤러 서비스 구현", 디지털콘텐츠학회논문지, 18(5), pp.933~942 (2017), 한국디지털콘텐츠학회[DOI]
  8. 노희경, "DDoS 공격 가능성 완화를 위한 효율적인 버퍼 관리 기술", 한국인터넷방송통신학회 논문지, 12(2), pp.1~7 (2012), 한국인터넷방송통신학회[DOI]
  9. 박기성, "아파치 스파크 기반 검색엔진의 설계 및 구현", 한국정보통신학회논문지, 21(1), pp.17~28 (2017), 한국정보통신학회[DOI]
  10. 박성호, "텍스트 및 데이터 마이닝을 목적으로 하는 타인의 저작물의 수집·이용과 저작재산권의 제한 - 인공지능의 빅데이터 활용을 중심으로 -", 인권과 정의, (494), pp.39~69 (2020), 대한변호사협회
  11. 데이터 산업진흥 및 이용촉진에 관한 기본법안(대안)검토보고, "법제사법위원회 전문위원", ~ (2021)
  12. 손승우, "Nature of Data Assets and Their Protection and Exemption Measures for Analysis", 한국산업보안연구, 11(2), pp.129~158 (2021), 한국산업보안연구학회
  13. 유대종, "웹검색 서비스와 ISP책임에 관한 소고", 창작과 권리, 46, pp.118~142 (2007), 세창출판사
  14. 이원섭, "주제 중심의 크롤링 방법", 한국정보처리학회 학술대회논문집, 24(2), pp.371~373 (2017)
  15. 장동현, "공공장소 및 자연물을 촬영한 사진의 저작물로써 보호에 대한 연구", 디지털콘텐츠학회논문지, 21(9), pp.1617~1627 (2020), 한국디지털콘텐츠학회[DOI]
  16. 최상진, "경쟁사의 무단 크롤링에 대한 법적 대응방안에 관한 연구", LAW & TECHNOLOGY, 17(1), pp.19~36 (2021)
  17. 최지예, "로봇배제표준의 법적 함의", LAW & TECHNOLOGY, 16(5), pp.29~41 (2020)
  18. 2019 데이터산업 현황조사, "한국데이터산업진흥원", 과학기술정보통신부, ~ (2019)
  19. 조정통계, "한국저작권위원회", 한국저작권위원회, ~ (2020)
  20. 황태희, "웹 크롤링의 경쟁법적 고찰", 경쟁법연구, 43, pp.174~208 (2021), 한국경쟁법학회
  21. Kranzberg, M., "Technology and history: “Kranzberg’s Laws”", TECH. & CULTURE, 27(3), pp.544~560 (1986)
  22. Li, W., "Efficiency analysis on robots exclusion protocol based on game theory", 2019 IEEE 13th International Conference on Anti-counterfeiting, Security, and Identification (ASID), (2019)
  23. Reinsel, D., "Data age 2025: The evolution of data to life-critical, don’t focus on big data; Focus on the data that’s big" (2017), IDC
  24. Riley, K., "Data scraping as a cause of action: Limiting use of the CFAA and trespass in online copying cases", Fordham Intell. Prop. Media & Ent. L.J, 29, pp.245~312 (2019)
  25. 공개특허공보, "인터넷쇼핑몰의 최저가격정보를 수집하는 방법 및 수집된 최저가격정보를 이용하여 상품정보 를 갱신하는 방법", 출원번호 10-2014-0142875(출원인 주식회사 다나와)., ~ (2016)
  26. "뉴스빅데이터 분석 서비스, BIGKinds"[URL]
  27. "‘야놀자’ 정보 유출 ‘여기어때’ 1심 패소에 항소" (2021)[URL]
  28. "한국계 검색엔진업체 와이즈넛 미 룩스마트에 매각" (2002)[URL]
  29. "KAIST, 구글보다 빠른 악성코드 탐지기술 개발" (2011)[URL]
  30. "이준희, ‘원.더.풀. 프로젝트’로 IT산업 ‘원더우먼’ 발굴" (2019)[URL]
  31. "데이터 수집부터 겁나는 기업들…“불법인지 합법인지 모르겠다”" (2020)[URL]
  32. 중앙일보, "중위권 포털 “잃어버린 영광을 찾아서”", 15~ (2005)
  33. "잡코리아-사람인 공방전 ‘팽팽’" (2017)[URL]
  34. "공대생이 ‘실시간 주문’한 마스크…할머니는 5시간 기다렸다" (2020)[URL]
  35. "독도(dokdo) 307만 vs 다케시마(takeshima) 11억3000만" (2013)[URL]
  36. "구글에 떠도는 입사지원서…해당 기업은 ‘책임 회피’ 급급" (2015)[URL]
  37. "외부 데이터"[URL]
  38. "The basics of how search works"[URL]
  39. "Formalizing the robots exclusion protocol specification"[URL]
  40. "Robots Exclusion Protocol draft-koster-rep-02"[URL]
  41. "Pinterest crawler"[URL]
  42. "Society & media"[URL]

관련 논문AI추천

데이터 크롤링 보호 대상에 관한 소고 - 채용정보 크롤링 사례를 중심으로심석찬법학연구소 · IP & Data 法2023 · 제3권 제2호웹 크롤링의 경쟁법적 고찰황태희한국경쟁법학회 · 경쟁법연구2021 · 제43권 공개데이터 크롤링에 대한 법적 검토와 데이터산업 발전을 위한 법제도 개선 방안서재권법학연구소 · IP & Data 法2022 · 제2권 제1호웹 크롤링의 데이터 수집행위와 경쟁법적 논의 - 대법원 2022. 5. 12. 선고 2021도1533 판결을 중심으로강정희사법발전재단 · 사법2022 · 제1권 제61호데이터 크롤링의 계약적 제한에 관한 소고김준성법학연구소 · 법학연구2022 · 제63권 제4호공개 데이터 수집의 적법 기준에 대한 소고고수윤한국지식재산연구원 · 지식재산연구2025 · 제20권 제3호

이 간행물의 다른 논문 (6건)

간편결제 보안에 따른 기업의 경영성과에 관한 연구황지원, 김정연pp. 7-22The Fourth Industrial Revolution and the Implications for Security Management: A Case Study of South KoreaMark Button, 서준배, 이주락pp. 23-47특허분석을 통한 국내외 스마트팩토리 보안 기술개발 동향 연구이강헌, 정유한pp. 49-71문화예술 산업보안을 위한 블록체인 기반 통합경력관리 방안이환수, 김현영pp. 101-128드론 관제운항 플랫폼에서 시인성 향상을 위한 추천 알고리즘 연구김양훈pp. 129-141
원문 보기