웹 크롤링 vs API: 누가 승자인가? (끝나지 않는 이슈)
4차 산업혁명의 시대가 도래하면서 데이터에 대한 가치가 굉장히 중요해 짐에 따라, 데이터를 수집하는 기술도 함께 발전 하였습니다. 온라인에 있는 다양한 데이터와 정보들을 수집하는 기술을 ‘웹 크롤링 (Web Crawling)’ 이라고 합니다. 물론, 수집이 끝이 아니라, 이를 원하는 목적에 따라 결합하고 사용해야 가치가 있습니다. 이를 ‘빅데이터 (Big Data)’ 라고 부르고 있습니다.
Web Crawling and Big Data are the typical technology in the 4th industrial revolution
이러한 기술들을 활용하여 다양한 스타트업 기업들이 나오고 있고, 기존의 기업들은 새로운 비즈니스를 창출하기 위하여 다양한 노력들을 하고 있습니다. 최근 스타트업 회사들은 기존의 기업들이 온라인에 공개해놓은 자료와 서비스들을 크롤링 기술을 활용하여 수집하고 있고 결합하여 새로운 서비스들을 만들고 있습니다.
과거에는 크롤링 기술이 발전하기 않았기 때문에, 각 기업과 일일히 커뮤니케이션하고 인터페이스를 통하여 어렵게 자료를 모았습니다. 그러나, 현재는 온라인 상의 정보들을 쉽고 간단하게 수집할 수 있는 기술이 나옴에 따라, 스타트업 기업들은 큰 제약 없이 자유롭게 서비스를 제공할 수 있게 되었습니다.
A lot of Start-Up Companies have been introduced by Web Crawling Technology
그러나, 최근 이러한 트렌드로 인하여 발생한 이슈가 있습니다. 기존 기업들이 제공하고 있는 정보 혹은 서비스들이 동의 없이 사용되면서 스타트업 기업과의 갈등이 생긴 것입니다. 물론 기존 기업들이 온라인 상에 있는 정보나 서비스들은 공개 목적으로 만든 것이긴 합니다. 그러나, 문제가 되는 부분은 기존 기업들이 제공하고 있는 서비스와 서버에 대한 과부하가 걸릴 수 있는 리스크가 있기 때문입니다.
최근 유행하고 있는 보험 통합 서비스를 예로 들면 (보맵, 보험다모아 등등), 그들은 개인정보 수집 이후에 보험 정보를 한꺼번에 보여주기 위하여 모든 보험사 사이트에 접속하여 정보를 받아오게 됩니다. 그들은 고객 대신에 로그인을 해서 정보를 얻어오는 과정을 거치게 되는데, 이 과정은 기존 보험사들의 서버에 부하를 주게 됩니다. 사실 비용을 지불하지 않으면서 서버에 부하를 주기 때문에 기존 기업들 입장에서는 부담이 될 수 있습니다.
Web Crawling Technology can have an impact on a server of the existing companies.
이러한 이슈는 초반에는 큰 문제는 아니었지만, 기술이 점점 발전하고 고객들도 새로운 가치를 찾아 나서면서 스타트업에서 만든 서비스의 이용율이 증가하게 되면서, 이슈가 되었습니다. 결국 몇몇 기업들은 보안을 강화하게 되었고, 특정 기업의 경우 스타트업에서 접근하는 IP를 탐지하여 차단하거나 하고 있습니다.
일부 스타트업 기업들을 이러한 상황을 막기 위하여 기업들과 공식적으로 제휴하는 API를 개발하는 전략으로 선회하기도 했습니다. 그렇다면 이 이슈는 어떻게 끝나는 것일까요? (API는 공식적으로 데이터를 주고 받기 위한 인터페이스를 의미합니다.)
Strategy of Start-Up companies is being changed by regulation issue and conflict to the existing companies.
일단, 당장 끝날 기미는 보이지 않습니다.
몇 가지 이유가 있습니다
- 관련 법령에 대한 신설 및 가이드라인 부족
기본적으로 아직 이 분야에 대한 법령이 마땅히 없습니다. 가이드라인이 일부 있기는 하지만 현재 발생하고 있는 이슈들을 해결하기에는 충분하지 않고 강제성이 없으므로 아직 부족합니다. - 각 이해관계자들의 중재 부족
서버 사용료 등 아직 스타트업 기업들과 기존 기업들과의 이해 관계가 쉽게 좁혀지지 않고 있습니다. 사실, 스타트업들이 제공하는 서비스들이 새롭고 창의적이기 때문에 고객들이 그 쪽으로 이동하고 있는데, 이러한 현상들을 기존 기업들이 가만히 둘 리가 없고, 경쟁의 입장에서 보면 쉽지 않는 영역입니다.
이외에도 크고 작은 논의 사항들이 있습니다.
웹 크롤링 기술이 나쁜 기술은 아닙니다. 하지만, 분명 논란의 여지가 있는 새로운 기술 영역이며, 사회적인 논의와 타협이 필요합니다. 분명 언젠가는 자리를 잡을 기술로 생각됩니다.
Web Crawling Technology will settle down. But, there are some issues to solve
현재까지는 API 기술이 웹 크롤링 기술보다는 이슈가 없긴 하지만, 과거 방식과 다르지 않기 때문에, 점차 웹 크롤링 기술이 확대 되어야 한다고 생각합니다. 그러나, 이해관계자들의 충돌이 해결되지 않는다면 기술의 확산과 발전 자체가 어려울 수 있다는 생각을 해봅니다.
이러한 케이스를 통해서 궁극적으로는 공유 사회에 대한 근본적인 생각을 하게 됩니다.
웹 크롤링 vs API: 누가 승자인가? (끝나지 않는 이슈)
최근 기획 글:
- 쉑쉑버거(Shake Shack) 광화문 종각점 오픈 후기
- 챗봇 트렌드 2020: 총 정리 및 요약 (프롤로그 / 에필로그)
- 카카오 프렌즈 팝콘과 콘텐츠 마케팅 (Feat.롯데시네마)
- 메신저 영수증의 시대: 카카오페이 영수증 서비스
관련 기사 및 외부 자료: