API
-
유튜브 API - 채널 안에 있는 모든 동영상 조회하기소프트웨어개발 이야기 2021. 3. 8. 16:11
작년에 Elastic Stack을 활용하여 자사의 콘텐츠 유통 데이터를 분석하는 시스템을 개발했다. 익숙하지 않은 플랫폼에서 다양한 데이터를 수집하다 보니 나름 시행착오가 많았는데, Logstash가 워낙 많은 기능을 지원하다 보니 다행히 짧은 기간에 적은 인원(필자 포함 2명 -_ -)으로 프로젝트를 마무리할 수 있었다. (프로젝트에 대한 전반적인 이야기는 나중에 별도의 글을 통해 정리해보겠다.) 본 글에서는 프로젝트에서 필자를 꽤나 괴롭혔던 유튜브 API를 활용한 수집 이야기를 해볼까 한다. 서비스에서는 다양한 콘텐츠 유통 데이터(시청자 활동, 수익, 시청률, 화제성 지수 등)를 다양한 방법(API, DB, File, Mail, 크롤링 등)으로 수집했다. 방법의 차이가 있을 뿐 종단에는 Logstas..
-
유튜브 API - 18. Bulk Report 주의점소프트웨어개발 이야기 2020. 9. 23. 09:58
앞선 Bulk Report 글에서 Reporting API를 통해 보고서 생성 작업을 만들고 다운로드하는 과정을 간단히 살펴봤다. 대량의 분석 데이터를 API 통해서 받으려면 어떤 식으로 사용해야 할지 파악할 수 있었다. 본 글에서는 Reporting API를 사용할 때 주의해야 할 점들을 살펴보고자 한다. (해당 내용은 Youtube Guide 문서에서 보다 자세히 확인할 수 있다.) BP 사례 - 보고서 첫 번째 줄은 헤더다. 헤더의 순서는 바뀔 수 있으니 보고서를 다운로드할 때마다 헤더 값을 분석해서 어떤 순서대로 값이 들어있는지 반드시 확인해야 한다. 즉, 다운로드한 내용을 처리할 때 순서대로 처리하지 말고 반드시 키, 값 형식의 객체로 변환해서 사용하기 바란다. - 보고서의 다운로드 비용(네트워..
-
유튜브(Youtube) API - 17. Analytics API(Bulk Report)소프트웨어개발 이야기 2020. 9. 21. 11:42
지난 글에서 Analytics API의 개요에 대해 알아봤다. 이번 글에서는 Analytics API 중 대량의 데이터를 조회하는 Bulk Report(Reporting API)에 대해서 살펴보도록 한다. Bulk Report는 reporting API를 사용해서 조회하는 분석 데이터(보고서)를 말한다. 채널 또는 콘텐츠 소유자는 다양한 분석 데이터를 사전 정의 보고서(Report) 형식으로 조회할 수 있다. 이러한 보고서에는 YouTube 스튜디오의 분석 메뉴에서 보여주는 데이터도 포함된다. 백견이 불여일타. 자, 그럼 Reporting API를 사용해서 간단한 분석 데이터 보고서를 받아보자. 일별로 채널에서 조회수가 가장 많은 동영상 10개를 조회하기 위해 사용자 활동 보고서를 다운로드하는 작업을 아..
-
유튜브(Youtube) API - 15. 할당량 계산식 변경소프트웨어개발 이야기 2020. 7. 30. 20:07
2020년 7월 29일부로 할당량(Quota) 계산방법이 간단해졌다.(진작 좀 이렇게 해주지 그랬냐 -_ -;) 본 글에서는 변경된 할당량 계산방법에 대해 정리한다. 유튜브 API 관련 글을 쓰면서 가장 많이 작성한 주제가 "할당량(Quota)" 인 듯하다. 아무리 열심히 개발해도 할당량 문제를 만나면 멘붕이 오기 때문에, 유독 많이 언급했더랬다. 혹, 보지 못한 독자는 아래 링크를 참고하기 바란다. 유튜브(Youtube) API - 3. API 살펴보기 유튜브(Youtube) API - 12. 할당량 최적화 유튜브(Youtube) API - 13. 할당량 증설 기존 계산 방법이 복잡하다고 느낀 건지, 아니면 최근 API 증설에 대해 민원이 많아졌기 때문인지는 모르겠으나, 어쨌든 유튜브 API팀에서 할당..
-
유튜브(Youtube) API - 13. 할당량 증설소프트웨어개발 이야기 2020. 6. 23. 11:48
최근 Elastic Stack을 통한 데이터 수집 삼매경이라 유튜브 API를 사용할 일이 없다 보니, 오랜만에 유튜브 이야기를 꺼내본다. 일전에 유튜브 할당량(Quota) 최적화의 필요성에 대해 정리한 적이 있었다. 필자가 작성한 글을 포함해서 대부분의 글에서는 할당량 한도 향상을 신청받는 유튜브 페이지 링크로 답을 마무리한다. 정답이긴 하지만 이 과정이 녹록지 않다. 생각보다 작성해야 할 내용이 많고 "유튜브 API 서비스 팀"에서도 꽤나 디테일하게 체크한다. 때문에 신청서를 보내고 끝이 아니라 이후에 메일로 추가 내용들을 보완해야 하는 경우도 다반사다. 해당 글에서 할당량 증설 신청에 대해서 언급했었는데, 오늘은 그 이야기를 해 볼까 한다. 다시 한번 말하지만, 할당량 증설은 API 최적화에 대한 고..
-
Logstash에서 REST API 연동하기소프트웨어개발 이야기 2020. 4. 28. 16:35
Logstash에서 REST API를 연동하여 데이터를 수집하는 방법을 정리한다. Logstash에서 REST API를 연동하기 위해서는 http_poller 플러그인을 사용한다. 라고 되어있지만... 막상 사용해 보면 생각보다 제약조건이 많기 때문에 제대로 된 REST API 데이터 수집이 불가하다. 이는 input 플러그인에서 특정 정보를 동적으로 변경하는 것이 어렵기 때문이다.(불가한 건 아니지만 배보다 배꼽이 더 크다;;) 가령, 일자별로 미세먼지 정보를 제공하는 API가 있다고 가정하자. http_poller에서 해당 API를 사용하기 위해서는 파라미터로 일자 정보를 설정해줘야 한다. 고정된 날짜 정보를 설정해주는 건 가능하지만 오늘 날짜를 가져와서 파라미터로 설정하는 건 현재 버전의 logst..