소프트웨어개발 이야기
-
티스토리 API 사용하기소프트웨어개발 이야기 2020. 3. 5. 15:26
블로그를 티스토리로 옮긴 이유 중 하나는, API의 제공이었다. 필요한 정보를 주기적으로 블로그에 자동 업로드하고 싶었는데, 감사하게도 티스토리는 API를 통해서 이런 작업이 가능했다. 요즘같이 클라우드가 보편화된 시기에 누구나 조금의 노력만으로 이런 작업이 가능해졌다. 라떼이즈홀스, 집에 PC 24시간 돌리던 그 시절이 눈물겹다. 각설하고, 필자의 블로그에 주기적으로 업로드 중인 오늘이야기(오늘의 커뮤니티, 오늘의 유튜브, 오늘의 핫이슈) 경험을 바탕으로 티스토리 API를 사용해서 글을 올리는 내용을 정리한다. 티스토리 API 앱 등록 대부분의 오픈 API 사용이 그러하듯, 티스토리 API를 사용하기 위해서는 프로젝트(앱) 등록이 필요하다. 티스토리 API 등록 페이지를 들어가 보자. TISTORY 나..
-
국내 온라인 커뮤니티 분석소프트웨어개발 이야기 2020. 3. 4. 10:56
본 글에서는, 온라인 커뮤니티 콘텐츠 소비현황 분석 시스템 개발을 위해 조사한 국내 온라인 커뮤니티에 대해 정리한다. 필자가 경험한 온라인 커뮤니티는 모뎀을 사용하던 하이텔, 나우누리 시절부터였다. 행여라도 전화가 오는 건 아닐까(초기 모뎀은 전화가 오면 연결이 끊겼다. 나중에 K단위로 올라간 모뎀에서는 끊김 대신 통화 중으로 바뀌긴 했지만, 부모님께 혼나는 건 매한가지 -_ -;;;) 두려워하며 사용하던 1024 bps의 파란 화면 속 하얀 텍스트 세상은 그때나 지금이나 여전히 살아 움직이고 있다. 56K 모뎀에 감탄도 잠시, ADSL 보급을 등에 엎고 웹(브라우저) 기반의 다양한 카페가 퍼지기 시작했다. 더불어 동창 찾기 커뮤니티 붐이었던 그 시절을 지나 개인화 블로그가 시대가 도래했고 세상은 온통 ..
-
유튜브(Youtube) API - 10. Video Insert소프트웨어개발 이야기 2020. 2. 25. 17:21
유튜브 데이터 API 뜯어보기 - Videos 동영상 업로드 본글에서는 9. Videos(동영상 조회 편)에 이어서 Data API의 동영상(Video) 기능을 활용하여 동영상을 유튜브에 업로드하고 결과를 확인해 보도록 하겠다. Video API는 다음과 같은 기능을 제공한다. Videos > 동영상 목록 조회 > 동영상 업로드 > 동영상의 메타정보 수정 > 동영상 삭제 > 동영상에 평가(좋아요, 싫어요) 추가/삭제 PlaylistItems API를 통해서 동영상을 재생목록에 추가할 수 있지만, 해당 동영상을 업로드하기 위해서는 Videos API의 insert 기능을 사용해야 한다. 즉, 동영상을 유튜브에 업로드할 수 있는 유일한 방법은 Videos API 밖에 없다. 지금부터 동영상을 업로드 하는 V..
-
구글 트렌드 데이터 조회소프트웨어개발 이야기 2020. 2. 25. 13:47
구글 트렌드 서비스는 구글에서 제공하는 서비스의 검색 동향을 제공해 준다. 쉽게 이야기해서 구글, 유튜브의 실시간 인기 검색어들을 찾아볼 수 있는 서비스다. 제공하는 기능은 크게 4가지로 다음과 같이 구성되어 있다. 탐색 : 특정 단어로 동향 검색 (검색조건 : 국가, 기간, 카테고리, 분야[웹/이미지/뉴스/쇼핑/유튜브]) 인기 급상승 검색어 : 인기가 급상승하는 검색어 동향 (검색조건 : 국가) 올해의 검색어 : 년간 검색어 통계 (검색조건 : 년도, 국가) 구독 : 메일링 서비스 (검색조건 : 주제, 국가) 이중 본글에서는 인기 급상승 검색어 데이터를 조회해서 출력하는 기능을 개발해 보도록 하겠다. 인기 급상승 검색어 메뉴를 들어가면 두개의 탭으로 구성된 화면을 확인할 수 있다. '일별 인기 급상승 ..
-
크롤링 개발팁 - Redirect 금지소프트웨어개발 이야기 2020. 2. 18. 11:40
초급 개발자에게 프로그래밍 학습을 위한 콘텐츠로 크롤링만큼 "안녕~ 세상아!"를 출력하는 프로그램 코드 100번 작성하는 것보다 자신이 애용하는 웹사이트에 있는 내용을 가져와서 출력하는 프로그램 작성하는 게 훨씬 재밌기 때문이다. 언어를 가장 효율적으로 습득하는 방법 두 가지는 "자주 사용"하고 "재밌어야" 한다는 것이다. 프로그램 언어도 컴퓨터와 대화하기 위한 수단이기 때문에 실용성과 재미없이는 러닝 커브를 넘기가 쉽지 않다. 때문에 필자는 초급 개발자가 새로운 언어를 배우거나 스킬업이 필요할 때 크롤링 개발을 추천한다. 그런데, 단순히 학습 목적이 아니라 실제 크롤링 서비스를 개발을 하다 보면 고려해야 할 요소들이 나타난다. 가령 로그인이 필요한 페이지를 크롤링해야 할 경우도 있고, 화면(Client..
-
유튜브(Youtube) API - 9. Videos소프트웨어개발 이야기 2020. 2. 13. 11:44
유튜브 데이터 API 뜯어보기 - Videos 동영상 목록 조회 본글에서는 7.Data API(재생목록 편)에 이어서 유튜브 Data API의 동영상(Video) 기능을 시나리오 기반으로 사용해보고 결과를 확인해 보도록 하겠다. Video API는 다음과 같은 기능을 제공한다. Videos > 동영상 목록 조회 > 동영상 업로드 > 동영상의 메타정보 수정 > 동영상 삭제 > 동영상에 평가(좋아요, 싫어요) 추가/삭제 PlaylistItems API를 통해서 동영상 제목, 설명, 포스터 정보는 조회할 수 있지만, 영상의 크기, 상태, 조회수, 댓글 수 와 같은 다양한 정보는 가져올 수 없다. 이는 Videos API를 통해서 가능하다. 지금부터 동영상의 다양한 정보를 조회하는 Videos.list API에..
-
유튜브(Youtube) API - 8.페이징소프트웨어개발 이야기 2020. 2. 12. 17:31
본글에서는 7.Data API(재생목록 편)에서 잠시 언급했던 페이징 처리에 대해 살펴 보자. API 살펴보기편에서도 언급했지만, 유튜브 API를 사용할 때는 쿼터(할당량)에 대한 고려가 반드시 필요하다. GCP에 등록된 프로젝트 쿼터를 다 소비한 경우, API를 이용하는 시스템에는 에러 메세지만 넘처 날게다. 특히, 주기적으로 콘텐츠 정보 수집하는 서비스에서 쿼터 문제로 수집이 안된거라면 추후 데이터를 맞추기 위해서 엄청난 노력이 필요하다.(생각만 해도, 끔찍하다 -_ -;) 물론 API를 제공해주는 입장에서는 안정적인 서버 운영을 위해서 이런 제약사항이 필요할 수 밖에 없다. 때문에 효율적인 쿼터 사용을 위한 노력이 필요하며, 본 글에서 다루는 페이징 처리가 그 방법 중 하나라고 볼 수 있다. 아래는..
-
Logstash 복수 파이프라인 파일소프트웨어개발 이야기 2020. 2. 12. 14:12
Logstash 사용할때 configuration 디렉토리(logstash/conf.d)에 복수의 파이프라인 설정파일 있을 경우 에러가 발생한다. 설치시 기본 설정 환경대로 메인 파이프라인에서 특정 디렉토리에 있느 복수의 파일을 설정해 놓았는데, conf.d 디렉토리에 두개 이상의 설정파일이 들어가면 수행안되고 에러 발생하는 상황이다. // pipelines.yml - pipeline.id: main path.config: "/etc/logstash/conf.d/*.conf" 이때는 파이프라인을 아래와 같이 복수로 나눠서 설정하면 에러 발생을 해결할 수 있다. // pipelines.yml - pipeline.id: nielsen.pro3 path.config: "/etc/logstash/conf.d/l..