본문 바로가기
  • 데이터에 가치를 더하다, 서영석입니다.

전체 글166

구글 API 연결 ('Geocoding API'로 좌표 추출하기) 구글 Geocoding API로 도로명 주소를 좌표값으로 받으려고 한다. 그러려면 Google Cloud에서 API Key를 발급받아야 한다. 1. 구글 API 발급 받기 https://cloud.google.com/ 클라우드 컴퓨팅 서비스 | Google Cloud 데이터 관리, 하이브리드 및 멀티 클라우드, AI와 머신러닝 등 Google의 클라우드 컴퓨팅 서비스로 비즈니스 당면 과제를 해결하세요. cloud.google.com 1. 상단 측에 있는 콘솔을 클릭 2. 위 상단의 My project 부분에서 새 프로젝트를 만들어준다. 3. API 개요로 이동 4. 검색창에 Geocoding API 입력 후 사용신청 누르기 참고로 유료 API도 많지만, 무료로 제공되는 API도 많으니 여러 API를 사용.. 2022. 3. 14.
이상치 탐지] 논문 리뷰 -(4)Deep-Compact-Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems Deep-Compact- Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems 본 논문은 MDPI 논문이며, sensors 저널에 등록된 논문이다. Impact Factor는 4.35이며, Unsupervised anomaly detection으로 클러스터링을 이용한 이상값 감지 방법론이다. 또한 LSTM을 기반으로 한 Autoencoder을 쓰기에 이상치 탐지에 적합하다고 생각했다. 4.3. DAECC-OC-SVM Performance Discussion 제안된 이상 탐지 방법의 효율성을 이해하기 위해 행동과 성능을 보여주는 몇 가지 추가 테스트가 제공된다. 이를 위해 먼저 방법론의 핵심, 즉 DAE의 특성화.. 2022. 3. 11.
이상치 탐지] 논문 리뷰 -(3)Deep-Compact-Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems Deep-Compact- Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems 본 논문은 MDPI 논문이며, sensors 저널에 등록된 논문이다. Impact Factor는 4.35이며, Unsupervised anomaly detection으로 클러스터링을 이용한 이상값 감지 방법론이다. 또한 LSTM을 기반으로 한 Autoencoder을 쓰기에 이상치 탐지에 적합하다고 생각했다. 아래 그림은 DAECC-DC-SVM 방법의 틀로서, 제안된 이상 탐지 모니터링 방법론의 단계별 흐름도이다. 3. Methodology 3.1. Data Acquisition 제안된 방법론의 첫 번째 단계는 회전 시스템의 상태와 관.. 2022. 3. 10.
이상치 탐지] 논문 리뷰 -(2) Deep-Compact-Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems Deep-Compact- Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems 본 논문은 MDPI 논문이며, sensors 저널에 등록된 논문이다. Impact Factor는 4.35이며, Unsupervised anomaly detection으로 클러스터링을 이용한 이상값 감지 방법론이다. 또한 LSTM을 기반으로 한 Autoencoder을 쓰기에 이상치 탐지에 적합하다고 생각했다. 2. Theoretical Background 클러스터링은 기계 학습 및 데이터 마이닝과 관련된 주제이다. 비선형 표현을 학습하는 탁월한 능력으로 인해 심층 신경망이 빠르게 성장함에 따라 최근 연구에서는 클러스터링 작업을 위한 좋.. 2022. 3. 8.
[이상치 탐지] 논문 리뷰 - Deep-Compact-Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems Deep-Compact-Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems 본 논문은 MDPI 논문이며, sensors 저널에 등록된 논문이다. Impact Factor는 4.35이며, Unsupervised anomaly detection으로 클러스터링을 이용한 이상값 감지 방법론이다. 또한 LSTM을 기반으로 한 Autoencoder을 쓰기에 이상치 탐지에 적합하다고 생각했다. 0. Abstract 산업 부문의 급속한 성장은 보다 생산적이고 신뢰할 수 있는 기계의 개발을 요구했으며 따라서 복잡한 시스템으로 이어진다. 이와 관련하여 기계에서 알려지지 않은 이벤트를 자동으로 감지하는 것은 특성화되지 않은 치명.. 2022. 3. 7.
[이상치 탐지] 논문리뷰 -(요약) A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data 본 포스팅은 비지도학습이며 이상치 탐색, 시계열이라는 세가지 키워드를 가진 논문이다. 앞으로 진행할 이상치 탐색에 있어서 필요한 논문이며 AAAI-19에서 발행된 논문이다. Summary 데이터 셋 Synthetic dataset , power plant dataset : Unsupervised학습 시, normal data 이용 및 검증으로는 이상치를 넣는다. Reconstruction을 이용하고 Forecasting을 이용하지 않는다. Input : time windows : 3개 ( short(10), medium(.. 2022. 3. 6.
[이상치 탐지] 논문리뷰 - A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data (2) A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data 본 포스팅은 비지도학습이며 이상치 탐색, 시계열이라는 세가지 키워드를 가진 논문이다. 앞으로 진행할 이상치 탐색에 있어서 필요한 논문이며 AAAI-19에서 발행된 논문이다. 3. Characterizing Status with Signature Matrices 이전 연구는 서로 다른 시계열 쌍 간의 상관관계가 시스템 상태를 특성화 하는데 중요하다고 제안. t-w에서 t까지의 다변량 시계열 세그먼트에서 서로 다른 시계열 쌍 간의 상호 상관을 나타내기 위해 두 시계열의 쌍 별 내적을 기반으로 n x n 시그니처 행렬 Mt를 .. 2022. 3. 5.
[이상치 탐지] 논문리뷰 - A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data (1) A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data 본 포스팅은 비지도학습이며 이상치 탐색, 시계열이라는 세가지 키워드를 가진 논문이다. 앞으로 진행할 이상치 탐색에 있어서 필요한 논문이며 AAAI-19에서 발행된 논문이다. 앞으로 3-4번에 걸쳐 포스팅될 예정이며, 마지막 포스팅에는 요약을 적을 예정이다. 0. Abstract 다변수 시계열 데이터는 발전소, 웨어러블 장치 등과 같은 다양한 실제 시스템에서 점점 더 많이 수집되고 있다. 다변수 시계열의 이상 감지 및 진단은 특정 시간 단계에서 비정상 상태를 식별하고 근본 원인을 찾아내는 것을 의미한다. 그러나 이러한 시스.. 2022. 2. 25.
[2022 동계 인턴십]암예측 최종 https://honeyofdata.tistory.com/30 [2022 동계 인턴십]암예측 6 - 발표 및 문제점에 대한 피드백 https://honeyofdata.tistory.com/29 [2022 동계 인턴십]암예측 5 이번에는 데이터를 총 3분류로 나누어서 진행했다. data1은 암 관련 phenotype ( 예를 들어 성별, 음주량, 흡연량, 나이 등등)만 진행했을 때의 A.. honeyofdata.tistory.com 위 포스팅에서 받은 피드백을 바탕으로 진행하였고 최종적으로 마무리할 수 있었다. 연구주제 및 내용 부스팅 기법을 사용하여 암 질병률의 연관성을 분석 및 예측한다. 각종 질병 중 ‘LUNG’(폐암)을 선택하여 연구를 진행했다. 데이터 전처리 위 feature들은 phenotype.. 2022. 2. 20.