본문 바로가기
  • 데이터에 가치를 더하다, 서영석입니다.

전체 글165

이상치 탐지] 논문 리뷰 -(4)Deep-Compact-Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems Deep-Compact- Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems 본 논문은 MDPI 논문이며, sensors 저널에 등록된 논문이다. Impact Factor는 4.35이며, Unsupervised anomaly detection으로 클러스터링을 이용한 이상값 감지 방법론이다. 또한 LSTM을 기반으로 한 Autoencoder을 쓰기에 이상치 탐지에 적합하다고 생각했다. 4.3. DAECC-OC-SVM Performance Discussion 제안된 이상 탐지 방법의 효율성을 이해하기 위해 행동과 성능을 보여주는 몇 가지 추가 테스트가 제공된다. 이를 위해 먼저 방법론의 핵심, 즉 DAE의 특성화.. 2022. 3. 11.
이상치 탐지] 논문 리뷰 -(3)Deep-Compact-Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems Deep-Compact- Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems 본 논문은 MDPI 논문이며, sensors 저널에 등록된 논문이다. Impact Factor는 4.35이며, Unsupervised anomaly detection으로 클러스터링을 이용한 이상값 감지 방법론이다. 또한 LSTM을 기반으로 한 Autoencoder을 쓰기에 이상치 탐지에 적합하다고 생각했다. 아래 그림은 DAECC-DC-SVM 방법의 틀로서, 제안된 이상 탐지 모니터링 방법론의 단계별 흐름도이다. 3. Methodology 3.1. Data Acquisition 제안된 방법론의 첫 번째 단계는 회전 시스템의 상태와 관.. 2022. 3. 10.
이상치 탐지] 논문 리뷰 -(2) Deep-Compact-Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems Deep-Compact- Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems 본 논문은 MDPI 논문이며, sensors 저널에 등록된 논문이다. Impact Factor는 4.35이며, Unsupervised anomaly detection으로 클러스터링을 이용한 이상값 감지 방법론이다. 또한 LSTM을 기반으로 한 Autoencoder을 쓰기에 이상치 탐지에 적합하다고 생각했다. 2. Theoretical Background 클러스터링은 기계 학습 및 데이터 마이닝과 관련된 주제이다. 비선형 표현을 학습하는 탁월한 능력으로 인해 심층 신경망이 빠르게 성장함에 따라 최근 연구에서는 클러스터링 작업을 위한 좋.. 2022. 3. 8.
[이상치 탐지] 논문 리뷰 - Deep-Compact-Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems Deep-Compact-Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems 본 논문은 MDPI 논문이며, sensors 저널에 등록된 논문이다. Impact Factor는 4.35이며, Unsupervised anomaly detection으로 클러스터링을 이용한 이상값 감지 방법론이다. 또한 LSTM을 기반으로 한 Autoencoder을 쓰기에 이상치 탐지에 적합하다고 생각했다. 0. Abstract 산업 부문의 급속한 성장은 보다 생산적이고 신뢰할 수 있는 기계의 개발을 요구했으며 따라서 복잡한 시스템으로 이어진다. 이와 관련하여 기계에서 알려지지 않은 이벤트를 자동으로 감지하는 것은 특성화되지 않은 치명.. 2022. 3. 7.
[이상치 탐지] 논문리뷰 -(요약) A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data 본 포스팅은 비지도학습이며 이상치 탐색, 시계열이라는 세가지 키워드를 가진 논문이다. 앞으로 진행할 이상치 탐색에 있어서 필요한 논문이며 AAAI-19에서 발행된 논문이다. Summary 데이터 셋 Synthetic dataset , power plant dataset : Unsupervised학습 시, normal data 이용 및 검증으로는 이상치를 넣는다. Reconstruction을 이용하고 Forecasting을 이용하지 않는다. Input : time windows : 3개 ( short(10), medium(.. 2022. 3. 6.
[이상치 탐지] 논문리뷰 - A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data (2) A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data 본 포스팅은 비지도학습이며 이상치 탐색, 시계열이라는 세가지 키워드를 가진 논문이다. 앞으로 진행할 이상치 탐색에 있어서 필요한 논문이며 AAAI-19에서 발행된 논문이다. 3. Characterizing Status with Signature Matrices 이전 연구는 서로 다른 시계열 쌍 간의 상관관계가 시스템 상태를 특성화 하는데 중요하다고 제안. t-w에서 t까지의 다변량 시계열 세그먼트에서 서로 다른 시계열 쌍 간의 상호 상관을 나타내기 위해 두 시계열의 쌍 별 내적을 기반으로 n x n 시그니처 행렬 Mt를 .. 2022. 3. 5.
[이상치 탐지] 논문리뷰 - A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data (1) A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data 본 포스팅은 비지도학습이며 이상치 탐색, 시계열이라는 세가지 키워드를 가진 논문이다. 앞으로 진행할 이상치 탐색에 있어서 필요한 논문이며 AAAI-19에서 발행된 논문이다. 앞으로 3-4번에 걸쳐 포스팅될 예정이며, 마지막 포스팅에는 요약을 적을 예정이다. 0. Abstract 다변수 시계열 데이터는 발전소, 웨어러블 장치 등과 같은 다양한 실제 시스템에서 점점 더 많이 수집되고 있다. 다변수 시계열의 이상 감지 및 진단은 특정 시간 단계에서 비정상 상태를 식별하고 근본 원인을 찾아내는 것을 의미한다. 그러나 이러한 시스.. 2022. 2. 25.
[2022 동계 인턴십]암예측 최종 https://honeyofdata.tistory.com/30 [2022 동계 인턴십]암예측 6 - 발표 및 문제점에 대한 피드백 https://honeyofdata.tistory.com/29 [2022 동계 인턴십]암예측 5 이번에는 데이터를 총 3분류로 나누어서 진행했다. data1은 암 관련 phenotype ( 예를 들어 성별, 음주량, 흡연량, 나이 등등)만 진행했을 때의 A.. honeyofdata.tistory.com 위 포스팅에서 받은 피드백을 바탕으로 진행하였고 최종적으로 마무리할 수 있었다. 연구주제 및 내용 부스팅 기법을 사용하여 암 질병률의 연관성을 분석 및 예측한다. 각종 질병 중 ‘LUNG’(폐암)을 선택하여 연구를 진행했다. 데이터 전처리 위 feature들은 phenotype.. 2022. 2. 20.
Optuna: A hyperparameter optimization framework optuna는 2022 동계 인턴십을 진행하는 와중, GridsearchCV 등을 탐색하다 발견한 automl의 소프트웨어 프레임워크의 일종이다. 최근 뜨기 시작한 automl의 발전하는 단계 중 일환으로 생각하고 있고, 이번에 사용해보기로 하면서 optuna에 대해 공부를 해봤다. https://optuna.readthedocs.io/en/stable/ Optuna: A hyperparameter optimization framework — Optuna 2.10.0 documentation Optuna: A hyperparameter optimization framework Optuna is an automatic hyperparameter optimization software framework, p.. 2022. 2. 20.