딥러닝25 [딥러닝 자연어처리] 1. 자연어처리란? 딥러닝을 이용한 자연어처리 입문 #1. 자연어처리란? 자연어 (Natural Language)는 우리가 일상 생활에서 사용하는 언어를 의미. 이는 음성 인식, 번역, 감성 분석, 텍스트 분류 작업, 질의 응답 시스템, 챗봇과 같은 자연어 처리 (Natural Language Processing) 작업에 활용. 이러한 작업들은 방대한 데이터 양을 가진 데이터프레임을 간단하게 탐색할 수 있도록 함 판다스 프로파일링 (Pandas-Profiling)은 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일을 수행. 이 도구는 데이터프레임을 분석하여 데이터의 특성을 요약하고 시각화하여 데이터를 더 잘 이해할 수 있도록 돕는다. pip install -U pandas-profiling #스팸 메일 분류 데이.. 2023. 11. 29. #공부일지 1_2. Introduction to Machine Learning in Production (Coursera) Deployment Key challenges 머신러닝 모델을 배포하는데 두 가지 주요 범주의 문제가 있다. 첫 번째는 머신러닝 또는 통계적 문제이고, 두 번째는 소프트웨어 엔진 문제이다. 시스템을 성공적으로 배포하기 위해 수행해야 하는 작업을 이해할 수 있어야한다. 많은 배포의 과제 중 하나는 개념 드리프트와 데이터 드리프트이다. 음성 인식의 예를 들자면, 데이터 세트에서 음성 인식 시스템을 교육한 후 테스트 세트에서 평가할 수 있지만 시간이 지남에 따라 음성 데이터가 변경되기 때문에 음성 인식 시스템을 구축할 때 지난 몇 개월 동안의 데이터로 구성된 검증 세트와 테스트 세트를 유지해야한다. 시스템에 갑작스러운 충격이 가해지면 데이터가 갑자기 변경되는 경우가 있다. 예를 들어 코로나 19 팬데믹이 닥쳤.. 2022. 11. 16. 이상치 탐지] 논문 리뷰 -(4)Deep-Compact-Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems Deep-Compact- Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems 본 논문은 MDPI 논문이며, sensors 저널에 등록된 논문이다. Impact Factor는 4.35이며, Unsupervised anomaly detection으로 클러스터링을 이용한 이상값 감지 방법론이다. 또한 LSTM을 기반으로 한 Autoencoder을 쓰기에 이상치 탐지에 적합하다고 생각했다. 4.3. DAECC-OC-SVM Performance Discussion 제안된 이상 탐지 방법의 효율성을 이해하기 위해 행동과 성능을 보여주는 몇 가지 추가 테스트가 제공된다. 이를 위해 먼저 방법론의 핵심, 즉 DAE의 특성화.. 2022. 3. 11. 이상치 탐지] 논문 리뷰 -(3)Deep-Compact-Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems Deep-Compact- Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems 본 논문은 MDPI 논문이며, sensors 저널에 등록된 논문이다. Impact Factor는 4.35이며, Unsupervised anomaly detection으로 클러스터링을 이용한 이상값 감지 방법론이다. 또한 LSTM을 기반으로 한 Autoencoder을 쓰기에 이상치 탐지에 적합하다고 생각했다. 아래 그림은 DAECC-DC-SVM 방법의 틀로서, 제안된 이상 탐지 모니터링 방법론의 단계별 흐름도이다. 3. Methodology 3.1. Data Acquisition 제안된 방법론의 첫 번째 단계는 회전 시스템의 상태와 관.. 2022. 3. 10. [이상치 탐지] 논문 리뷰 - Deep-Compact-Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems Deep-Compact-Clustering Based Anomaly Detection Applied to Electromechanical Industrial Systems 본 논문은 MDPI 논문이며, sensors 저널에 등록된 논문이다. Impact Factor는 4.35이며, Unsupervised anomaly detection으로 클러스터링을 이용한 이상값 감지 방법론이다. 또한 LSTM을 기반으로 한 Autoencoder을 쓰기에 이상치 탐지에 적합하다고 생각했다. 0. Abstract 산업 부문의 급속한 성장은 보다 생산적이고 신뢰할 수 있는 기계의 개발을 요구했으며 따라서 복잡한 시스템으로 이어진다. 이와 관련하여 기계에서 알려지지 않은 이벤트를 자동으로 감지하는 것은 특성화되지 않은 치명.. 2022. 3. 7. [이상치 탐지] 논문리뷰 -(요약) A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data 본 포스팅은 비지도학습이며 이상치 탐색, 시계열이라는 세가지 키워드를 가진 논문이다. 앞으로 진행할 이상치 탐색에 있어서 필요한 논문이며 AAAI-19에서 발행된 논문이다. Summary 데이터 셋 Synthetic dataset , power plant dataset : Unsupervised학습 시, normal data 이용 및 검증으로는 이상치를 넣는다. Reconstruction을 이용하고 Forecasting을 이용하지 않는다. Input : time windows : 3개 ( short(10), medium(.. 2022. 3. 6. 이전 1 2 3 4 5 다음
