모델링4 [딥러닝 자연어처리] 11. 8) 사전 훈련된 워드 임베딩 ~ 09) 사전 훈련된 워드 임베딩 사용하기 딥러닝을 이용한 자연어처리 입문 #11 8) 사전 훈련된 워드 임베딩 ~ 09) 사전 훈련된 워드 임베딩 (Pre-Trained Word Embedding) 사용하기 08) 사전 훈련된 워드 임베딩 (Pre-trained Word Embedding) 1. 케라스 임베딩 층 (Keras Embedding Layer) 케라스 : 훈련 데이터의 단어들에 대해 워드 임베딩을 수행하는 도구 Embedding() 제공 Embedding() : 인공 신경망 구조 관점에서 임베딩 층 구현 1) 임베딩 층은 룩업 테이블이다. 어떤 단어 → 단어에 부여된 고유한 정수값 → 임베딩 층 통과 → 밀집 벡터 ex) 영단어 : great 임베딩 차원 : 4로 설정 great은 정수 인코딩 과정에서 1,918의 정수로 인코딩 되었.. 2024. 1. 2. [딥러닝 자연어처리] 8-5. (6) 기울기 소실과 폭주 - 07) 케라스 훑어보기 딥러닝을 이용한 자연어처리 입문 #8-5. (6) 기울기 소실과 폭주 - 07) 케라스 훑어보기 6. 기울기 소실(Gradient Vanishing)과 폭주(Exploding) 기울기 소실 : 역전파 과정에서 입력층으로 갈수록 기울기가 점차적으로 작아지는 현상 ⇒ 입력층에 가까운 층들에서 가중치들이 업데이트가 제대로 되지 않음 기울기 폭주 : 기울기가 점차 커져 가중치들이 비정상적으로 큰 값이 되는 현상 1) ReLU와 ReLU의 변형들 시그모이드 함수를 사용할 때 0 또는 1에 수렴하면서 기울기가 0에 가까워짐 → 기울기 소실 ⇒ 은닉층의 활성화 함수로 ReLU 나 Leaky ReLU를 사용 2) 그래디언트 클리핑(Gradient Clipping) 기울기 폭주를 막기 위해 임계값을 넘지 않도록 값을 감.. 2023. 12. 20. [삼성 SDS Brightics] # 개인 분석 프로젝트(5) 모델을 구축해보자! (with 노코드 AI 오픈소스 대장 😎) 안녕하세요. 삼성 SDS 브라이틱스 서포터즈 3기 서영석입니다. 이번에는 개인 분석 프로젝트가 시작한 지 벌써 5주차에 들어섰는데요. 지난번 프로젝트에 이어서 이번에는 모델링을 구축해보려고 합니다. 그 전에!! 브라이틱스 홍보를 위해 한가지 달라진 점을 말씀드리려고 합니다 :) 브라이틱스는 총 세가지의 버전으로 '상용화 버전의 Brightics AI' , 일반적인 분석을 위해 사용하는 'Brightics Studio' 그리고 '중/고등 교육용 Brightics Education' 버전으로 나뉩니다. 이번에는 기존 Brightics Studio 와 Education을 통합된 통합 버전이 출시되었습니다! 새롭게 출시된 통합 버전은 데이터 분석을 위한 200개 이상의 함수를 제공할 뿐만 아니라 함수.. 2022. 11. 1. [삼성 SDS Brightics] #01. Brightics AI 설치 및 체험 리뷰 안녕하세요! 삼성SDS Brightics 3기 서포터즈 서영석입니다 :) 앞으로 삼성 SDS Brightics의 소개와 방법 및 프로젝트 등의 활동을 보여드리고자 합니다! 기대해주세요~! 데이터 분석에 있어 효율적이고 편리하게 하기 적합한 Brightics AI에 대해 여러분께 소개하고자 합니다. 일단 왜 Brightics를 써야하는가. 그것에 대해 설명해드리겠습니다. Brightics AI는 첫 번째로 코딩을 하지 않아도 시작할 수 있어 접근성이 쉽습니다. 두 번째로 정확도가 높은 자동 추천 시스템 기능이 탑재되어있어 다양성과 작업 관리 기능이 뛰어납니다. 세 번째로 데이터 파이프라인을 쉽게 구성하여 속도성이 뛰어납니다. 네 번째로 비즈니스에 최적화된 Hadoop 환경을 편리하게 구성하여 안정적인 시스.. 2022. 6. 21. 이전 1 다음
