분류 전체보기165 [딥러닝 자연어처리] 11. 8) 사전 훈련된 워드 임베딩 ~ 09) 사전 훈련된 워드 임베딩 사용하기 딥러닝을 이용한 자연어처리 입문 #11 8) 사전 훈련된 워드 임베딩 ~ 09) 사전 훈련된 워드 임베딩 (Pre-Trained Word Embedding) 사용하기 08) 사전 훈련된 워드 임베딩 (Pre-trained Word Embedding) 1. 케라스 임베딩 층 (Keras Embedding Layer) 케라스 : 훈련 데이터의 단어들에 대해 워드 임베딩을 수행하는 도구 Embedding() 제공 Embedding() : 인공 신경망 구조 관점에서 임베딩 층 구현 1) 임베딩 층은 룩업 테이블이다. 어떤 단어 → 단어에 부여된 고유한 정수값 → 임베딩 층 통과 → 밀집 벡터 ex) 영단어 : great 임베딩 차원 : 4로 설정 great은 정수 인코딩 과정에서 1,918의 정수로 인코딩 되었.. 2024. 1. 2. [딥러닝 자연어처리] 10. (1) 워드 임베딩 ~ 7) 자모 단위 한국어 fast text 학습하기 딥러닝을 이용한 자연어처리 입문 #10. (1) 워드 임베딩 ~ 7) 자모 단위 한국어 fast text 학습하기 (1) 워드 임베딩 밀집 표현(Dense Representation) 밀집 표현은 벡터의 차원을 단어 집합의 크기로 상정하지 않음 사용자가 설정한 값으로 모든 단어의 벡터 표현의 차원을 맞춤 Ex) 강아지 = [ 0 0 0 0 1 0 0 0 0 0 0 0 ... 중략 ... 0] 밀집 표현을 사용하고, 사용자가 밀집 표현의 차원을 128로 설정한다면 강아지 = [0.2 1.8 1.1 -2.1 1.1 2.8 ... 중략 ...] → 벡터의 차원이 조밀해졌다고 해서 밀집 벡터 워드 임베딩(Word Embedding) 단어를 밀집 벡터(dense vector)의 형태로 표현하는 방법을 워드 임베딩.. 2024. 1. 1. 호주 시장 조사 및 통계 서비스 산업에서 지난 수 년간 시장 조사와 관련 서비스에 대한 수요가 혼합되면서 수익이 줄어든 것으로 나타났다. 이는 코로나19와 정부 자금 변동성으로 인한 불확실성과 수요 변화에 기인한다. 일부 기업은 외부 서비스를 내부적으로 수행하기 시작하면서 업계 수요가 감소했다. 이는 가격 경쟁과 인구 조사로 인한 비용 증가와도 관련이 있었지만, 이익은 확대되었다. 그러나 온라인 미디어와 빅데이터의 성장은 업계에 동시에 기회를 제공한다. 새로운 미디어 청중과 광고 효과에 대한 수요가 증가하는 가운데, 업계는 효과적인 측정 시스템 개발에 어려움을 겪고 있으며 기술적인 경쟁은 치열해질 것으로 예상된다. IBIS에 따르면 미래에는 산업은 5년 동안 연평균 2.1% 증가하여 37억 달러에 이를 것으로 보인다. 이러한 변화와 동.. 2023. 12. 29. [딥러닝 자연어처리] 9-3. (08) 케라스의 SimpleRNN과 LSTM 이해하기- (11) 문자 단위 RNN 딥러닝을 이용한 자연어처리 입문 #9-3. (08) 케라스의 SimpleRNN과 LSTM 이해하기 -(11) 문자 단위 RNN (08) 케라스의 SimpleRNN과 LSTM 이해하기 1 SimpleRNN 이해하기 rnn - SimpleRNN (3) # rnn = SimpleRNN (3, return_sequences-False, return_state=False) hidden_state= rnn(train_X) print('hidden state: {}, shape: {}'.format(hidden_state, hidden_state.shape)) # 출력값 : hidden state: [[-0.866719 0.95010996 -0.99262357]], shape: (1, 3) 마지막 시점의 은닉 상태 .. 2023. 12. 28. [KOTRA] 업무 역량 향상을 위한 ChatGPT 및 기타 IT 기술 활용 챗지피티 소개와 업무 혁신 챗지피티는 대화형 인공지능으로, GPT(Generative Pre-trained Transformer)을 기반으로 자연스러운 대화를 이어나가며 정보를 제공한다. 이 기술은 AI의 한 분야로, 업무에서 실제로 활용되며 시간을 절약하고 효율성을 극대화한다. 챗지피티의 역사와 발전 챗지피티는 지난 몇 년 동안 AI 산업에서 큰 관심을 받아왔다. 특히, 2020년에 OpenAI에서 공개한 GPT-3는 많은 주목을 받았는데, 이후 전세계의 기업들이 이러한 생성형 AI 기술을 활용하여 다양한 서비스를 제공하고 있다. 기술 발전과 활용 사례 2017년 구글의 'attention is all you need' 논문을 통해 소개된 트랜스포머 모델이 인공지능 분야를 이끌며, 이후 OpenAI의 .. 2023. 12. 27. [딥러닝 자연어처리] 9-2. (05) 양방향 순환 신경망 - (07) 게이트 순환 유닛 딥러닝을 이용한 자연어처리 입문 #9-2. (05) 양방향 순환 신경망 -(07) 게이트 순환 유닛 이전과 이후의 시점 모두를 고려해서 현재 시점의 예측을 더욱 정확하게 할 수 있도록 고안된 방법 첫번째 메모리 셀 : 앞 시점의 은닉 상태를 전달받아 현재의 은닉 상태를 계산함 두번째 메모리 셀 : 뒤 시점의 은닉 상태를 전달받아 현재의 은닉 상태를 계산함 [은닉층이 1개 더 추가된 양방향 순환 신경망] from tensorflow.keras.models import Bidirectional timesteps = 10 input_ dim = 5 model = Sequential() model.wooddidirectional(Simgle9300filsden_its, return_sequences=True),.. 2023. 12. 26. 이전 1 2 3 4 5 ··· 28 다음
