전체 글165 [딥러닝 자연어처리] 2-2. 텍스트 전처리 (Text Preprocessing) 딥러닝을 이용한 자연어처리 입문 #2-2. 텍스트 전처리 (Text Preprocessing) 06) 정수 인코딩(Integer Encoding) 컴퓨터는 텍스트보다는 숫자를 더 잘 처리할 수 있음. 특정 단어들과 매핑되는 고유한 정수, 인덱스를 부여하는 것 1. 정수 인코딩 Dictionary 사용하기 from nltk.tokenize import sent_tokenize from nltk.tokenize import word_tokenize from nltk.corpus import stopwords raw_text = "A barber is a person. a barber is good person. a barber is huge person. he Knew A Secret! The Secret .. 2023. 12. 1. [딥러닝 자연어처리] 2-1. 텍스트 전처리 (Text Preprocessing) 딥러닝을 이용한 자연어처리 입문 #2-1. 텍스트 전처리 (Text Preprocessing) 01) 토큰화(Tokenization) 주어진 코퍼스(corpus)에서 토큰(token)이라 불리는 단위로 나누는 작업 1. 단어 토큰화 (Word Tokenization) 토큰의 기준을 단어(word)로 하는 경우 입력: **Time is an illusion. Lunchtime double so!** 출력: "Time", "is", "an", "illusion", "Lunchtime", "double", "so" 2. 토큰화 중 생기는 순간 토큰화를 진행하다보면, 예상치 못한 경우가 발생하여 토큰화의 기준을 설정하는 것이 필요 분석자가 기준을 정해서 토큰화를 수행 3. 토큰화에서 고려해야할 사항 구두점이나 .. 2023. 11. 30. [딥러닝 자연어처리] 1. 자연어처리란? 딥러닝을 이용한 자연어처리 입문 #1. 자연어처리란? 자연어 (Natural Language)는 우리가 일상 생활에서 사용하는 언어를 의미. 이는 음성 인식, 번역, 감성 분석, 텍스트 분류 작업, 질의 응답 시스템, 챗봇과 같은 자연어 처리 (Natural Language Processing) 작업에 활용. 이러한 작업들은 방대한 데이터 양을 가진 데이터프레임을 간단하게 탐색할 수 있도록 함 판다스 프로파일링 (Pandas-Profiling)은 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일을 수행. 이 도구는 데이터프레임을 분석하여 데이터의 특성을 요약하고 시각화하여 데이터를 더 잘 이해할 수 있도록 돕는다. pip install -U pandas-profiling #스팸 메일 분류 데이.. 2023. 11. 29. [IT]호주 시장 조사 및 통계 서비스 - Disha Kartik Jeswanth 요약 업계는 시장 조사 및 관련 서비스에 대한 수요가 수년간 혼합되어 실적이 저조했다. 업계 수익은 지난 5년 동안 연평균 0.6% 감소했으며, 2023~24년에는 총 34억 달러에 이를 것으로 예상되며, 이때 수익은 2.3% 증가할 것이다. 전반적인 수익 감소는 코로나19 팬데믹과 ABS 자금 변동에 따른 불확실성과 수요 변화로 인한 전년도 혼합 성장에 기인할 수 있다. 업계 수익은 주로 연방 정부의 ABS 자금 변동으로 인해 해마다 높은 변동성을 보인다. 이전에 산업 비즈니스를 이용했던 일부 기업에서는 시장 조사 및 통계 분석 서비스를 자체적으로 수행하는 경우가 늘어나고 있다. 많은 외부 회사가 기술 및 데이터 수집 기능을 개선하여 이러한 활동을 내부적으로 .. 2023. 11. 22. 호주 수산물 시장 동향_호주 어업, 지속 가능성과 혁신으로 성장 중 생선 및 해산물 도매업체는 최근 몇 년간 어려운 운영 환경에 직면해 있다. 도매 우회로 인해 업계 수익이 감소했다. 특히, 주요 슈퍼마켓인 Coles, Woolworths 및 ALDI는 공급망에 대한 통제력을 높이고 비용을 절감하기 위해 수직으로 통합된 생선 및 해산물 운영업체로부터 직접 해산물을 구매하는 경우가 점점 더 늘어나고 있다. 전염병은 또한 공급망을 혼란에 빠뜨리고 식품 서비스 부문의 다운스트림 수요에 부정적인 영향을 미쳤다. 업계 매출은 2022~23년까지 5년간 연평균 1.5%씩 감소해 약 47억 달러에 이를 것으로 예상된다. 이러한 추세에는 재량 소득과 인플레이션으로 인해 실질 수익 성장이 감소함에 따라 2022~23년에는 0.5%의 하락이 예상된다. 국내 수산물 가격은 야생 어류 자원의.. 2023. 11. 21. LSTM-AE_for_Unsupervised_Outlier_Detection An innovative framework for indoor air quality outlier detection, comprising three modules: LSTM-AE-based reconstruction error detector, latent feature class-assisted SVM detector, and an ensemble model for robust real-time anomaly detection. Ideal for industrial applications, providing stable and versatile outlier decision rules.Remark : http://doi.or.kr/10.1186/s40537-023-00746-zIntroductionTh.. 2023. 11. 20. [Article] 예술 공학의 의미와 비전, 그 어딘가 예술 공학(Techno-art)의 의미 기술예술 또는 공학예술이라고 불리는 본 분야는 ‘기술 문명의 인간화’를 모토로 혁신 기술을 전면에 내세워 최신 기계와 발명을 활용한 예술 작품이 주를 이룬다. 세계 최고의 미디어 아트 센터로 불리는 독일의 ZKM은 기계화·자동화 시대에 걸맞게 새로운 기계적 조형언어와 인간환경의 창조를 주장한 바우하우스의 뒤를 잇는 공간으로 정의하고, 예술적 상상을 기술적으로 실험하여 신선한 결과물을 대중에게 공개했다. 일본 미디어 아트 페스티벌 역시 예술표현을 위한 새로운 기술을 탐구하고 최신기술로써 다양한 작품을 꾸준히 소개하고 있다. 이처럼 예술에 기술이 더해진 분야를 예술공학이라고 부르며, 우리에게 잘 알려진 예로는 컴퓨터 그래픽스, 하이테크아트 등을 활용한 ‘메타버스’, ‘.. 2023. 11. 17. 호주 리튬 산업 정책 및 제도 동향 파악 주요 광물 공급망 구축 및 국가 간 전략적 파트너십 구축 무역·투자 촉진, 연구개발, 표준·인증 및 허브 구축을 통한 관련 부문 개발 활성화 영국, 미국, EU, 일본, 한국, 인도 등 주요 국가와의 전략적 파트너십 구축 2020년 미국과 핵심 광물 공급 확보를 위한 공동 노력 협약을 맺고 호주 캔버라에 광물촉진사무소(Critical Minerals Facilitation Office) 설립 ’R&D 인프라 및 제조업 현대화 이니셔티브(Modern Manufacturing Initiative)‘와 같은 주요 정부 프로그램 통한 미드스트림(중류) 분야 활성화 2022년 호주 핵심광물 전략(2022 Critical Minerals Strategy) 2030년까지 세계 핵심광물 강국으로 도약 핵심광물 자원개발.. 2023. 11. 16. [홍수 알고리즘 및 피처 파악] Flood disaster risk assessment based on random forest algorithm-Neural Computing and Applications -R과 python 동시 사용 본 연구에서는 랜덤 포레스트 알고리즘과 RF모델을 기반으로 한 홍수재해 위험평가에 대해 논의. 본 연구에서는 GIS의 특수기능을 활용하여 데이터를 수집, 관리, 분석하여 GIS 기반의 홍수재해위험도 평가방법을 제안함 이 방법은 연구 지역의 자연재해 발생요인의 특성을 바탕으로 적절한 그리드를 선택하여 최종적으로 지역재난위험도를 시각적으로 표현하는 기능을 구현함. ArcGIS10.1을 사용하여 각 위험 요소를 분석하고 홍수재해 보고서 인덱스 모델에 통합함. 랜덤 포레스트 알고리즘은 홍수재해 지수 모델의 각 매개변수의 가중치로 사용 ArcGIS 공간 분석 도구 맵 대수 기능을 사용하여 모델링하고, 다양한 기간의 홍수 위험 평가를 수행하고, 공간 분석 기능을 사용하여 특정 시나리오.. 2023. 11. 15. 이전 1 2 3 4 5 6 7 ··· 19 다음
