Transformer 모델: 기존 인코더-디코더 모델을 발전시킨 모델로, RNN 기반 인코더-디코더 모델보다 학습이 빠르고 성능이 좋다.병렬화RNN 기반 인코더-디코더: 입력으로 들어오는 텍스트의 단어들을 순차적으로 계산하여 인코딩.Transformer: 행렬곱으로 한 번에 병렬 처리. Positional encoding(RNN 사용 X) 순차 입력을 받지 않음 → 위치/순서 정보를 제공해줘야 한다.Positional encoding: 인코더 및 디코더의 입력 값마다 상대적인 위치 정보를 더하는 기술.Transformer는 단순 비트 인코딩이 아니라 Sin, Cos 함수를 사용한 positional encoding을 사용한다.장점Sin, Cos 함수) Positional encoding 값이 항상 -1에..

RAG (Retrieval-Augmented Generation): Query가 주어졌을 때, 데이터베이스에서 관련된 정보를 검색하여 프롬프트에 contxt를 추가.장점Hallucination 최소화Fine-tuning 대비 저렴한 비용으로 관련 정보 검색 가능한계전체 corpus에 대한 추상적 요약이 어려움Context window 한계로 인한 정보 손실 (”lost in the middle” 현상)Graph RAG (GraphDB + RAG)데이터를 지식 그래프 구조로 변환 → 그래프 검색을 활용한 RAG더보기Knowledge graph 지식 그래프:Knowledges의 구조화된 표현Node: entities or conceptsEdge: relationships between entities Mic..

결국 이 논문을 통한 구현은 안 하게 되었지만, 일본 자료 덕분에 읽을 만했던 논문입니다.- 이것도 블로그용으로 추후 다시 작성할 예정... 발표용으로 만든 PTT 파일이다. 참고 URLICCV19読み会 "Learning Single Camera Depth Estimation using Dual-Pixels" (slideshare.net) ICCV19読み会 "Learning Single Camera Depth Estimation using Dual-Pixels"第55回 コンピュータビジョン勉強会＠関東 ICCV読み会の資料です。 "Learning Single Camera Depth Estimation using Dual-Pixels"について解説しております。 https://kantocv.connpass.com/..

depth estimation을 처음 접하다보니 배경지식이 너무 없었기에, 읽으면서 너무 어려웠고 힘들었습니다.각 section은 이해가 되는 데, section들끼리 연결하여 이해하는 게 힘들었습니다. 발표용으로 만든 PPT 파일이다.

이 논문은 노션에 정리했습니다. https://wind-nerve-8e9.notion.site/SIMPLE-ONLINE-AND-REALTIME-TRACKING-32300a4d79cb409f880c8dfd007e7970

Abstract a huge number of features → to improve CNN accuracy YOLO v4 - use new features and achieve state-of -the-art results.2) CSP (Cross-Stage-Partial-Connections)4) SAT (Self-Adversarial-Training)6) Mosaic Data Agumentation8) CIOU Loss 7) Drop Block Regularization 5) Mish Activation 3) CmBN (Cross mini-Batch Normalizations) 1) WRC (Weighted-Residual-Connections) ⇒ acheive: MS COCO dataset AP..