티스토리

오늘보다 더 나은 내일

검색하기

블로그 홈

오늘보다 더 나은 내일

calps.tistory.com/m

calps 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

GPT 모델 개선한 Mamba 등장? Mamba는 인공 지능 분야의 혁신적인 발전으로, 시퀀스 모델링과 AI 비전 모두에 상당한 기여를 하고 있습니다. 시퀀스 모델링에서 Mamba는 선형 시간 스케일링과 선택적 상태 공간 접근 방식을 도입하여 시퀀스 길이 및 계산 제약 조건의 한계를 극복하고 효율성과 성능의 패러다임 전환을 표시합니다. AI 비전 영역에서 Vision Mamba(Vim)는 양방향 상태 공간 모델을 도입하고 AI 비전의 새로운 패러다임을 나타내는 획기적인 개발로 등장합니다. 게다가 Mamba는 단순한 기술 발전이 아닙니다. 이는 시퀀스 모델링의 효율성과 성능의 새로운 시대를 의미하며 변압기와 같은 기존 모델의 종말을 의미합니다. 자연어 처리(NLP)의 획기적인 발전인 Mamba 아키텍처는 데이터 품질과 아키텍처가 AI 성능에 .. 공감수 0 댓글수 0 2024. 1. 23.
이제는 인간 피드백이 아닌 AI 피드백 강화 학습? 구글(Google)이 GPT-4 뛰어넘는 멀티모달 AI 모델 ‘제미나이(Gemini)’를 공개했습니다. 기자간담회에서 공개한 내용은 이미지, 영상, 텍스트(사용자의 말) 정보를 동시에 포괄적으로 이해, 사람과 자유자재로 대화가 가능하고, 예측, 합리적 추론에 대한 답을 얻을 수 있습니다. 가장 큰 모델 제미나이 울트라는 32개 학술 벤치마크(benchmark, 성능 지표) 중 30개에서 GPT-4를 능가합니다. 특히 수학, 물리학, 역사, 법률, 의학, 윤리 등 57개 과목을 조합해 지식, 문제 해결 능력을 테스트하는 ‘MMLU(대규모 다중 작업 언어 이해)’에서 90.0%의 점수를 획득, 최초로 인간 전문가를 넘어섰습니다. (GPT-4의 MMLU 점수는 86.4%) 수학 능력을 측정하는 GSM8K에서도.. 공감수 0 댓글수 1 2024. 1. 22.
GPTs 해킹가능성 GPTs 보안이 뚫려서 해킹이 현재 가능하다고 합니다, 참고하시기 바랍니다. 1. Instructions는 프롬프트 엔지니어링이라 GPT에게 채팅으로 Instructions를 알려달라고 하면 바로 알려주게 됩니다. 물론 Instructions 내에 알려주지 말라는 문구를 추가하면 일부 프롬프트는 막을 수 있겠으나 프롬프트에 따라서 언제든 충분히 뚫릴 수 있습니다. 따라서 그냥 공개된 곳이라고 생각하시는 것이 좋을 듯합니다. 2. Knowledge는 GPT가 참고할 수 있는 첨부파일 자료인데 GPT가 실행되는 가상 환경의 /mnt/data 경로에 저장이 되어있다가 활용이 되는데요. 이 파일들은 GPT에게 조회 권한이 있어야 하므로 프롬프트를 통해 불러와서 내용을 확인할 수 있습니다. 이를 파이썬으로 plt.. 공감수 0 댓글수 1 2024. 1. 22.
강화학습이란? 강화 학습(RL)은 에이전트가 환경과 상호 작용하여 의사 결정을 내리는 것을 배우는 기계 학습의 하위 분야입니다. 에이전트는 환경에서 행동을 취하고, 보상이나 처벌의 형태로 피드백을 받고, 이 정보를 사용하여 시간이 지남에 따라 의사 결정을 향상시킵니다. 강화 학습의 주요 구성 요소는 다음과 같습니다: 1. Agent : 환경에서 의사결정을 하고 행동을 취하는 엔티티 또는 시스템. 2. Environment : 에이전트와 상호 작용하는 외부 시스템 또는 환경. 3. Actions : 에이전트가 특정 상태에서 할 수 있는 가능한 이동 또는 결정의 집합입니다. 4. State : 에이전트의 결정에 영향을 미치는 환경의 현재 상황 또는 구성. 5. Reward : 에이전트가 특정 상태에서 행동을 취한 후 피드.. 공감수 1 댓글수 0 2024. 1. 22.
GPT-3 논문리뷰 초록 • 현재 NLP 모델이 발전하면서 파인-튜닝을 통해 다양한 task를 수행하는 모델을 만들 수 있게 되었다. • 하지만, 인간은 단 몇 장의 사진(훈련 데이터)으로도 생애 처음 본 사물(테스트 데이터)를 구분할 수 있다. (few-shot learning의 개념) • GPT-3는 ‘파인-튜닝’ 과정을 제거 하여 few-shot(FS) learning을 통해 몇 개의 샘플만으로도 좋은 성능을 낼 수 있다. • 매우 큰 데이터셋을 학습시켰기 때문에 파인-튜닝을 하지 않아도 few-shot learning으로 다양한 sub-task들을 수행한다. 데이터셋은 3000억개의 데이터셋으로 1750억개의 파라미터를 활용하여 학습했다 (GPT-2는 15억개. GPT-3의 파라미터가 100배 이상 거대함) 데이터셋.. 공감수 1 댓글수 0 2024. 1. 17.
[번역] Language Models are Few-Shot Learners 최근 작업에서는 대규모 텍스트 모음에 대한 사전 학습과 특정 작업에 대한 미세 조정을 통해 많은 NLP 작업 및 벤치마크에서 상당한 이점을 얻었습니다. 일반적으로 아키텍처에서는 작업에 구애받지 않지만 이 방법에는 여전히 수천 또는 수만 개의 예제로 구성된 작업별 미세 조정 데이터 세트가 필요합니다. 대조적으로, 인간은 일반적으로 단지 몇 가지 예나 간단한 지시만으로 새로운 언어 작업을 수행할 수 있습니다. 이는 현재 NLP 시스템이 여전히 수행하는 데 어려움을 겪고 있습니다. 여기서 우리는 언어 모델을 확장하면 작업에 구애받지 않는 Few-Shot 성능이 크게 향상되고 때로는 이전의 최첨단 미세 조정 접근 방식으로 경쟁력에 도달할 수도 있음을 보여줍니다. 구체적으로 우리는 이전의 비희소 언어 모델보다 1.. 공감수 0 댓글수 0 2024. 1. 15.
T5 논문 리뷰 개요 • 모든 text 기반 language 문제를 text-to-text 형식으로 바꾸는 unified framework을 제시하여 NLP에서의 transfer learning에 대해 탐구 • 논문의 체계적인 연구는 pre-training objectives, 아키텍처, unlabeled 데이터셋, transfer approach 등 요인들을 여러 language understanding tasks에서 비교 • scale에 대한 탐구로 얻은 인사이트와 새롭게 선보인 데이터셋 "Colossal Clean Crawled Corpus"(C4)를 사용하여 summarization, question answering, text classification 등 많은 tasks에서 SOTA를 달성 • NLP에서 tr.. 공감수 0 댓글수 0 2023. 12. 31.
[번역] Exploring the Limits of Transfer Learning with a Uniﬁed Text-to-Text Transformer 개요 모델이 다운스트림 작업에서 미세 조정되기 전에 데이터가 풍부한 작업에 대해 먼저 사전 훈련되는 전이 학습은 자연어 처리(NLP)에서 강력한 기술로 부상했습니다. 전이 학습의 효율성으로 인해 접근 방식, 방법론 및 실습이 다양해졌습니다. 본 논문에서는 모든 텍스트 기반 언어 문제를 텍스트 대 텍스트 형식으로 변환하는 통합 프레임워크를 도입하여 NLP를 위한 전이 학습 기술의 환경을 탐구합니다. 우리의 체계적인 연구는 수십 가지 언어 이해 작업에 대한 사전 훈련 목표, 아키텍처, 레이블이 없는 데이터 세트, 전송 접근 방식 및 기타 요소를 비교합니다. 탐색에서 얻은 통찰력과 규모 및 새로운 "Colossal Clean Crawled Corpus"를 결합하여 요약, 질문 답변, 텍스트 분류 등을 다루는 .. 공감수 0 댓글수 1 2023. 12. 31.
RoBERTa 논문 리뷰 1.1 소개 : 배경과 기여점 • 배경 - Self-training method의 어떤 측면이 좋은 성능을 내는지 특정하기 어려움 - 비공개 데이터에서 학습될 경우, 모델링을 통해 개선된 성능이 얼마인지 측정하기 어려움 - 학습 비용이 높기 때문에 실제로 해볼 수 있는 튜닝 횟수는 제한적 • 기여점 - Bert 모델이 downstream task에서 더 나은 성능을 이끌어내는 pre-training 전략 제시 - 새로운 대용량 데이터셋 구축, 더 많은 데이터가 성능을 향상 시킴을 보임 - 적절한 파라미터 튜닝과 학습 전략 만으로도 최신 모델과 비등한 성능을 낼 수 있음을 보임 1.2 서론 : 요약 • A Robustly Optimized BERT Pretraining Approach - BERT모델은 u.. 공감수 0 댓글수 0 2023. 12. 3.
[번역] RoBERTa: A Robustly Optimized BERT Pretraining Approach 개요 언어 모델 사전 학습으로 성능이 크게 향상되었지만 서로 다른 접근 방식을 주의 깊게 비교하는 것은 어렵습니다. 훈련은 계산 비용이 많이 들고 종종 다른 개인 데이터 세트에서 수행됩니다. 그리고 앞으로 보여주겠지만 하이퍼파라미터 선택은 최종 결과에 상당한 영향을 미칩니다. 우리는 많은 주요 하이퍼파라미터와 훈련 데이터 크기의 영향을 주의 깊게 측정하는 BERT 사전 훈련(Devlin et al., 2019)에 대한 복제 연구를 제시합니다. 우리는 BERT가 상당히 훈련이 부족하다는 것을 발견했습니다. 또는 그 이후에 출시된 모든 모델의 성능을 능가합니다. 우리의 최고의 모델은 GLUE, RACE 및 SQuAD에서 최첨단 결과를 달성합니다. 이러한 결과는 이전에 간과되었던 설계 선택의 중요성을 강조하고.. 공감수 0 댓글수 2 2023. 12. 3.
[번역] Improving Language Understandingby Generative Pre-Training 개요 자연어 이해는 텍스트 수반, 질문 응답, 의미 유사성 평가, 문서 분류 등 광범위한 다양한 작업으로 구성됩니다. 레이블이 지정되지 않은 대규모 텍스트 말뭉치는 풍부하지만 이러한 특정 작업을 학습하기 위한 레이블이 지정된 데이터는 부족하므로 차별적으로 훈련된 모델이 적절하게 수행하기가 어렵습니다. 우리는 레이블이 지정되지 않은 다양한 텍스트 모음에 대한 언어 모델의 생성적 사전 학습과 각 특정 작업에 대한 차별적인 미세 조정을 통해 이러한 작업에 대한 큰 이득을 실현할 수 있음을 보여줍니다. 이전 접근 방식과 달리 모델 아키텍처에 대한 변경을 최소화하면서 효과적인 전송을 달성하기 위해 미세 조정 중에 작업 인식 입력 변환을 사용합니다. 우리는 자연어 이해를 위한 광범위한 벤치마크에서 우리 접근 방식의.. 공감수 0 댓글수 2 2023. 11. 25.
[번역] Neural Machine Translation by Jointly Learning to Align and Translate 개요 신경 기계 번역은 최근 제안된 기계 번역 접근 방식입니다. 기존의 통계적 기계 번역과 달리 신경 기계 번역은 번역 성능을 극대화하기 위해 공동으로 조정될 수 있는 단일 신경망 구축을 목표로 합니다. 신경 기계 번역을 위해 최근 제안된 모델은 종종 인코더-디코더 제품군에 속하며 디코더가 번역을 생성하는 고정 길이 벡터로 소스 문장을 인코딩합니다. 본 논문에서 우리는 고정 길이 벡터의 사용이 이 기본 인코더-디코더 아키텍처의 성능을 향상시키는 데 병목 현상이 된다고 추측하고 모델이 부품을 자동으로 (소프트) 검색하도록 허용하여 이를 확장할 것을 제안합니다. 이러한 부분을 명시적으로 하드 세그먼트로 구성할 필요 없이 타겟 단어 예측과 관련된 소스 문장을 생성합니다. 이 새로운 접근 방식을 통해 우리는 영.. 공감수 1 댓글수 0 2023. 11. 4.
Sequence to Sequence 논문 리뷰 개요본 논문에서는 인코더, 디코더 사용 LSTM을 사용 멀티 4 Layers 쌓아서 구현 영어를 불어로 번역 사용된 데이터셋 : WMT’14 BLEU : 기계번역 성능지표 LSTM을 사용하면 긴 문장도 높은성능으로 잘 번역 : 34.8%(BLEU) 통계적기계번역 시스템 : 33.3% 통계적기계번역 시스템 + 딥러닝 자연어처리기법(LSTM) : 36.5% LSTM 입력문장의 순서를 바꾸는 것이 학습 난이도를 낮춰 성능이 높아졌다.1. 서론DNN 복잡한 함수 학습하는 것에서 성능이 좋다. 경사하강법을 사용 하면 복잡한 함수도 잘 찾아 학습을 진행한다. 입력과 출력의 차원이 고정되어있다.이전까지의 모델들은 입력과 출력의 차원이 고정되어 있어 연속적인 시퀀스 데이터를 처리하는것은 쉽지 않다. 번역과 같이 Seq.. 공감수 0 댓글수 0 2023. 10. 26.
ELMo 논문 요약 높은 품질의 representations은 두가지를 모델링 할 수 있어 한다. 단어의 복잡한 특성을 모델링 할 수 있어야 한다. (구문분석, 의미분석) 하나의 용어 눈(eye, snow)에 대해 사용법이 두가지라면 두가지의 관점에 대해 임베딩이 달라야 된다. "play"를 보면 GloVe로 사용한 임베딩 벡터를 가지고 보면 약간은 스포츠에 치우쳐 진것을 볼수 있는데 biLM (ELMo 실제 구조)는 "play "가 첫번째 예시는 스포츠, 두번째 예시는 연극에서 사용하는 상황중 어느 상황에서 쓰였는지 용법을 통해 파악할 수 있다. ELMo 각각의 토큰들이 representation(전체의 입력문장을 이용)을 받는다. 사용하는 임베딩 벡터는 biLSTM을 가지고 오고 LM에 대해 목적함수를 가지고 학습이 된.. 공감수 0 댓글수 0 2023. 10. 14.
[번역] Sequence to Sequence Learning with Neural Networks (seq2seq) 개요 심층 신경망(DNN)은 어려운 학습 작업에서 뛰어난 성능을 달성한 강력한 모델입니다. DNN은 대규모 레이블이 지정된 훈련 세트를 사용할 수 있을 때마다 잘 작동하지만 시퀀스를 시퀀스에 매핑하는 데 사용할 수 없습니다. 본 논문에서는 시퀀스 구조에 대해 최소한의 가정을 하는 시퀀스 학습에 대한 일반적인 엔드투엔드 접근 방식을 제시합니다. 우리의 방법은 다층 장단기 메모리(LSTM)를 사용하여 입력 시퀀스를 고정 차원의 벡터에 매핑한 다음 또 다른 심층 LSTM을 사용하여 벡터에서 대상 시퀀스를 디코딩합니다. 우리의 주요 결과는 WMT'14 데이터 세트의 영어-프랑스어 번역 작업에서 LSTM에 의해 생성된 번역이 전체 테스트 세트에서 34.8의 BLEU 점수를 달성했다는 것입니다. 여기서 LSTM의 .. 공감수 0 댓글수 0 2023. 10. 8.
[번역] Deep contextualized word representations (ELMo) 개요 우리는 (1) 단어 사용의 복잡한 특성(예: 구문 및 의미론)과 (2) 이러한 단어 사용 방법을 모두 모델링하는 새로운 유형의 심층적인 맥락화된 단어 표현을 소개합니다. 언어적 맥락에 따라 다양합니다(즉, 다의어를 모델링하기 위해). 우리의 단어 벡터는 대규모 텍스트 코퍼스에서 사전 훈련된 biLM(심층 양방향 언어 모델)의 내부 상태에 대한 학습 함수입니다. 우리는 이러한 표현을 기존 모델에 쉽게 추가할 수 있으며 질문 답변, 텍스트 수반 및 감정 분석을 포함한 6가지 까다로운 NLP 문제 전반에 걸쳐 최신 기술을 크게 향상시킬 수 있음을 보여줍니다. 또한 다운스트림 모델이 다양한 유형의 준감독 신호를 혼합할 수 있도록 사전 훈련된 네트워크의 심층 내부를 노출하는 것이 중요하다는 것을 보여주는 분.. 공감수 0 댓글수 0 2023. 10. 8.
[번역] Efficient Estimation of Word Representations in Vector Space (Word2Vec) 개요 우리는 매우 큰 데이터 세트에서 단어의 연속 벡터 표현을 계산하기 위한 두 가지 새로운 모델 아키텍처를 제안합니다. 이러한 표현의 품질은 단어 유사성 작업에서 측정되며, 그 결과는 다양한 유형의 신경망을 기반으로 이전에 최고 성능을 발휘했던 기술과 비교됩니다. 훨씬 낮은 계산 비용으로 정확도가 크게 향상되는 것을 관찰했습니다. 즉, 16억 단어 데이터 세트에서 고품질 단어 벡터를 학습하는 데 하루도 채 걸리지 않습니다. 또한, 우리는 이러한 벡터가 구문 및 의미 단어 유사성을 측정하기 위한 테스트 세트에서 state-of-the-art 성능을 제공한다는 것을 보여줍니다. 1. 소개 현재 많은 NLP 시스템과 기술은 단어를 원자 단위로 취급합니다. 단어는 어휘에서 색인으로 표시되므로 단어 간의 유사성.. 공감수 0 댓글수 0 2023. 10. 7.
파이썬 List와 Tupple 생성해보기 이제 미니콘다를 설치했으니 간단한 소스코드를 실행시켜보자! 인공지능 개발에서 가장 중요하다는 리스트와 튜플에 대해 먼저 알아보자 콘솔창에서 jupyter notebook 을 실행하면 다음과 같은 브라우저가 뜰것이다. 우측 상단에 New 버튼을 클릭한다.그러면 아래와 같은 콤보가 아래로 열리는데 Python3를 눌른다그러면 Untitled라는 파일이 자동 생성되는데 상단에 파일이름을 눌러 저장하고 싶은 이름으로 바꿔보자.나는 List라고 저장하였다.그러면 아래와 같은 노트가 펼쳐지는데 In [ ] : 영역부분을 마우스를 클릭한다.리스트와 튜플을 실행해보려면 먼저 matplotlib 가 필요하므로 설치해보자 아래의 코드를 입력하고 상단에 Run 버튼을 클릭한다.!pip install matplotlib그러면.. 공감수 0 댓글수 0 2023. 7. 5.
인공지능 토픽 정의 1. 지도학습[선형 회귀 (Linear Regression)]알려진 다른 관련 데이터 값을 사용하여 알 수 없는 데이터의 값을 예측하는 데이터 분석 기법 종속 변수 y와 한 개 이상의 독립 변수 X와의 선형 상관 관계를 모델링하는 회귀분석 기법- 회귀를 사용하여 데이터가 어떤 범주에 속할 확률을 0에서 1 사이의 값으로 예측하고 그 확률에 따라 가능성이 더 높은 범주에 속하는 것으로 분류해주는 지도 학습 알고리즘[다항 회귀 (Polynomial Regression)]회귀식의 독립변수가 2차, 3차 방정식 같은 다항식으로 표현되는 것 단순한 비례관계로 표현되는게 편하지만 수많은 데이터 표현할 때는 그렇지 않기 때문에 다항 회귀를 사용[LMS(Least Mean Square) - 최소 평균 제곱 알고리즘]많.. 공감수 1 댓글수 0 2023. 7. 4.
인공지능 코딩위한 환경설정 인공지능 코딩을 위해서는 미니콘다, 주피터가 필요하다. 이 둘을 설치하면 파이썬을 이용해 AI 코딩을 할수 있다. 왜 미니콘다를 사용해야 하냐면 아나콘다는 라이센스가 있기 때문이다. 라이센스가 없는 미니콘다를 설치해보자. 1) miniconda 설치https://docs.conda.io/en/latest/miniconda.html#windows-installersMiniconda — conda documentationMiniconda is a free minimal installer for conda. It is a small, bootstrap version of Anaconda that includes only conda, Python, the packages they depend on, and a .. 공감수 0 댓글수 0 2023. 7. 3.
인공지능과 머신러닝 딥러닝의 관계 1) 인공지능 1950년 ~ 1980년 사람이 하는 일을 자동으로 바꿔주는 기술, 데이터를 넣고 코딩으로 자동화시킨다. 이때, 사용한 단층 퍼셉트론이 간단한 XOR 문제도 분류 못하여 인공지능의 천번째 겨울이 왔다. XOR문제는 0, 1 공존할 경우 어느것이 0이고 어느것이 1인지 분류를 못하는 문제이다. 하지만, 이는 다층 퍼셉트론의 등장으로 해결이 되었고 머신러닝으로 발전하게 된다. 2) 머신러닝 1980년 ~ 2010년 데이터와 규칙을 넣으면 미래를 예측 하거나 새로운 정보를 생성하는 기술. 1970년도 부터 역전파(Backpropagation) 알고리즘이 발견되면서 머신러닝이 발전이 가속화 되었다. 역방향으로 에러를 전파시키면서 최적의 학습결과를 도출했다. 하지만, 레이어가 깊어지면 오차를 찾지 .. 공감수 0 댓글수 0 2023. 7. 3.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.