꿈꾸는공학도

돌려야 하는 Case가 많으므로 GPT-mini로 진행을 해야겠다. 스스로 문제를 case by case로 나누고 Error분석 과정에서 소정의 Insight를 얻길 기원해본다.. GPT - mini로 진행을 해보고 결과를 Update 해보자! 확실히 GPT - 4o mini가 cost가 적게 든다. 이제 부담이 좀 덜(?)하게 실습할 수 있을듯 LLama3.1 사용관련 블로그https://dev-drive.tistory.com/40 [Python] 메타의 대규모 AI 언어모델 Llama3.1 설치 및 사용방법 [01]메타에서 AI기술의 발전을 가속화 할 수 있도록 대규모 언어 모델(LLM)을 오픈소스로 공개했습니다. OpenAI의 GPT로 테스트를 진행하려면 카드를 등록해서 API비용도 지불해야되고 여..

주관심분야가 데이터증강은 아니지만, 해당 논문에 SQL NL 변환과 관련된 내용이 있어서 읽어봤다. GPT가 요약해준 내용은 아래와 같다.주요 내용 요약이 논문은 Cross-domain Text-to-SQL 문제에서 데이터 부족을 해결하기 위해, 질문-쿼리(Text-SQL) 쌍을 자동으로 생성하는 데이터 증강(Data Augmentation) 기법을 제안합니다. 기존 방법들은 SQL 쿼리를 직접 텍스트로 번역하거나, 사람이 검수·보정 작업을 해야 하는 등 제약이 있었는데, 본 논문은 계층적(Hierarchical) SQL-to-Question 생성이라는 새로운 접근을 통해 더 높은 품질의 데이터 증강을 달성합니다. 이를 통해 WikiSQL, Spider, DuSQL 등 여러 데이터셋에서 **최신 모델(..

지난 연구 요약LLM을 돌릴 때 Humantic(?)한 문구로 반환을 요청이라도 해야하나.. 고민이 된다. 어떻게 하면 좀 더 Human friendly 한 NL반환이 될 지 고민해봐야겠다.무작정 LLM을 돌리면서 고민하자니 돈이 너무 깨지니까, 고민을 잘 하고 수행하자. 지난 시간에 SQL2NL API를 이용해서 GPT에 SQL을 던지고 NL을 변환받는 실험을 진행해보았고,(GPT 4o)Table info / Parsing info를 Prompt Engineering을 진행해보았다. Table info를 던졌을 때 좀 더 Human friendly 하고,Parsing info를 같이 던졌을 땐 그냥 SQL을 어떻게 진행하면 되는지 Logic을 부가설명하는 느낌이 들었으며,Table + Parsing i..

지난 연구내용 요약원활히 진행중인 NL2SQL에서 Prompt Engineering을 어떻게 진행하는지 확인하고, 다시 이와 유사하게 SQL2NL Prompt Engineering을 진행해봐야겠다. Prompt Engineering이 제대로 되지 않은 거 같아서 다시 시도를 해보려한다. 어떤 것들을 해봐야할까? 1. GPT4.0 기준 일반 SQL -> NL 과 SQL -> NL(+ Metadata ) 라도 제대로 비교해놔야겠다. 저번엔 이것을 생짜로 GPT에 복붙했었는데, GPT API를 이용한 code로 좀 더 정밀하게 NL변환작업을 해야겠다. 2. 1번에서 코드가 완성된다면, 여기다가 Parsing정보(from PSQL)를 추가해서도 NL변환작업을 진행해본다. Gold SQLPredicted Text..

LLM이 복잡한 SQL문의 경우, 아니 그렇게 복잡하지 않아도 SQL문의 From 절을 NL로 잘 표현하지 못한다. 솔직히, 그저 SQL문의 NL변환에 대한 학습이 잘 안 되어 있어서 이런 결과가 나왔다고 판단한다. 즉, 학습을 안 했을뿐 학습을 진행한다면 충분히 스스로 성능은 올릴 수 있을 것이다. 일단, 그 내용은 차치하고 이번에 알아볼 것은 Table 간 관계에 대해 Meta Data를 제공하면 LLM의 SQL2NL 번역 정확도는 상승할 것인가..? 당연히 기존보단 상승할 것으로 보인다. 앞선 20개의 Sample가지고 지속적으로 실험을 진행해보자. Meta data는 구해놨다. California_school DB의 Table간 FK/PK 관계와, 각 Table의 Column에 대한 설명을 추가했..

다른 시험을 준비한다고, 연구를 좀 소홀히 하였다.그러다보니 연구내용을 거진 까먹어버려서 시작한 재활치료 ㅋ;; 일단 내 실험환경인 WSL - PostgreSQL과 Python과의 연결은 아래와 같이 Setting 해서 연결 완료. 그럼 이제 해야하는 것은?1. LLM이 SQL -> NL변환 잘 못하는 Case 파악하기2. 위 1번에 파악한 질의에 Table에 대한 Meta Data + PSQL에서 Parsing한 정보를 같이 주면 정확도가 올라가는지 파악하기 뭐.. 여태 한 연구가 사실 2번에서도 일부인 Table Meta Data에다가 추가적인 보너스로 주어지는 Parsing정보 정도인 것은 조금 현타가 오지만, 그래도 뭐가 되었던 무의미한 연구시간은 아니었다. 생각해볼 점,1번은 어떤식으로 파악할 ..

요즘 AI산업을 이끌고 있는 LLM의 기본원리인 Attention Mechanism을 이용한 Transformer 모델에 대한 공부이다. 좀 더 자세한 내용은 Attention is all you need 라는 구글의 유명한 논문을 읽어보길 바란다.

Data size가 정확히 Fix 되지 않은 Sequential Data에 대한 처리는 어떤 모델을 이용해서 할 것인지에 대한 공부이다. RNN이라는 순환신경망모델을 사용하는데, 그 원리는 무엇인지 자세히 알아보는 시간이다. 꽤나 복잡한 Model이라 꼼꼼히 살펴봐야한다.

딥러닝모델을 Training하는 방법에 대한 공부다. 어떤 함수를 Activation function으로 쓸 지, Data 전처리는 어떻게 진행하는 지를 공부한다. 그리고 이어서, 딥러닝모델을 Regularization 하고 Overfit을 피하는 방법을 소개한다.

흔히 CNN이라고 불리우는 Convolution Neural Network에 대한 공부이다. 딥러닝 모델이 왜 이렇게 계산량이 많은지 이해가 가능하며, 왜 그렇게 많은 GPU가 Deep learing model train에 필요한 지 알 수가 있다.