PostgreSQL SQL2NL(8)

돌려야 하는 Case가 많으므로 GPT-mini로 진행을 해야겠다.   스스로 문제를 case by case로 나누고 Error분석 과정에서 소정의 Insight를 얻길 기원해본다..

 

GPT - mini로 진행을 해보고 결과를 Update 해보자!

 

확실히 GPT - 4o mini가 cost가 적게 든다. 이제 부담이 좀 덜(?)하게 실습할 수 있을듯

 

LLama3.1 사용관련 블로그

https://dev-drive.tistory.com/40

[Python] 메타의 대규모 AI 언어모델 Llama3.1 설치 및 사용방법 [01]

 

GPT mini로 돌리니까 확실히 정확도는 조금 떨어지는 거 같음.

 

그리고 Gold Text도 보통 1~2문장이므로, Prompt에 Output answer도 1~2문장으로 반환하라고 하는게 깔끔함.

 

아니면 너무 장황한 Text가 반환되는 경향이 있다.

 

확실히 Llama의 실행속도는 느리다. Local에 Model을 Ollama로 다운받아서 돌려도 속도가 느리다..

 

공짜는 역시 공짜인가보다..

 

 

근데, 뭐.. 전체를 확인하진 못했는데 일부 Text에선 오히려 Llama의 정확도가 더 좋았다. 뭐지..?ㅋ

 

그리고,, 미팅 후 틀어진 연구방향

 

NL2SQL, SQL2NL Module을 PostgreSQL에 덧붙여 보는 연구를 진행해야 한다.

 

일단 정확도는 나중얘기고, 어느 정도 Table metadata만 더해줘도 NL변환 정확도가 올라가는 것은 확인하였으니 PSQL에 LLM Module을 더해보는 것을 검토해보자.

 

이 분야야 말로 DBMS, LLM + finetuning을 모두 해볼 수 있는 기회다!

 

RAG는 프로젝트수업으로 경험하기!

 

Datascience의 Hot spot들을 모두 찍먹해보자..!