Eat Study Love

먹고 공부하고 사랑하라

Data Science 25

PostgreSQL SQL2NL(3)

PostgreSQL을 Python에 연결하려는 시도를 했다. 이 시도의 이유는, 결국 PostgreSQL에서 자체적으로 반환된 Naturl Language(NL)를 가지고 LLM을 거쳐 사람이 이해하기 쉬운 좀 더 정제된 NL로 변환을 하려는 것이다. 근데, 그 전에 일단 PostgreSQL 내부에서 최대한 Parsing 구조의 Rule base의 입각하여 SQL문을 NL로 투박하게나마 변환하려는 작업을 하려는데, 그 하부구조는 아래와 같다. 일단 NL2SQL 분야의 유명한 Bench Mark인 Bird 에 나오는 NL SQL Gold Pair를 이용해서 SQL문을 NL로 좀 바꿔보려는데, 문제는 SQL문의 종류가 너~~~~~~~~무나도 많다. 그 모든 것들에 대한 NL 변환 Rule 설정이 가능한가 ..

PostgreSQL SQL2NL(2)

세상에 존재하는 모든 SQL을 NL로 LLM 없이 변환하는 것은 불가능하다. 그치만 그래도 연구해볼법 한 주제인 SQL to NL. 일단, 용도는 NL to SQL Module을 검증하는 용도이다. SQL을 다시 NL로 변환하여 본래 사람들의 자연어와 정확히 일치하는 지 체크를 할 수 있다는 생각이다. 그치만 이게 가능은 하려나..questionWhat is the e-mail address of the administrator of the school located in the San Bernardino county, District of San Bernardino City Unified that opened between 1/1/2009 to 12/31/2010 whose school types ar..

PostgreSQL SQL2NL(1)

PostgreSQL과 관련된 공식문서는 아래 링크에서 확인하면 된다.https://www.postgresql.org/docs/17/index.html PostgreSQL 17.2 DocumentationPostgreSQL 17.2 Documentation The PostgreSQL Global Development Group Copyright © 1996–2024 The PostgreSQL Global Development Group Legal Notice Table of …www.postgresql.org PostgreSQL의 Parser 부분에 대한 코드는 아래 git에서 보면 된다.https://github.com/launchql/pgsql-parser GitHub - launchql/pgsql-p..

PostgreSQL 실습에 유용한 code

기본적으로 뭐,, 특별한 건 없다. 일단 Data base에 접근만 하면 우리가 흔히 아는 SQL문만 쭉쭉쭉 날리면 된다. Data를 조회, 정렬, Insert, Delete 다 할 수 있다.  예시는 PSQL 안에서 Vector DB관련 Element를 만드는 것이긴 한데, 뭐.. 일반 Data도 비슷한 맥락으로 가지고 놀 수 있다. 근데 중요한 건, DB 접속 전에 기본 PostgreSQL 상에서 써먹으면 유용한 Cheet들이 좀 있다. 1. PostgreSQL 서버 상태 확인 및 관리PostgreSQL 프로세스 확인 : ps aux | grep postgres --> 요 놈 은근 많이 쓰인다. 이런식으로 현재 postgres 라는 이름으로 Run 중인 프로세스를 확인한다.PostgreSQL 서비스 ..

PostgreSQL 설치 및 특징

Postgres로 이것 저것 할 때, 알아두면 유용한 PSQL 명령어들1. 만약에 PostgreSQL이 이미 깔려 있는 Ubuntu base Docker 이미지 파일을 쓴다면? ex) Image contains -> postgresql-16 + pgvector + ann-benchmark + pre-built hnsw index- 실행 명령어?Import container tar : docker import bkms2-pgvector.tar bkms2-pgvectorRun container : docker run -dit --name bkms2-pgvector bkms2-pgvector /bin/bashEnter container : docker exec -w /root -it bkms2-pgvector..

Ubuntu와 친해지기

졸지에 논문을 RDBMS, SQL과 관련된 분야를 주제로 쓰게 되어서 팔자에도 없던 Linux를 사용하게 되었다. 필자는 Windows Laptop을 이용중인데, 기본적으로 Linux는 Mac과 Base가 같다고 해야하나? 여튼 Mac이랑 친해서, windows 유저들은 WSL이라는 것을 따로 이용해야 한다. 근데 문제는, 이 WSL, Linux라는 것이 생각보다 예민한 녀석이라 한 번 잘못 지우거나 update하면 실행이 잘 안 되는 문제가 발생한다.. 필자도 WSL 새로 깔아볼까? 하고 기존에 다운 받았던 WSL, Ubuntu를 싸그리 직접 수동으로 찾아서 지웠다가, 다시는 깔리지 않는 불상사가 발생했다. 솔직히 이 경우엔 포맷이 답이긴 한데, 도저히 그럴 순 없는 상황이라 구글링/GPT 헬프를 엄청..

Data Science/SQL 2024.11.11

AI의 윤리적 함의 - Dyson 360 vis nav 로봇청소기 영향평

AI 관련 상품 또는 시스템에 대해서 윤리적으로 영향평가를 해보는 실습을 진행하였다. 팀활동으로 진행하였으며, 아래는 최종영향평가 결과이다. 평 가  대 상: Dyson 360 vis nav 로봇청소기 서론              현대 사회의 기술발전과 함께 일상생활에서의 효율성과 편리성에 대한 요구도 증가하고 있다.  최근 가사일을 돕는 가전제품에 대한 수요는 지속적으로 증가하고 있는 추세다. 신혼부부 혼수  필수품이라고 불리우는 ‘3대 가사 해방 가전’인 로봇청소기·식기세척기·의류건조기 시장은 2021년부터 2023년까지 평균 38%의 꾸준한 성장률을 보였다.[1] 특히 로봇청소기는 AI기술을 토대로 집안을 자동으로 청소해 주어 가사 노동의 시간을 절약해 주고, 더 나아가 청소의 질을 높여준다. 이는..

4. Relational Algebra and Calculus

https://eglife.tistory.com/63 3-2 Relation Modelhttps://eglife.tistory.com/62 3-1 Relation Modelhttps://eglife.tistory.com/61 3. Relational Modelhttps://eglife.tistory.com/60 2. SQL 기초 실습 코드 https://eglife.tistory.com/59 1. Over View of DB Systems DB라는 것을 배우기 위한 뽕주입eglife.tistory.com  대충 쿼리는 여타 다른 프로그래밍 언어처럼 복잡완벽한 계산을 제공하진 않지만 그래도 쉽고 효율적인 계산로직을 허용한다는 뜻이다. Relational Algebra ( RA ) ..

Data Science/SQL 2024.04.24

3-2 Relation Model

https://eglife.tistory.com/62 3-1 Relation Modelhttps://eglife.tistory.com/61 3. Relational Modelhttps://eglife.tistory.com/60 2. SQL 기초 실습 코드 https://eglife.tistory.com/59 1. Over View of DB Systems DB라는 것을 배우기 위한 뽕주입 시간.. 뭐 중요한 이유는 겁나 많은eglife.tistory.com SQL은 S , Q , L 이렇게 부르기도 하지만 보통 'sequel'로 부르기도 한다. SQL 쿼리문은 직관적으로 사용할 수 있다.Query가 주어지면(WHAT) 그와 관련해 답을 도출하는 방법(HOW)은 굉장히 많다. SQL..

Data Science/SQL 2024.04.24