프로젝트 개발 일지/AI4 [LLM with RAG] History create_history_aware_retriever 활용하기https://python.langchain.com/v0.2/docs/how_to/qa_chat_history_how_to/#chains How to add chat history | 🦜️🔗 LangChainIn many Q&A applications we want to allow the user to have a back-and-forth conversation, meaning the application needs some sort of "memory" of past questions and answers, and some logic for incorporating those into its current thinking.python... 2024. 9. 26. [LLM with RAG] Retrieval 효율 개선 데이터 전처리 데이터가 위와 같은 이미지 파일인 경우,이를 읽어올 수 없기 때문에 데이터를 전달 할 수 없다.이미지, 표 등과 같은 데이터는 vector DB에 효율적으로 저장할 수 없다. 따라서 알맞은 데이터를 전달하기 위해서는 데이터의 전처리가 중요하다!!다음과 같이 이해할 수 있는 Markdown 포멧으로 데이터를 전처리 해줘야 한다.| 종합소득 과세표준 | 세율 ||-------------------|--------------------------------------------|| 1,400만원 이하 | 과세표준의 6퍼센트 || 1,400만원 초과 .. 2024. 9. 26. LangChain 이란? LangChain이란?LLM을 기반으로 한 애플리케이션을 구축하기 위한 오픈소스 파이썬 프레임 워크.2022년 해리슨 체이스에 의해 개발되었다.언어 모델을 외부 데이터 소스 및 서비스에 연결하기 위한 모듈화된 요소를 제공해준다.재사용 가능한 구성요소와 사전 구성된 체인을 제공해 복잡한 LLM 응용의 개발을 간소화하는데 도움을 준다.체인, 에이전트, 도구 및 메모리 지원을 통해 외부 환경과 더 정교한 방식으로 상호작용하고 재사용 가능한 응용을 할 수 있게 도와준다. LangChain 주요 기능 체인(Chains) 구성LangChain은 다양한 작업을 순차적으로 수행할 수 있는 기능을 제공한다.예를 들어, 먼저 사용자 입력을 처리한 후, 그 결과를 데이터베이스 검색에 사용하고, 마지막으로 결과를 요약하는 .. 2024. 9. 26. LLM이란? 왜 지금 AI가 뜨고 있는가?다층 신경망인 DL의 출현은 AI 모델의 선응과 능력에 중대한 전환점을 마련했다.흥미로운 점은 DL의 개념이 한동안 존재했음에도 불구하고, 생성 모델의 발전과 확장은 GPU와 같은 하드웨어의 중요한 발전과 관련이 있다. 특히, GPU는 AI 분야를 진전시키는 데 중요한 역할을 했다.GPU는 DL 신경망을 훈련시키기에 필요한 행렬/벡터 계산에 특히 적절하다.특히 NVIDIA의 CUDA 플랫폼은 GPU를 직접 프로그래밍할 수 있게 해, 언어 모델 분야에서 개별적이고 복잡한 모델 싱험 및 배포가 더욱 용이해졌다.강력한 하드웨어의 가용성은 심층 모델의 개발에서 핵심 요인이다.DL 모델이 훈련과 실행에 많은 계산 자원을 필요로 하기 때문 (처리 능력, 메모리, 디스크 공간 등 모든 측.. 2024. 9. 26. 이전 1 다음
