프로젝트 개발 일지10 [LLM with RAG] History create_history_aware_retriever 활용하기https://python.langchain.com/v0.2/docs/how_to/qa_chat_history_how_to/#chains How to add chat history | 🦜️🔗 LangChainIn many Q&A applications we want to allow the user to have a back-and-forth conversation, meaning the application needs some sort of "memory" of past questions and answers, and some logic for incorporating those into its current thinking.python... 2024. 9. 26. [LLM with RAG] Retrieval 효율 개선 데이터 전처리 데이터가 위와 같은 이미지 파일인 경우,이를 읽어올 수 없기 때문에 데이터를 전달 할 수 없다.이미지, 표 등과 같은 데이터는 vector DB에 효율적으로 저장할 수 없다. 따라서 알맞은 데이터를 전달하기 위해서는 데이터의 전처리가 중요하다!!다음과 같이 이해할 수 있는 Markdown 포멧으로 데이터를 전처리 해줘야 한다.| 종합소득 과세표준 | 세율 ||-------------------|--------------------------------------------|| 1,400만원 이하 | 과세표준의 6퍼센트 || 1,400만원 초과 .. 2024. 9. 26. LangChain 이란? LangChain이란?LLM을 기반으로 한 애플리케이션을 구축하기 위한 오픈소스 파이썬 프레임 워크.2022년 해리슨 체이스에 의해 개발되었다.언어 모델을 외부 데이터 소스 및 서비스에 연결하기 위한 모듈화된 요소를 제공해준다.재사용 가능한 구성요소와 사전 구성된 체인을 제공해 복잡한 LLM 응용의 개발을 간소화하는데 도움을 준다.체인, 에이전트, 도구 및 메모리 지원을 통해 외부 환경과 더 정교한 방식으로 상호작용하고 재사용 가능한 응용을 할 수 있게 도와준다. LangChain 주요 기능 체인(Chains) 구성LangChain은 다양한 작업을 순차적으로 수행할 수 있는 기능을 제공한다.예를 들어, 먼저 사용자 입력을 처리한 후, 그 결과를 데이터베이스 검색에 사용하고, 마지막으로 결과를 요약하는 .. 2024. 9. 26. LLM이란? 왜 지금 AI가 뜨고 있는가?다층 신경망인 DL의 출현은 AI 모델의 선응과 능력에 중대한 전환점을 마련했다.흥미로운 점은 DL의 개념이 한동안 존재했음에도 불구하고, 생성 모델의 발전과 확장은 GPU와 같은 하드웨어의 중요한 발전과 관련이 있다. 특히, GPU는 AI 분야를 진전시키는 데 중요한 역할을 했다.GPU는 DL 신경망을 훈련시키기에 필요한 행렬/벡터 계산에 특히 적절하다.특히 NVIDIA의 CUDA 플랫폼은 GPU를 직접 프로그래밍할 수 있게 해, 언어 모델 분야에서 개별적이고 복잡한 모델 싱험 및 배포가 더욱 용이해졌다.강력한 하드웨어의 가용성은 심층 모델의 개발에서 핵심 요인이다.DL 모델이 훈련과 실행에 많은 계산 자원을 필요로 하기 때문 (처리 능력, 메모리, 디스크 공간 등 모든 측.. 2024. 9. 26. [Open API] OpenTripMap API 사용법 OpenTripMaphttps://dev.opentripmap.org/docs OpenTripMap APIOpenTripMap API Product Price Docs Map tiles Example Sign in Register English Your experience on this site will be improved by allowing cookies. Allow cookiesdev.opentripmap.org 도시 이름을 입력하여 도시의 위도,경도, 인구수 데이터 받아오기 https://api.opentripmap.com/0.1/en/places/geoname?name=seoul&country=kr&apikey=YOUR_API_KEY언어 코드 (lang): 두 글자의 언어 코드. en(미국).. 2024. 9. 25. [FastAPI] Fast API 시작 FastAPI의 특징API를 만드는데 보다 집중한 프레임워크이다.리액트나 Vue.js, Svelte와 같은 Frontend 웹 프레임워크에서 사용할 수 있고 안드로이드나 아이폰 앱에서도 사용할 수 있다.내부적으로 Starlette이라는 비동기 프레임워크를 사용하기 때문에 파이썬 웹 프레임워크 중 가장 빠르다. Pydantic 라이브러리를 사용함으로써 입출력을 정의하고 입출력 값을 자동으로 검증해주어 빠르고 안전하게 구현할 수 있다.Swagger가 작성한 API 명세를 쉽게 보고 테스트할 수 있는 웹 인터페이스를 자동으로 생성해주기 때문에 손쉽게 테스트할 수 있다.자체 ORM(Object Relational Mapping)을 제공하지는 않는다. 💡 Starlette - 비동기 ASGI 프레임워크 (htt.. 2024. 9. 24. [MySQL] RuntimeError 해결 위와 같은 에러가 떴다면, MySQL 서버가 실행 중인지 확인해야 한다. Windows에서 "서비스" (Services.msc)를 열고 "MySQL" 또는 "MySQL80"이라는 이름의 서비스를 찾고해당 서비스가 "실행 중"이 아니라면, **오른쪽 클릭 후 "시작"**을 선택하여 서버를 시작해주면 된다! 2024. 9. 13. [챗봇 with React] #3 전체 구조 & textQuery Route 전체 구조 1. 사용자가 챗봇에게 메시지를 전송하면 서버에게 request가 보내진다. 이때, 사용자의 액션에 따라 메시지는 두개의 Route에 나눠져서 전송된다.2. 서버는 Dialogflow에게 request를 보낸다.3. Dialogflow는 request를 처리 한 후, 서버에 처리한 데이터를 전달해준다.4. 서버는 dialogflow에게 받은 데이터를 client에게 전달해준다.5. 처리된 데이터가 사용자에게 보여진다. Route총 2개의 Route를 사용하여 개발한다.사용자에 입력에 따라 각각 다른 Route로 나눠져서 전송된다. normal 데이터 입력 => Text Query Route특별한 데이터/이벤트 => Event Query Route 2024. 9. 10. [챗봇 with React] #1,2 개발 환경 설정 개발 환경백엔드 : node.js, express.js의 프레임 워크 사용프론트엔드 : react, (status : Redux) github에서 소스코드 다운받기https://github.com/jaewonhimnae/chatbot-app GitHub - jaewonhimnae/chatbot-appContribute to jaewonhimnae/chatbot-app development by creating an account on GitHub.github.com$ git clone https://github.com/jaewonhimnae/chatbot-app.git Dialogflow API 사용하기 💡 Dialogflow API를 사용하기 위해서는 Google developer websit.. 2024. 9. 10. [react] 1. 리액트 시작 리액트 이해React란?자바스크립트 라이브러리오직 View단만 신경쓴다.컴포넌트 단위로 이루어져 있다. 컴포넌트란, 재상용이 가능한 API로, 수많은 기능들을 내장하고 있으며, 컴포넌트 하나에서 해당 컴포넌트의 생김새와 작동 방식을 정의한다.컴포넌트 내부에는 또 다른 컴포넌트들이 들어갈 수도 있다.컴포넌트들의 조합으로 View가 된다.클래스 개념과 거의 동일하다.(90% 동일) 렌더링사용자 화면에 뷰를 보여주는 것을 렌더링 이라고 한다.초기 렌더링 : 맨 처음 어떻게 보일지를 정하는 초기 렌더일. 리액트에서는 render() { ... } 함수가 초기 렌더링을 다룬다. 이 함수는 컴포넌트가 어떻게 생겼는지 정의하는 역할을 한다. (뷰가 어떻게 작동하는지에 대한 정보를 지닌 객체를 반환한다.) 조화 과.. 2024. 9. 9. 이전 1 다음
