전체 글85 [openAI API] 토큰 사용량 openAI API 토큰 사용량은 어떻게 계산 될까? OpenAI API의 비용(Billing)은 질문(쿼리)의 개수가 아닌 토큰(token) 사용량에 따라 측정된다. 토큰은 텍스트의 단위이며, 단어 또는 글자의 일부를 의미한다.사용자가 입력한 텍스트(질문)와 모델이 생성한 응답의 토큰 수를 모두 합산하여 비용이 계산되는데, 구체적으로 살펴보면 다음과 같다. 토큰 사용량 계산 방식입력 토큰 + 출력 토큰 = 총 사용 토큰예를 들어, 사용자가 10개의 토큰을 입력하고, 모델이 50개의 토큰으로 응답한다면, 총 사용 토큰 수는 60개가 된다.토큰이란?하나의 토큰은 보통 한 단어의 일부, 또는 한 문장 부호가 될 수 있다.예를 들어, "OpenAI API는 비용이 어떻게 측정되나요?"는 10개 이상의 토큰이 .. 2024. 9. 29. [Google MAP API] output near - Header - X-Goog-FieldMask 영업시간places.regularOpeningHours.weekdayDescriptions id,이름, 맵URI, 위/경도places.idplaces.displayNameplaces.googleMapsUriplaces.location 리뷰, 추천, 사진places.ratingplaces.userRatingCountplaces.photos.name 장소 유형places.primaryType 접근성, 결제 접근성places.goodForChildrenplaces.menuForChildrenplaces.accessibilityOptionsplaces.paymentOptionsplaces.allowsDogs near - Body 관광 명소 "i.. 2024. 9. 29. [Google MAP API] 기본 기능 Google MAP API 사용 가이드https://developers.google.com/maps/documentation/places/web-service/cloud-setup?hl=ko&_gl=1*1gpzxty*_up*MQ..*_ga*MjAxNzc4Nzk0LjE3MjczOTcxNTE.*_ga_NRWSTWS78N*MTcyNzM5NzE1MS4xLjAuMTcyNzM5NzE1MS4wLjAuMA..#places-api Google Cloud 프로젝트 설정 | Places API | Google for Developers이 페이지는 Cloud Translation API를 통해 번역되었습니다. 의견 보내기 Google Cloud 프로젝트 설정 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저.. 2024. 9. 27. [LLM with RAG] History create_history_aware_retriever 활용하기https://python.langchain.com/v0.2/docs/how_to/qa_chat_history_how_to/#chains How to add chat history | 🦜️🔗 LangChainIn many Q&A applications we want to allow the user to have a back-and-forth conversation, meaning the application needs some sort of "memory" of past questions and answers, and some logic for incorporating those into its current thinking.python... 2024. 9. 26. [LLM with RAG] Retrieval 효율 개선 데이터 전처리 데이터가 위와 같은 이미지 파일인 경우,이를 읽어올 수 없기 때문에 데이터를 전달 할 수 없다.이미지, 표 등과 같은 데이터는 vector DB에 효율적으로 저장할 수 없다. 따라서 알맞은 데이터를 전달하기 위해서는 데이터의 전처리가 중요하다!!다음과 같이 이해할 수 있는 Markdown 포멧으로 데이터를 전처리 해줘야 한다.| 종합소득 과세표준 | 세율 ||-------------------|--------------------------------------------|| 1,400만원 이하 | 과세표준의 6퍼센트 || 1,400만원 초과 .. 2024. 9. 26. LangChain 이란? LangChain이란?LLM을 기반으로 한 애플리케이션을 구축하기 위한 오픈소스 파이썬 프레임 워크.2022년 해리슨 체이스에 의해 개발되었다.언어 모델을 외부 데이터 소스 및 서비스에 연결하기 위한 모듈화된 요소를 제공해준다.재사용 가능한 구성요소와 사전 구성된 체인을 제공해 복잡한 LLM 응용의 개발을 간소화하는데 도움을 준다.체인, 에이전트, 도구 및 메모리 지원을 통해 외부 환경과 더 정교한 방식으로 상호작용하고 재사용 가능한 응용을 할 수 있게 도와준다. LangChain 주요 기능 체인(Chains) 구성LangChain은 다양한 작업을 순차적으로 수행할 수 있는 기능을 제공한다.예를 들어, 먼저 사용자 입력을 처리한 후, 그 결과를 데이터베이스 검색에 사용하고, 마지막으로 결과를 요약하는 .. 2024. 9. 26. LLM이란? 왜 지금 AI가 뜨고 있는가?다층 신경망인 DL의 출현은 AI 모델의 선응과 능력에 중대한 전환점을 마련했다.흥미로운 점은 DL의 개념이 한동안 존재했음에도 불구하고, 생성 모델의 발전과 확장은 GPU와 같은 하드웨어의 중요한 발전과 관련이 있다. 특히, GPU는 AI 분야를 진전시키는 데 중요한 역할을 했다.GPU는 DL 신경망을 훈련시키기에 필요한 행렬/벡터 계산에 특히 적절하다.특히 NVIDIA의 CUDA 플랫폼은 GPU를 직접 프로그래밍할 수 있게 해, 언어 모델 분야에서 개별적이고 복잡한 모델 싱험 및 배포가 더욱 용이해졌다.강력한 하드웨어의 가용성은 심층 모델의 개발에서 핵심 요인이다.DL 모델이 훈련과 실행에 많은 계산 자원을 필요로 하기 때문 (처리 능력, 메모리, 디스크 공간 등 모든 측.. 2024. 9. 26. [Open API] OpenTripMap API 사용법 OpenTripMaphttps://dev.opentripmap.org/docs OpenTripMap APIOpenTripMap API Product Price Docs Map tiles Example Sign in Register English Your experience on this site will be improved by allowing cookies. Allow cookiesdev.opentripmap.org 도시 이름을 입력하여 도시의 위도,경도, 인구수 데이터 받아오기 https://api.opentripmap.com/0.1/en/places/geoname?name=seoul&country=kr&apikey=YOUR_API_KEY언어 코드 (lang): 두 글자의 언어 코드. en(미국).. 2024. 9. 25. [FastAPI] Fast API 시작 FastAPI의 특징API를 만드는데 보다 집중한 프레임워크이다.리액트나 Vue.js, Svelte와 같은 Frontend 웹 프레임워크에서 사용할 수 있고 안드로이드나 아이폰 앱에서도 사용할 수 있다.내부적으로 Starlette이라는 비동기 프레임워크를 사용하기 때문에 파이썬 웹 프레임워크 중 가장 빠르다. Pydantic 라이브러리를 사용함으로써 입출력을 정의하고 입출력 값을 자동으로 검증해주어 빠르고 안전하게 구현할 수 있다.Swagger가 작성한 API 명세를 쉽게 보고 테스트할 수 있는 웹 인터페이스를 자동으로 생성해주기 때문에 손쉽게 테스트할 수 있다.자체 ORM(Object Relational Mapping)을 제공하지는 않는다. 💡 Starlette - 비동기 ASGI 프레임워크 (htt.. 2024. 9. 24. [MySQL] RuntimeError 해결 위와 같은 에러가 떴다면, MySQL 서버가 실행 중인지 확인해야 한다. Windows에서 "서비스" (Services.msc)를 열고 "MySQL" 또는 "MySQL80"이라는 이름의 서비스를 찾고해당 서비스가 "실행 중"이 아니라면, **오른쪽 클릭 후 "시작"**을 선택하여 서버를 시작해주면 된다! 2024. 9. 13. [챗봇 with React] #3 전체 구조 & textQuery Route 전체 구조 1. 사용자가 챗봇에게 메시지를 전송하면 서버에게 request가 보내진다. 이때, 사용자의 액션에 따라 메시지는 두개의 Route에 나눠져서 전송된다.2. 서버는 Dialogflow에게 request를 보낸다.3. Dialogflow는 request를 처리 한 후, 서버에 처리한 데이터를 전달해준다.4. 서버는 dialogflow에게 받은 데이터를 client에게 전달해준다.5. 처리된 데이터가 사용자에게 보여진다. Route총 2개의 Route를 사용하여 개발한다.사용자에 입력에 따라 각각 다른 Route로 나눠져서 전송된다. normal 데이터 입력 => Text Query Route특별한 데이터/이벤트 => Event Query Route 2024. 9. 10. [챗봇 with React] #1,2 개발 환경 설정 개발 환경백엔드 : node.js, express.js의 프레임 워크 사용프론트엔드 : react, (status : Redux) github에서 소스코드 다운받기https://github.com/jaewonhimnae/chatbot-app GitHub - jaewonhimnae/chatbot-appContribute to jaewonhimnae/chatbot-app development by creating an account on GitHub.github.com$ git clone https://github.com/jaewonhimnae/chatbot-app.git Dialogflow API 사용하기 💡 Dialogflow API를 사용하기 위해서는 Google developer websit.. 2024. 9. 10. 이전 1 2 3 4 ··· 8 다음
