Azure OpenAI 연결해서 GPT API 응답 받아보기

Azure"Azure tour" 검색 > datacenter tour 확인 가능 Microsoft’s Virtual Datacenter Tour opens a door to the cloud | Microsoft Azure BlogExplore the infrastructure and datacenter design that powers over 60 datacenter regions and 300+ datacenters globally with Microsoft's Virtual Datacenter Tour.azure.microsoft.com전세계 65개 이상 regionregion 하위에 datacenter 여러 개 존재선택의 기준은 regionregion 안의 어떤 datacenter 사용할지는 결..

• format_list_bulleted TIL/AI
• · 2025. 8. 20.
• textsms

LangServe로 Langchain 서비스 배포해보기

🦜️🏓 LangServe | 🦜️🔗 LangChainRelease Notespython.langchain.com LangChain에서 제공하는 서비스 배포 프레임워크LangChain 애플리케이션을 REST API로 변환하여 서비스화한다. LangServe 설치uv add "langserve[all]" langchain-cli 설치uv add langchain-cli (.env에 api key 미리 설정해둘것)server.py 설정# app/server.pyfrom fastapi import FastAPIfrom langchain_openai import ChatOpenAIfrom dotenv import load_dotenv# 환경변수 로드load_dotenv()from langserve i..

• format_list_bulleted TIL/AI
• · 2025. 8. 4.
• textsms

Langfuse 를 이용한 LLM 모니터링해보기

LangfuseTraces, evals, prompt management and metrics to debug and improve your LLM application. Integrates with Langchain, OpenAI, LlamaIndex, LiteLLM, and more.langfuse.com LLM 오픈소스 모니터링 시스템LangSmith와 유사한 기능오픈소스 기반이라서 초기 개발 단계 등에서 많이 사용하는 편 (LangSmith는 의존성/비용 문제) organization - project 순서대로 생성한다.프로젝트 별로 인증키 따로 제공 (Projects Settings - API Keys에서 발급 및 확인) .env에 Langfuse 관련 설정 추가LANGFUSE_SECRET_K..

• format_list_bulleted TIL/AI
• · 2025. 8. 3.
• textsms

LangSmith 사용해서 LLM 애플리케이션 모니터링해보기

LangSmithGet your LLM app from prototype to production.www.langchain.com LangSmith smith.langchain.com LLM 애플리케이션 모니터링 시스템LLM 실행 로깅 및 추적이 가능하다 가입 후 API key 발급받아 .env에 설정 # LangSmith 관련 설정LANGSMITH_API_KEY=[api-key]LANGSMITH_TRACING=trueLANGSMITH_PROJECT=[project-name] .env에 설정한 환경 변수 로딩from dotenv import load_dotenvload_dotenv() langsmith 추적 여부 확인 (true인 경우 추적 중)import osprint(os.getenv('LANG..

• format_list_bulleted TIL/AI
• · 2025. 7. 30.
• textsms

LangChain 활용해서 OpenAI 모델 LLM 실습해보기

LangChain 알아보기 LangChainLangChain’s suite of products supports developers along each step of their development journey.www.langchain.com 랭체인: LLM 기반 애플리케이션 개발을 위한 프레임워크빠른 변화에 바로 적용 가능한 프레임워크를 사용하는 것이 현재 기준으로는 더 효율적이다. 입력(prompt)메시지: chat model에서 사용하는 프롬프트 구성 요소출력(completion): 모델이 생성한 응답 텍스트 Output parser: 텍스트 응답을 구조화된 정보로 변환한다.Structured Output: 출력 자체를 구조화해서 출력한다. 패키지 설치uv add langchain langc..

• format_list_bulleted TIL/AI
• · 2025. 7. 22.
• textsms

OpenAI와 Gemini API로 LLM 활용해보기

이론LLM: 대규모 언어 모델언어 모델은 주어진 문맥 하에서 다음 단어의 조건부 확률 P(A|B)를 계산한다.예를 들어, "I will"이 주어졌을 때 다음 단어가 나타날 확률을 P('go' | 'I will') 계산순차적 생성 방식이므로 지연 발생, 속도가 중요한 프로그램 등에는 사용하기 어렵다.모델의 크기가 클수록 정확성 및 품질이 좋다 중요한 변수temperature: 분산의 형태 결정보통 0~2 사이 값으로 설정0에 가까울수록 안정적이고 일관된 출력환경 설정 가상 환경 설정패키지 매니저 UV 사용 (설치 참고: https://github.com/astral-sh/uv 프로젝트 초기화uv init [project_name] pyproject.toml 설정 확인해보기[project]name = "my..

• format_list_bulleted TIL/AI
• · 2025. 7. 21.
• textsms