MLflow를 사용한 대규모 언어 모델(LLM) 추적: 완전한 가이드

대규모 언어 모델(LLM)이 복잡하고 규모가 커짐에 따라 성능, 실험 및 배포를 추적하는 것이 점점 더 어려워지고 있습니다. 여기서 MLflow가 등장합니다. LLM을 포함한 머신 러닝 모델의 전체 수명 주기를 관리하기 위한 포괄적인 플랫폼을 제공합니다.

이 심층 가이드에서는 LLM을 추적, 평가 및 배포하기 위해 MLflow를 활용하는 방법을 살펴보겠습니다. 환경 설정부터 고급 평가 기술까지 모든 것을 다루며, 그 과정에서 많은 코드 예제와 모범 사례를 제공합니다.

환경 설정하기

MLflow로 LLM을 추적하기 전에 개발 환경을 설정해 보겠습니다. MLflow와 몇 가지 다른 주요 라이브러리를 설치해야 합니다.

pip install mlflow>=2.8.1pip install openaipip install chromadb==0.4.15pip install langchain==0.0.348pip install tiktokenpip install 'mlflow[genai]'pip install databricks-sdk --upgrade

설치 후 모든 라이브러리가 제대로 로드되었는지 확인하기 위해 Python 환경을 다시 시작하는 것이 좋습니다. Jupyter 노트북에서 다음을 사용할 수 있습니다.

import mlflowimport chromadbprint(f"MLflow version: {mlflow.__version__}")print(f"ChromaDB version: {chromadb.__version__}")

이렇게 하면 사용할 주요 라이브러리의 버전이 확인됩니다.

MLflow의 LLM 추적 기능 이해

MLflow의 LLM 추적 시스템은 기존 추적 기능을 기반으로 구축되어 LLM의 고유한 측면에 맞게 특별히 설계된 기능을 추가합니다. 주요 구성 요소를 분석해 보겠습니다.

실행 및 실험

MLflow에서 “실행”은 모델 코드의 단일 실행을 나타내는 반면 “실험”은 관련 실행의 모음입니다. LLM의 경우 실행은 모델에서 처리한 단일 쿼리 또는 프롬프트 배치를 나타낼 수 있습니다.

주요 추적 구성 요소

1. 매개변수: 이는 온도, top_k 또는 max_tokens와 같은 LLM의 입력 구성입니다. 다음을 사용하여 이를 기록할 수 있습니다. mlflow.log_param() 또는 mlflow.log_params().
2. 메트릭: 정확도, 지연 시간 또는 사용자 정의 점수와 같은 LLM 성과의 양적 측정. 사용 mlflow.log_metric() 또는 mlflow.log_metrics() 이를 추적합니다.
3. 예측: LLM의 경우 입력 프롬프트와 모델의 출력을 모두 기록하는 것이 중요합니다. MLflow는 이를 CSV 형식의 아티팩트로 저장합니다. mlflow.log_table().
4. 유물: 모델 체크포인트, 시각화 또는 데이터 세트 샘플과 같은 LLM 실행과 관련된 추가 파일 또는 데이터. 사용 mlflow.log_artifact() 이것들을 저장하려면.

LLM 실행을 기록하는 기본적인 예를 살펴보겠습니다.

이 예제에서는 매개변수, 메트릭 및 입/출력을 테이블 아티팩트로 로깅하는 방법을 보여줍니다.

import mlflowimport openaidef query_llm(prompt, max_tokens=100):    response = openai.Completion.create(        engine="text-davinci-002",        prompt=prompt,        max_tokens=max_tokens    )    return response.choices[0].text.strip()with mlflow.start_run():    prompt = "Explain the concept of machine learning in simple terms."        # Log parameters    mlflow.log_param("model", "text-davinci-002")    mlflow.log_param("max_tokens", 100)        # Query the LLM and log the result    result = query_llm(prompt)    mlflow.log_metric("response_length", len(result))        # Log the prompt and response    mlflow.log_table("prompt_responses", {"prompt": [prompt], "response": [result]})        print(f"Response: {result}")

MLflow를 사용하여 LLM 배포

MLflow는 LLM을 배포하기 위한 강력한 기능을 제공하여 프로덕션 환경에서 모델을 더 쉽게 제공할 수 있습니다. MLflow의 배포 기능을 사용하여 LLM을 배포하는 방법을 살펴보겠습니다.

엔드포인트 생성

먼저 MLflow의 배포 클라이언트를 사용하여 LLM에 대한 엔드포인트를 생성합니다.

import mlflowfrom mlflow.deployments import get_deploy_client# Initialize the deployment clientclient = get_deploy_client("databricks")# Define the endpoint configurationendpoint_name = "llm-endpoint"endpoint_config = {    "served_entities": [{        "name": "gpt-model",        "external_model": {            "name": "gpt-3.5-turbo",            "provider": "openai",            "task": "llm/v1/completions",            "openai_config": {                "openai_api_type": "azure",                "openai_api_key": "{{secrets/scope/openai_api_key}}",                "openai_api_base": "{{secrets/scope/openai_api_base}}",                "openai_deployment_name": "gpt-35-turbo",                "openai_api_version": "2023-05-15",            },        },    }],}# Create the endpointclient.create_endpoint(name=endpoint_name, config=endpoint_config)

이 코드는 Azure OpenAI를 사용하여 GPT-3.5-turbo 모델에 대한 엔드포인트를 설정합니다. 안전한 API 키 관리를 위해 Databricks secrets를 사용하는 것을 참고하세요.

엔드포인트 테스트

엔드포인트가 생성되면 테스트할 수 있습니다.

response = client.predict(endpoint=endpoint_name,inputs={"prompt": "Explain the concept of neural networks briefly.","max_tokens": 100,},)print(response)

이렇게 하면 배포된 모델에 프롬프트가 전송되고 생성된 응답이 반환됩니다.
MLflow를 사용한 LLM 평가
평가는 LLM의 성과와 행동을 이해하는 데 필수적입니다. MLflow는 기본 제공 및 사용자 지정 메트릭을 포함하여 LLM을 평가하기 위한 포괄적인 도구를 제공합니다.
LLM 평가를 위한 준비
LLM을 평가하려면 mlflow.evaluate()모델은 다음 형식 중 하나여야 합니다.

안 mlflow.pyfunc.PyFuncModel 인스턴스 또는 로그인된 MLflow 모델을 가리키는 URI입니다.
문자열을 입력받아 단일 문자열을 출력하는 Python 함수입니다.
MLflow 배포 엔드포인트 URI입니다.
세트 model=None 평가 데이터에 모델 출력을 포함합니다.

로깅된 MLflow 모델을 사용하는 예를 살펴보겠습니다.
import mlflowimport openaiwith mlflow.start_run():    system_prompt = "Answer the following question concisely."    logged_model_info = mlflow.openai.log_model(        model="gpt-3.5-turbo",        task=openai.chat.completions,        artifact_path="model",        messages=[            {"role": "system", "content": system_prompt},            {"role": "user", "content": "{question}"},        ],    )# Prepare evaluation dataeval_data = pd.DataFrame({    "question": ["What is machine learning?", "Explain neural networks."],    "ground_truth": [        "Machine learning is a subset of AI that enables systems to learn and improve from experience without explicit programming.",        "Neural networks are computing systems inspired by biological neural networks, consisting of interconnected nodes that process and transmit information."    ]})# Evaluate the modelresults = mlflow.evaluate(    logged_model_info.model_uri,    eval_data,    targets="ground_truth",    model_type="question-answering",)print(f"Evaluation metrics: {results.metrics}")
이 예제에서는 OpenAI 모델을 기록하고, 평가 데이터를 준비한 다음, 질문 답변 작업을 위한 MLflow의 기본 제공 메트릭을 사용하여 모델을 평가합니다.
사용자 정의 평가 지표
MLflow를 사용하면 LLM 평가를 위한 사용자 정의 메트릭을 정의할 수 있습니다. 다음은 응답의 전문성을 평가하기 위한 사용자 정의 메트릭을 만드는 예입니다.
from mlflow.metrics.genai import EvaluationExample, make_genai_metricprofessionalism = make_genai_metric(    name="professionalism",    definition="Measure of formal and appropriate communication style.",    grading_prompt=(        "Score the professionalism of the answer on a scale of 0-4:n"        "0: Extremely casual or inappropriaten"        "1: Casual but respectfuln"        "2: Moderately formaln"        "3: Professional and appropriaten"        "4: Highly formal and expertly crafted"    ),    examples=[        EvaluationExample(            input="What is MLflow?",            output="MLflow is like your friendly neighborhood toolkit for managing ML projects. It's super cool!",            score=1,            justification="The response is casual and uses informal language."        ),        EvaluationExample(            input="What is MLflow?",            output="MLflow is an open-source platform for the machine learning lifecycle, including experimentation, reproducibility, and deployment.",            score=4,            justification="The response is formal, concise, and professionally worded."        )    ],    model="openai:/gpt-3.5-turbo-16k",    parameters={"temperature": 0.0},    aggregations=["mean", "variance"],    greater_is_better=True,)# Use the custom metric in evaluationresults = mlflow.evaluate(    logged_model_info.model_uri,    eval_data,    targets="ground_truth",    model_type="question-answering",    extra_metrics=[professionalism])print(f"Professionalism score: {results.metrics['professionalism_mean']}")
이 맞춤형 지표는 GPT-3.5-turbo를 사용하여 응답의 전문성을 평가하고, LLM 자체를 어떻게 활용하여 평가할 수 있는지 보여줍니다.
고급 LLM 평가 기술
LLM이 더욱 정교해짐에 따라 이를 평가하는 기술도 정교해지고 있습니다. MLflow를 사용하여 몇 가지 고급 평가 방법을 살펴보겠습니다.
검색 증강 생성(RAG) 평가
RAG 시스템은 검색 기반 모델과 생성 모델의 힘을 결합합니다. RAG 시스템을 평가하려면 검색 및 생성 구성 요소를 모두 평가해야 합니다. 다음은 MLflow를 사용하여 RAG 시스템을 설정하고 평가하는 방법입니다.
from langchain.document_loaders import WebBaseLoaderfrom langchain.text_splitter import CharacterTextSplitterfrom langchain.embeddings import OpenAIEmbeddingsfrom langchain.vectorstores import Chromafrom langchain.chains import RetrievalQAfrom langchain.llms import OpenAI# Load and preprocess documentsloader = WebBaseLoader(["https://mlflow.org/docs/latest/index.html"])documents = loader.load()text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)texts = text_splitter.split_documents(documents)# Create vector storeembeddings = OpenAIEmbeddings()vectorstore = Chroma.from_documents(texts, embeddings)# Create RAG chainllm = OpenAI(temperature=0)qa_chain = RetrievalQA.from_chain_type(    llm=llm,    chain_type="stuff",    retriever=vectorstore.as_retriever(),    return_source_documents=True)# Evaluation functiondef evaluate_rag(question):    result = qa_chain({"query": question})    return result["result"], [doc.page_content for doc in result["source_documents"]]# Prepare evaluation dataeval_questions = [    "What is MLflow?",    "How does MLflow handle experiment tracking?",    "What are the main components of MLflow?"]# Evaluate using MLflowwith mlflow.start_run():    for question in eval_questions:        answer, sources = evaluate_rag(question)                mlflow.log_param(f"question", question)        mlflow.log_metric("num_sources", len(sources))        mlflow.log_text(answer, f"answer_{question}.txt")                for i, source in enumerate(sources):            mlflow.log_text(source, f"source_{question}_{i}.txt")    # Log custom metrics    mlflow.log_metric("avg_sources_per_question", sum(len(evaluate_rag(q)[1]) for q in eval_questions) / len(eval_questions))