MLflow를 사용한 대규모 언어 모델(LLM) 추적: 완전한 가이드

pip install mlflow>=2.8.1pip install openaipip install chromadb==0.4.15pip install langchain==0.0.348pip install tiktokenpip install 'mlflow[genai]'pip install databricks-sdk --upgrade

import mlflowimport chromadbprint(f"MLflow version: {mlflow.__version__}")print(f"ChromaDB version: {chromadb.__version__}")

import mlflowimport openaidef query_llm(prompt, max_tokens=100):    response = openai.Completion.create(        engine="text-davinci-002",        prompt=prompt,        max_tokens=max_tokens    )    return response.choices[0].text.strip()with mlflow.start_run():    prompt = "Explain the concept of machine learning in simple terms."        # Log parameters    mlflow.log_param("model", "text-davinci-002")    mlflow.log_param("max_tokens", 100)        # Query the LLM and log the result    result = query_llm(prompt)    mlflow.log_metric("response_length", len(result))        # Log the prompt and response    mlflow.log_table("prompt_responses", {"prompt": [prompt], "response": [result]})        print(f"Response: {result}")

import mlflowfrom mlflow.deployments import get_deploy_client# Initialize the deployment clientclient = get_deploy_client("databricks")# Define the endpoint configurationendpoint_name = "llm-endpoint"endpoint_config = {    "served_entities": [{        "name": "gpt-model",        "external_model": {            "name": "gpt-3.5-turbo",            "provider": "openai",            "task": "llm/v1/completions",            "openai_config": {                "openai_api_type": "azure",                "openai_api_key": "{{secrets/scope/openai_api_key}}",                "openai_api_base": "{{secrets/scope/openai_api_base}}",                "openai_deployment_name": "gpt-35-turbo",                "openai_api_version": "2023-05-15",            },        },    }],}# Create the endpointclient.create_endpoint(name=endpoint_name, config=endpoint_config)

response = client.predict(endpoint=endpoint_name,inputs={"prompt": "Explain the concept of neural networks briefly.","max_tokens": 100,},)print(response)

이렇게 하면 배포된 모델에 프롬프트가 전송되고 생성된 응답이 반환됩니다.

MLflow를 사용한 LLM 평가

평가는 LLM의 성과와 행동을 이해하는 데 필수적입니다. MLflow는 기본 제공 및 사용자 지정 메트릭을 포함하여 LLM을 평가하기 위한 포괄적인 도구를 제공합니다.

LLM 평가를 위한 준비

LLM을 평가하려면 mlflow.evaluate()모델은 다음 형식 중 하나여야 합니다.

1. 안 mlflow.pyfunc.PyFuncModel 인스턴스 또는 로그인된 MLflow 모델을 가리키는 URI입니다.
2. 문자열을 입력받아 단일 문자열을 출력하는 Python 함수입니다.
3. MLflow 배포 엔드포인트 URI입니다.
4. 세트 model=None 평가 데이터에 모델 출력을 포함합니다.

로깅된 MLflow 모델을 사용하는 예를 살펴보겠습니다.

import mlflowimport openaiwith mlflow.start_run():    system_prompt = "Answer the following question concisely."    logged_model_info = mlflow.openai.log_model(        model="gpt-3.5-turbo",        task=openai.chat.completions,        artifact_path="model",        messages=[            {"role": "system", "content": system_prompt},            {"role": "user", "content": "{question}"},        ],    )# Prepare evaluation dataeval_data = pd.DataFrame({    "question": ["What is machine learning?", "Explain neural networks."],    "ground_truth": [        "Machine learning is a subset of AI that enables systems to learn and improve from experience without explicit programming.",        "Neural networks are computing systems inspired by biological neural networks, consisting of interconnected nodes that process and transmit information."    ]})# Evaluate the modelresults = mlflow.evaluate(    logged_model_info.model_uri,    eval_data,    targets="ground_truth",    model_type="question-answering",)print(f"Evaluation metrics: {results.metrics}")

이 예제에서는 OpenAI 모델을 기록하고, 평가 데이터를 준비한 다음, 질문 답변 작업을 위한 MLflow의 기본 제공 메트릭을 사용하여 모델을 평가합니다.

사용자 정의 평가 지표

MLflow를 사용하면 LLM 평가를 위한 사용자 정의 메트릭을 정의할 수 있습니다. 다음은 응답의 전문성을 평가하기 위한 사용자 정의 메트릭을 만드는 예입니다.

from mlflow.metrics.genai import EvaluationExample, make_genai_metricprofessionalism = make_genai_metric(    name="professionalism",    definition="Measure of formal and appropriate communication style.",    grading_prompt=(        "Score the professionalism of the answer on a scale of 0-4:n"        "0: Extremely casual or inappropriaten"        "1: Casual but respectfuln"        "2: Moderately formaln"        "3: Professional and appropriaten"        "4: Highly formal and expertly crafted"    ),    examples=[        EvaluationExample(            input="What is MLflow?",            output="MLflow is like your friendly neighborhood toolkit for managing ML projects. It's super cool!",            score=1,            justification="The response is casual and uses informal language."        ),        EvaluationExample(            input="What is MLflow?",            output="MLflow is an open-source platform for the machine learning lifecycle, including experimentation, reproducibility, and deployment.",            score=4,            justification="The response is formal, concise, and professionally worded."        )    ],    model="openai:/gpt-3.5-turbo-16k",    parameters={"temperature": 0.0},    aggregations=["mean", "variance"],    greater_is_better=True,)# Use the custom metric in evaluationresults = mlflow.evaluate(    logged_model_info.model_uri,    eval_data,    targets="ground_truth",    model_type="question-answering",    extra_metrics=[professionalism])print(f"Professionalism score: {results.metrics['professionalism_mean']}")

이 맞춤형 지표는 GPT-3.5-turbo를 사용하여 응답의 전문성을 평가하고, LLM 자체를 어떻게 활용하여 평가할 수 있는지 보여줍니다.

고급 LLM 평가 기술

LLM이 더욱 정교해짐에 따라 이를 평가하는 기술도 정교해지고 있습니다. MLflow를 사용하여 몇 가지 고급 평가 방법을 살펴보겠습니다.

검색 증강 생성(RAG) 평가

RAG 시스템은 검색 기반 모델과 생성 모델의 힘을 결합합니다. RAG 시스템을 평가하려면 검색 및 생성 구성 요소를 모두 평가해야 합니다. 다음은 MLflow를 사용하여 RAG 시스템을 설정하고 평가하는 방법입니다.

from langchain.document_loaders import WebBaseLoaderfrom langchain.text_splitter import CharacterTextSplitterfrom langchain.embeddings import OpenAIEmbeddingsfrom langchain.vectorstores import Chromafrom langchain.chains import RetrievalQAfrom langchain.llms import OpenAI# Load and preprocess documentsloader = WebBaseLoader(["https://mlflow.org/docs/latest/index.html"])documents = loader.load()text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)texts = text_splitter.split_documents(documents)# Create vector storeembeddings = OpenAIEmbeddings()vectorstore = Chroma.from_documents(texts, embeddings)# Create RAG chainllm = OpenAI(temperature=0)qa_chain = RetrievalQA.from_chain_type(    llm=llm,    chain_type="stuff",    retriever=vectorstore.as_retriever(),    return_source_documents=True)# Evaluation functiondef evaluate_rag(question):    result = qa_chain({"query": question})    return result["result"], [doc.page_content for doc in result["source_documents"]]# Prepare evaluation dataeval_questions = [    "What is MLflow?",    "How does MLflow handle experiment tracking?",    "What are the main components of MLflow?"]# Evaluate using MLflowwith mlflow.start_run():    for question in eval_questions:        answer, sources = evaluate_rag(question)                mlflow.log_param(f"question", question)        mlflow.log_metric("num_sources", len(sources))        mlflow.log_text(answer, f"answer_{question}.txt")                for i, source in enumerate(sources):            mlflow.log_text(source, f"source_{question}_{i}.txt")    # Log custom metrics    mlflow.log_metric("avg_sources_per_question", sum(len(evaluate_rag(q)[1]) for q in eval_questions) / len(eval_questions))