20260625_미팅 FU

Q. LLM observability 에서 멀티모달, 이미지 지원하나요?
Datadog AI Observability(LLM Observability)는 현재 멀티모달 입출력을 지원하지 않습니다. SDK가 허용하는 I/O 포맷은 순수 텍스트 기반으로만 정의되어 있습니다.

Q. AI Guard 가 평가하는 방식이 어떻게 되나요? 룰기반인가요?
AI Guard는 LLM-as-a-judge 방식의 평가 모델을 사용하여, 단순 키워드 필터링이 아닌 대화 히스토리·시스템 프롬프트·툴 콜 컨텍스트를 종합 분석해 허용(Allow) 또는
차단(Block) 여부를 판단합니다.

Q. Trace 아카이빙 가능한가요?
나중에 다시 분석하기 위한 목적이라면, LLM Observability 데이터를 주기적으로 export하여 외부 저장소에 보관할 수 있습니다. 다만, 해당 API는 현재 Preview 단계이므로 일부 데이터가 소실되는 문제가 발생할 수 있습니다.

API 예시

POST https://api.<DATADOG_SITE>/api/unstable/llm-obs/v1/trace/spans/events/search

curl --location 'https://api.datadoghq.com/api/unstable/llm-obs/v1/trace/spans/events/search' \
--header 'DD-API-KEY: <YOUR-API-KEY>' \
--header 'DD-APPLICATION-KEY: <YOUR-APP-KEY>' \
--header 'Content-Type: application/json' \
--data-raw '{
  "data": {
    "type": "spans",
    "attributes": {
      "filter": {
        "query": "@event_type:span",
        "from": "now-1d",
        "to": "now"
      },
      "page": {
        "limit": 100
      },
      "sort": "-timestamp"
    }
  }
}'

응답 데이터 예시

{
  "data": {
    "type": "spans",
    "attributes": {
      "spans": [
        {
          "trace_id": "2756554145930256652",
          "span_id": "5403171134570526360",
          "parent_id": "7879406298051823874",
          "name": "openai.complete_chat",
          "tags": [
            "env:staging",
            "source:llm-observability",
            "ml_app:dummy-ml-app",
            "model_name:gpt-4o",
            "model_provider:openai"
          ],
          "status": "ok",
          "start": 1725411406006,
          "duration": 588765751,
          "service": "dummy-service",
          "ml_app": "dummy-ml-app",
          "meta": {
            "input": {},
            "output": {},
            "model_name": "gpt-4o",
            "model_provider": "openai",
            "model_settings": {
              "temperature": 0.5
            }
          },
          "metrics": {
            "input_tokens": 855,
            "output_tokens": 33,
            "total_tokens": 888
          }
        }
      ]
    }
  }
}