에이전트를 위한 가성비 LLM API 한눈에 보기

이 요약 목록은 테스트해 볼 가치가 있는 작업별로 모델을 분류한 것입니다. 이는 공개된 기능과 가격을 바탕으로 한 편집상의 선택이며, 비공개 성능 비교 순위가 아닙니다.

요금은 2026년 10월 8일에 확인되었습니다. 이는 제공업체의 직접적인 프로모션 가격이 아닌 GPT Proto 요금입니다. Haiku 5.5는 100K 토큰을 초과하는 프롬프트의 경우 100만 토큰당 입력 $0.45, 출력 $2.25의 비용이 발생합니다. 예산을 책정하기 전에 각 모델 페이지에서 적용 가능한 컨텍스트 계층, 캐시 요금, 서비스 계층 및 실시간 요금을 확인하십시오.

결정하기 전에 비교하세요: GPT Proto에서 사용 가능한 AI 모델 찾아보기 및 에이전트 전체를 다시 빌드하지 않고도 전환할 수 있도록 후보 모델 ID를 구성 설정 내에 유지하세요.

에이전트 AI를 위한 가성비 LLM 순위 선정 기준

Simon Willison은 유용한 정의를 제시합니다. LLM 에이전트는 목표를 달성하기 위해 루프 내에서 도구를 실행합니다. 그 루프는 가성비를 측정하는 방식을 변화시킵니다. 일반적인 챗봇 비교는 응답 한 번의 비용에 집중할 수 있지만, 에이전트 비교는 도구 호출, 도구 결과, 재시도, 추론 토큰 및 실패한 실행 횟수까지 고려해야 합니다.

당사는 다음과 같은 평가 순서를 사용했습니다.

1. 모델은 에이전트 기능 관문을 통과해야 합니다

단순히 토큰 가격이 낮다는 이유만으로 모델을 포함하지 않았습니다. 후보에 오른 각 옵션은 함수 호출이나 도구 사용을 위한 문서화된 경로와, 구조화된 데이터를 반환하거나 다중 턴 워크플로우를 지속할 수 있는 사용 가능한 방법을 갖추어야 했습니다.

2. 일반적인 지식 점수보다 공개된 에이전트 성능 증거가 더 중요합니다

Berkeley Function Calling Leaderboard는 도구 사용 평가에서 무엇을 검사해야 하는지(올바른 함수 선택, 유효한 인수, 다중 턴 동작, 모델이 도구 호출을 피해야 하는 경우 등)를 이해하는 데 특히 유용합니다. 하지만 이 공개 리더보드는 2026년 4월 12일에 마지막으로 업데이트되었으며, 이는 이 기사에 언급된 대부분의 모델보다 이전 시점입니다. 따라서 저희는 이전 점수를 최신 릴리스에 할당하는 대신 해당 방법론을 참고합니다.

또한 저희는 Artificial Analysis를 참조합니다. 이 서비스의 Intelligence Index에는 에이전트 기반 지식 작업, 실제 업무, SaaS 자동화, 터미널 사용 및 긴 컨텍스트 평가가 포함되어 있습니다. 이는 순수한 함수 호출 점수가 아닌 혼합 지수이므로, 특정 에이전트에 대한 보장이 아닌 선별을 위한 증거로 취급해야 합니다.

3. 토큰당 가격보다 성공적인 작업당 비용이 더 중요합니다

유용한 프로덕션 지표는 다음과 같습니다:

성공적인 작업당 비용 = 모든 시도 및 재시도의 총 API 비용 / 완료된 작업 수

이 계산에는 캐시되지 않은 입력, 캐시된 입력, 출력, 해당되는 경우 숨겨진 또는 청구되는 추론 토큰, 실패한 시도 및 복구 호출이 포함되어야 합니다. 한 모델이 100개의 작업 중 90개를 완료하고 다른 모델이 60개를 완료한다면, 단순히 헤드라인 토큰 요금만 비교하는 것은 나머지 40개의 작업을 복구하는 데 드는 비용을 간과하게 만듭니다.

4. 속도, 장황함 및 통합 마찰이 비용에 영향을 미칩니다

초당 출력 토큰 수는 생성 단계만 측정합니다. 이는 첫 번째 답변까지 걸리는 시간, 내부 추론, 도구 실행, 속도 제한 지연 또는 반복적인 호출을 포착하지 못합니다. 또한 장황한 모델은 낮은 출력 가격을 최종적으로 더 큰 청구서로 바꿀 수 있습니다.

마지막으로, 유사한 API라도 모델별 규칙이 존재합니다. 추론 필드, 지원되지 않는 샘플링 매개변수, 함수 응답 ID 및 모델 이름 대소문자 구분은 이식 가능한 워크플로우를 깨뜨릴 수 있습니다. 이것이 바로 모든 항목에 정확한 GPT Proto 모델 문자열이 포함된 이유입니다.

1. GPT-6 Luna — 경량화된 고용량 에이전트 단계에 최적

GPT-6 Luna는 티켓 분류, 제품 속성 추출, 워크플로우 선택 또는 도구 결과 요약과 같이 빈번하고 제한된 요청을 처리하기 위한 첫 번째 선택지입니다. GPT Proto는 이 모델의 가격을 입력 토큰 100만 개당 $0.08, 출력 토큰 100만 개당 $0.40으로 명시하고 있으며, 이는 본 리스트에서 가장 낮은 입력 및 출력 비용입니다.

이 모델은 텍스트와 이미지를 수용하고, 구조화된 출력을 지원하며, 105만 토큰의 컨텍스트 윈도우를 제공합니다. 조정 가능한 추론 기능을 통해 개발자는 작업에 필요한 노력의 정도를 테스트할 수 있습니다. 단순한 라우팅 결정은 모호한 코딩 문제와 동일한 구성을 필요로 하지 않는 경우가 많습니다.

도구 호출 컨트롤러로 사용하기 전에 확인해야 할 호환성 세부 사항이 있습니다. OpenAI는 Responses를 통한 추론 활성화 함수 호출을 문서화하고 있으며, Chat Completions는 reasoning_effort: "none"인 경우에만 함수 호출을 지원합니다. GPT Proto 모델 페이지의 Try this model 퀵 스타트를 사용하여 경로와 지원되는 필드를 확인하세요.

Luna의 역할은 저렴한 첫 번째 계층입니다. 명확한 실패나 복잡성 신호가 발생한 후 더 뛰어난 모델이 작업을 이어받는 동안 일상적인 단계를 처리할 수 있습니다. 낮은 토큰 비용은 첫 단계가 정확하게 유지될 때만 도움이 됩니다. 이러한 트레이드오프를 자세히 살펴보려면 코딩 및 에이전트 워크로드에 대해 GPT-6 Luna와 GPT-6 Sol을 비교해 보세요.

GPT-6 Luna를 선택해야 할 때:

• 워크플로우에 대량의 분류, 추출 또는 요약 작업이 포함된 경우;

• 각 단계에 명확한 스키마와 애플리케이션이 확인할 수 있는 결과가 있는 경우;

• 기존 OpenAI 호환 애플리케이션을 위한 저비용 베이스라인이 필요한 경우;

• 어려운 사례를 무한정 재시도하는 대신 상위 단계로 이관할 수 있는 경우.

주의 사항: 엔드포인트별 도구 지원 및 반복적인 검증 실패에 유의하세요. Luna는 제한된 작업에 사용하고, 복잡한 계획 및 복구 작업에는 더 강력한 모델을 평가하세요.

2. Claude Haiku 5.5 — 저비용 지원 및 Claude 에이전트 단계를 위한 최적의 선택

Claude Haiku 5.5는 반복적인 지원 업무, 대화 요약, 분류 및 소규모 코딩 작업에 강력한 대안입니다. 2026년 10월 7일에 출시된 이 모델은 Haiku 계층에 조정 가능한 작업 강도를 도입했으며, 더 큰 Claude 모델을 사용하는 워크플로우에서 비용 효율적인 보조 모델로 활용할 수 있습니다.

GPT Proto는 Haiku 5.5를 공식 요금보다 10% 저렴하게 제공합니다. 최대 100K 입력 토큰을 사용하는 요청의 경우, 입력 토큰 100만 개당 $0.09, 출력 토큰 100만 개당 $0.45의 비용이 발생합니다. 100K 입력 토큰을 초과할 경우, 해당 요금은 입력 $0.45, 출력 $2.25가 됩니다.

이 임계값은 최대 컨텍스트 윈도우보다 더 중요합니다. Haiku는 1M 컨텍스트를 지원하지만, 대화가 길어지면 해당 용량에 도달하기 훨씬 전에 더 높은 가격 계층으로 넘어갈 수 있습니다. 이 임계값은 유지되는 대화 내용과 도구 결과를 포함하여 각 요청의 입력에 적용됩니다.

적응형 사고(Adaptive thinking)는 기본적으로 활성화되어 있으며, 작업 강도를 통해 모델이 작업에 투입할 노력을 제어할 수 있습니다. 집중적인 요청으로 시작하여 작업 강도를 높이기 전에 완료 품질, 지연 시간 및 청구된 토큰 수를 비교해 보십시오.

다음과 같은 경우 Claude Haiku 5.5를 선택하세요:

• 에이전트가 반복적인 지원 질문이나 티켓 분류를 처리할 때;

• 요약 및 압축된 대화 상태가 빈번한 워크플로우 단계일 때;

• Claude 기반 코딩 워크플로우에서 집중적인 하위 작업에 도움이 필요할 때;

• 대부분의 요청이 낮은 프롬프트 길이 가격 계층 내에 머물 때.

주의 사항: 요청이 100K 입력 토큰을 초과하는지 확인하세요. 재사용 가능한 상태를 간결하게 유지하고, 특히 긴 대화에서는 전체 요청 비용을 확인하십시오.

3. GLM-5.3 Flash — 저비용 시각 및 도구 기반 에이전트를 위한 최적의 선택

GLM-5.3 Flash는 시각적 증거와 외부 도구를 결합하는 워크플로우에 가장 유용한 후보 중 하나입니다. 공개된 GPT Proto 요금은 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50입니다.

Z.ai는 1M 토큰 컨텍스트 윈도우와 함께 텍스트, 이미지, 비디오 및 파일에 대한 기본 입력 지원을 문서화합니다. 함수 호출, 구조화된 JSON, 캐싱, 스트리밍 및 스트리밍 도구 인수는 문서나 인터페이스를 검사한 후 다음 단계를 수행하는 에이전트와 관련이 있습니다.

실용적인 예로 시각적 QA 워크플로우를 들 수 있습니다. 스크린샷을 검사하고, 레이아웃 문제를 식별하고, 코드 변경을 제안한 다음, 애플리케이션의 도구를 통해 렌더링된 결과를 검토하는 방식입니다. 모델은 결정과 인수를 제공하고, 주변 에이전트는 브라우저, 코드 실행 및 검증을 제공합니다.

주요 장단점은 상시 추론(always-on reasoning)입니다. 이는 모호한 결정을 내리는 데 도움이 될 수 있지만, 기본적인 라벨링이나 추출 작업에는 오버헤드를 발생시킵니다. GPT-6 Luna와 Haiku 5.5는 이 후보 목록에서 짧은 요청에 대한 토큰 요금이 더 낮습니다.

다음과 같은 경우 GLM-5.3 Flash를 선택하세요:

• 스크린샷, 차트, 문서 또는 비디오 증거가 다음 작업에 영향을 미칠 때;

• 워크플로우에 도구 호출 및 구조화된 결과가 필요할 때;

• 시각적 코딩이나 반복적인 인터페이스 검사가 작업의 일부일 때;

• 호스팅된 API 액세스와 함께 오픈 가중치(open weights)가 유용할 때.

주의 사항: 추론 및 출력 볼륨을 확인하세요. 생성된 토큰과 워크플로우 단계에 제한을 설정하십시오. Flash라는 이름이 엔드투엔드 지연 시간을 보장하지는 않습니다.

4. DeepSeek Flash — 캐시를 활용하는 입력 중심의 오픈 웨이트 에이전트에 최적

DeepSeek Flash는 DeepSeek V4.1 Flash의 라우트 이름입니다. 버전 이름을 별도의 API 티어로 취급하는 대신 요청 시 deepseek-flash를 사용하세요. GPT Proto에 표시된 입/출력 비용은 백만 토큰당 $0.30 / $1.20입니다.

이 모델은 텍스트와 이미지 입력, 최대 1M 토큰의 컨텍스트 윈도우, 도구 호출, JSON 출력, 스트리밍, 그리고 사고(thinking) 또는 비사고 모드 작동을 결합합니다. 이러한 조합은 비교적 작은 결과를 생성하기 전에 저장소 파일, 지침, 문서 또는 도구 기록을 반복적으로 읽어야 하는 에이전트에 적합합니다.

캐싱은 이 모델을 입력 중심의 추천 목록에 포함하는 이유입니다. 안정적인 지침과 도구 정의는 여러 호출에 걸쳐 재사용될 수 있지만, 절감액은 실제 캐시 적중률에 따라 달라집니다. 매 턴마다 크게 변경되는 긴 프롬프트는 다르게 예산을 책정해야 합니다.

상태 처리에도 주의가 필요합니다. 기본 사고 모드 도구 워크플로우에서는 호출 간에 추론 상태를 유지해야 할 수 있습니다. 다중 턴 루프를 마이그레이션하기 전에 선택한 GPT Proto 엔드포인트가 해당 상태를 어떻게 표현하는지 확인하세요. 첫 번째 응답이 유효하다고 해서 전체 대화가 계속 호환된다는 보장은 없습니다.

다음과 같은 경우 DeepSeek Flash를 선택하세요:

• 반복적인 지침이나 참조 자료로 인해 캐싱이 유용한 경우;

• 저장소 검사나 문서 분석이 입력 볼륨의 대부분을 차지하는 경우;

• 사고 모드와 비사고 모드 간의 전환이 워크플로우에 도움이 되는 경우;

• 동일한 작업에서 텍스트와 함께 이미지 증거가 필요한 경우.

주의 사항: 캐시 미스, 장황한 출력, 도구 호출 상태 유실에 유의하세요. 캐시율만으로 절감액을 추정하지 말고 전체 루프를 측정하세요.

5. MiniMax M3 — 긴 문서 및 연구 에이전트를 위한 최적의 선택

MiniMax M3는 에이전트가 방대한 양의 문서나 긴 작업 기록을 다뤄야 할 때 고려할 가치가 있습니다. GPT Proto에서 이 모델 문자열은 MiniMax-M3이며, 표시된 요금은 입력 토큰 100만 개당 $0.48, 출력 토큰 100만 개당 $0.96입니다.

이 모델은 도구 사용과 긴 컨텍스트 코딩 및 에이전트 워크플로우를 지원하며, 약 100만 토큰에 달하는 컨텍스트 윈도우를 제공합니다. 이 모델은 정책 비교, 지원 기록 검토, 참조 파일 간의 관계 추적 또는 중간 연구 결과 유지와 같은 문서 중심 작업에 적합합니다.

가격 차이에 대해서는 명확한 설명이 필요합니다. MiniMax의 현재 직접 요금은 512K 입력 토큰까지 입력 100만 토큰당 $0.30, 출력 100만 토큰당 $1.20입니다. 해당 요금을 기준으로 보면, GPT Proto는 출력 가격이 더 저렴하고 직접 이용 방식은 입력 가격이 더 저렴합니다. 헤드라인 요금만으로는 어떤 작업 부하에서 더 저렴한 비용이 발생할지 단정할 수 없습니다.

큰 컨텍스트 윈도우가 검색이나 검증을 대체할 수는 없습니다. 에이전트에게 전체 아카이브를 제공하는 것은 올바른 증거를 찾는 데 도움이 되지 않으면서 비용만 증가시킬 수 있습니다.

다음과 같은 경우 MiniMax M3를 선택하세요:

• 작업이 여러 문서나 확장된 작업 기록에 의존하는 경우;

• 에이전트가 여러 단계에 걸쳐 중간 결과를 유지해야 하는 경우;

• 생성된 보고서나 설명으로 인해 출력 비용이 중요한 경우;

• 호스팅된 액세스를 통해 오픈 웨이트 모델을 평가하려는 경우.

주의 사항: 누적되는 높은 입력 비용과 긴 문서에서 증거를 놓칠 가능성을 주의하세요. 문서 간 추론 능력을 테스트하고 선택한 경로의 입력 기능을 확인하십시오.

6. Gemini 3.8 Flash — 오디오, 비디오 및 혼합 미디어 에이전트를 위한 최적의 선택

Gemini 3.8 Flash는 작업에 텍스트뿐만 아니라 오디오, 비디오, 이미지 또는 PDF가 포함될 때 그 진가를 발휘합니다. GPT Proto는 gemini-3.8-flash 경로에 대해 입력 토큰 100만 개당 $0.90, 출력 토큰 100만 개당 $4.50를 표시합니다.

이 모델은 약 100만 토큰의 입력 윈도우, 조정 가능한 사고(thinking), 함수 호출 및 구조화된 출력을 지원합니다. 고객 비디오를 검토하고, 관련 문서를 읽고, 다음 애플리케이션 작업을 준비하는 워크플로우에 실용적인 후보입니다.

이 모델의 가치는 이러한 입력들이 대체할 수 있는 작업에서 나옵니다. 여러 미디어 유형을 이해하는 에이전트는 별도의 처리 단계를 줄일 수 있습니다. 업스트림 모델의 전체 도구 생태계를 사용할 수 있다고 가정하기 전에, GPT Proto 경로에서 지원되는 파일 형식과 요청 매핑을 확인하십시오.

이 옵션이 가장 낮은 토큰 가격은 아닙니다. Google의 직접 도입 요금은 2026년 12월 31일까지 입력 100만 토큰당 $0.75, 출력 100만 토큰당 $3.75로, GPT Proto에 현재 표시된 요금보다 낮습니다. 이 경로를 사용하는 이유는 하나의 계정과 잔액으로 다른 모델들과 함께 액세스할 수 있기 때문입니다.

다음과 같은 경우 Gemini 3.8 Flash를 선택하세요:

• 오디오나 비디오가 작업의 핵심인 경우;

• 동일한 워크플로우에서 여러 미디어 유형을 검사해야 하는 경우;

• 멀티모달 모델을 통해 별도의 전처리 단계를 단순화할 수 있는 경우;

• 일상적인 요청부터 어려운 요청까지 조정 가능한 추론 기능이 유용한 경우.

주의 사항: 출력 비용과 공급자별 도구 지원을 확인하세요. 생성 속도 수치에만 의존하지 말고 완성된 워크플로우를 벤치마킹하십시오.

7. Grok 4.7 — 어려운 코딩 및 다단계 에스컬레이션을 위한 최적의 선택

Grok 4.7은 이번 추천 목록에서 에스컬레이션(상위 모델로 전환)을 위한 선택지입니다. 이미 GPT Proto에 입력 토큰 100만 개당 $1.20, 출력 토큰 100만 개당 $3.60으로 등록되어 있으며, 이는 Grok 4.6에 표시된 요금과 동일합니다.

이 모델은 텍스트와 이미지를 모두 처리할 수 있으며, 함수 호출 및 구조화된 출력을 지원하고 500K 토큰의 컨텍스트 윈도우를 제공합니다. 낮음, 중간, 높음, 매우 높음(xhigh)의 네 가지 추론 수준을 통해 개발자는 어려운 작업에 어느 정도의 노력이 필요한지 테스트할 수 있습니다.

따라서 에이전트가 실패한 코드 변경 사항을 진단하거나, 여러 종속적인 도구 결과를 조정하거나, 검증 실패 후 계획을 재고해야 할 때 유용합니다. 일상적인 준비 작업은 저비용 모델이 처리하고, 어려운 단계는 Grok이 처리하도록 할 수 있습니다.

이 한계는 기술적인 문제라기보다 경제적인 문제입니다. 모든 추출 또는 라우팅 요청을 에스컬레이션 모델로 보내면 더 강력한 추론이 필요하기 전에 비용이 증가합니다. 동일한 토큰 요금의 최신 릴리스라고 해서 반드시 작업 완료 비용이 낮아지는 것은 아니므로, 기존 애플리케이션이 이미 Grok 4.6에 의존하고 있다면 두 버전을 모두 비교해 보십시오.

다음과 같은 경우 Grok 4.7을 선택하세요:

• 코딩이나 연구 작업에 여러 종속적인 결정이 필요한 경우;

• 저비용 경로가 정의된 수락 검사를 반복적으로 통과하지 못하는 경우;

• 이미지 증거와 추론을 함께 고려해야 하는 경우;

• 성공적인 복구가 추가적인 모델 비용을 지불할 가치가 있는 경우.

주의 사항: 비용이 많이 드는 재시도와 과도한 추론 노력을 경계하세요. 정의된 에스컬레이션 경로 내에서 사용하고, 다른 모델이 제공할 수 없는 권한이나 누락된 입력이 필요한 작업이 발생하면 중단하십시오.

저렴한 토큰이 여전히 비싼 에이전트 작업을 유발하는 이유

낮은 토큰 요금은 반복적인 분류나 재작성 작업에는 도움이 됩니다. 하지만 도구를 선택하고, 결과를 해석하며, 실수로부터 복구해야 하는 에이전트의 경우에는 이야기가 다릅니다.

모델이 저렴한 응답을 생성하더라도 잘못된 함수를 반복적으로 선택하거나 필수 인수를 누락할 수 있습니다. 수정할 때마다 모델 호출이 추가되고, 대화 기록이 늘어나며, 잠재적으로 또 다른 도구 작업이 발생합니다. 에이전트가 허용 가능한 결과를 내놓기 전에 작업 비용이 크게 증가할 수 있습니다.

모델에게 워크플로 제어권을 넘기기 전에 다음 사항을 수행할 수 있는지 확인하세요:

• 유사한 도구들을 구별하기;

• 스키마와 비즈니스 규칙을 모두 충족하는 인수 생성하기;

• 도구 결과나 복구 가능한 오류 이후에도 작업 계속하기;

• 사용 가능한 도구가 적절하지 않은 경우 인식하기.

수락 임계값부터 설정한 다음, 이를 통과하는 모델들의 총비용을 비교하세요. 단순한 추출 단계와 다중 도구 컨트롤러에 동일한 모델을 사용할 필요는 없습니다.

실용적인 저비용 모델 라우팅 전략

하나의 에이전트 내에서 서로 다른 단계에 서로 다른 모델을 할당할 수 있습니다. 일상적인 준비 작업은 저비용 경로로, 어려운 추론 작업은 상위 경로로 보냅니다. 애플리케이션은 작업 유형, 검증 결과 및 지출 한도를 사용하여 해당 선택을 수행합니다.

이것들은 평가를 위한 시작점입니다. 검증 실패는 모델뿐만 아니라 프롬프트, 도구 정의 또는 애플리케이션에서 발생할 수 있습니다. 더 강력한 경로에 비용을 지불하기 전에 원인을 조사하세요.

다음 다섯 가지 규칙으로 에이전트 비용을 제어하세요:

1. 작업의 수락 검사를 통과한 후에만 저비용 모델을 사용하세요.

2. 실행 전에 도구 인수를 검증하세요.

3. 각 실행에 대해 모델 호출, 출력 토큰, 경과 시간 및 지출을 제한하세요.

4. 동일한 요청을 무기한 재시도하는 대신 복구 또는 상위 경로 전환 규칙을 정의하세요.

5. 작업이 에이전트의 권한을 초과할 경우 승인을 위해 중단하세요.

GPT Proto는 하나의 API 키와 공유 잔액으로 지원되는 모델에 대한 액세스를 제공합니다. 라우팅, 상태, 도구 실행 및 중단 조건은 여전히 애플리케이션이나 프레임워크가 관리합니다. 모델 액세스를 비교하고 기존 워크플로우의 비용을 추정하려면 AI 에이전트를 위한 LLM API 페이지를 참조하세요. 제한된 라우팅 및 분류 단계의 경우, 더 비싼 에이전트 모델에 결정을 할당하기 전에 Jev 및 범용 LLM을 비교하세요.

GPT Proto를 사용한 최소한의 도구 호출(Tool-Calling) 요청

이 예제는 glm-5.3-flash를 사용하며, 애플리케이션이 실행할 수 있는 도구로 get_order_status를 정의합니다. 모델 응답이 해당 함수를 요청할 수 있지만, 요청 자체만으로는 모델에 귀하의 주문 시스템에 대한 액세스 권한이 부여되지 않습니다.

GLM-5.3 Flash 모델 페이지를 열고 현재 퀵 스타트를 위해 이 모델 사용해 보기(Try this model)를 선택한 다음, 서버 측 API 키를 예제에 입력하세요.

curl https://gptproto.com/v1/chat/completions \
  -H "Authorization: Bearer $GPTPROTO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "glm-5.3-flash",
    "messages": [
      {
        "role": "user",
        "content": "주문 A-1042는 어디에 있나요?"
      }
    ],
    "tools": [
      {
        "type": "function",
        "function": {
          "name": "get_order_status",
          "description": "한 주문의 현재 상태를 반환합니다.",
          "parameters": {
            "type": "object",
            "properties": {
              "order_id": {
                "type": "string",
                "description": "주문 식별자."
              }
            },
            "required": ["order_id"],
            "additionalProperties": false
          }
        }
      }
    ],
    "tool_choice": "auto"
  }'

OpenAI 호환 채팅 완성(Chat Completions) 응답을 받으려면 choices[0].message.tool_calls를 확인하세요. 반환된 각 호출에 대해 다음을 수행해야 합니다:

1. 해당 사용자 및 작업에 대해 함수가 허용되는지 확인합니다;

2. 인수를 구문 분석하고 유효성을 검사합니다;

3. 애플리케이션에서 함수를 실행합니다;

4. 일치하는 tool_call_id와 함께 도구 메시지로 결과를 반환합니다;

5. 필요한 추론 상태를 유지하면서 다음 모델 응답을 요청합니다.

모델을 전환하려면 호환성 확인이 필요합니다. GPT-6 Luna의 업스트림 채팅 완성 도구 호출은 reasoning_effort: "none"을(를) 요구하며, 추론이 활성화된 함수 호출은 응답을 사용합니다. 다른 경로에는 서로 다른 상태 또는 매개변수 요구 사항이 있을 수 있습니다. 동일한 페이로드가 모든 곳에서 작동한다고 가정하지 말고 각 모델의 퀵 스타트를 확인하세요.

이것은 도구 루프의 첫 번째 요청입니다. 애플리케이션은 도구 실행 및 후속 메시지를 제공해야 합니다.

에이전트를 위한 저렴한 LLM API 테스트 방법

애플리케이션의 대표적인 작업들을 사용하세요. 일반적인 벤치마크는 후보군을 좁히는 데 도움이 될 수 있지만, 모델은 반드시 귀하의 도구 이름, 데이터 및 수락 규칙과 함께 작동해야 합니다.

다음 네 가지 범주로 시작하세요:

1. 도구 선택: 유사한 기능을 제공하고 모델이 올바른 도구를 선택하는지 확인하세요.

2. 다중 도구: 두 개의 독립적인 결과가 필요한 요청을 제공하세요. 경로가 지원하는 경우 병렬 호출을 테스트하거나, 연속적인 턴을 통해 두 작업을 모두 완료하세요.

3. 도구 미사용 요청: 사용 가능한 도구 중 어느 것도 호출해서는 안 되는 질문을 포함하세요.

4. 복구: 현실적인 도구 오류를 반환하고 모델이 무한 루프에 빠지지 않고 다음 단계를 수정하는지 확인하세요.

지침, 도구 정의, 입력 데이터 및 수락 기준을 일관되게 유지하세요. 각 경로에 대해 지원되는 설정을 사용하고 해당 엔드포인트 및 추론 구성을 기록하세요. 동일한 매개변수 이름이라도 제공업체 간에 항상 호환되는 것은 아닙니다.

각 범주를 모델당 최소 5회 실행하세요. 7개의 모델, 4개의 범주, 5회의 반복을 수행하면 초기 비교에는 140회의 실행이 포함됩니다. 이는 파일럿 평가 설계일 뿐, 해당 실행이 이미 완료되었거나 5회의 반복이 프로덕션 신뢰성을 보장한다는 의미는 아닙니다.

기록 항목:

• 수락된 작업 완료 건수;

• 올바른 도구 선택 및 유효한 인수;

• 불필요한 호출 및 복구 실패;

• 모델 턴 및 총 워크플로우 시간;

• 캐시되지 않은 입력, 캐시 읽기 또는 쓰기, 청구된 출력 또는 추론 토큰;

• 적용 가능한 프롬프트 길이 계층 및 기타 청구 항목;

• 재시도 및 실패한 시도를 포함한 총 API 비용.

계산:

수락된 작업당 비용 = 평가 전체의 총 API 지출 / 수락된 완료 건수

특히 모델이 작업을 전혀 수락하지 않는 경우 실패 사례를 별도로 보고하세요. 품질 임계값을 확인한 후에만 비용을 비교하고, 그 후 프로덕션에서 중요한 실패 사례를 중심으로 평가를 확장하세요.

에이전트 빌더들이 말하는 지연 시간(Latency)

커뮤니티 보고서는 가격 페이지가 제공할 수 없는 맥락을 더해줍니다. 한 AI 에이전트 커뮤니티 토론에서, 간단한 검색 시스템은 1초 이내에 응답한 반면, 더 에이전트다운 버전은 거의 3초가 걸렸다고 보고되었습니다. 고객 지원의 경우, 그 차이는 결정적인 결격 사유로 묘사되었습니다.

다른 참가자들은 이러한 보편적인 결론에 동의하지 않았습니다. 그들은 연구 및 내부 분석 사용자의 경우 도구 사용이 답변의 질을 실질적으로 향상시킨다면 훨씬 더 긴 대기 시간을 감수할 수 있다고 지적했습니다. 여기서 얻을 수 있는 유용한 교훈은 '3초가 항상 너무 느리다'는 것이 아닙니다. 지연 시간, 품질, 실패 비용의 가치가 다르기 때문에 동일한 모델이 어떤 에이전트에게는 저렴할 수 있고, 다른 에이전트에게는 부적합할 수 있다는 점입니다.

커뮤니티 댓글을 벤치마크 결과가 아닌 경험 보고서로 취급하세요. 이를 활용하여 귀하의 평가를 위한 실패 사례를 식별하세요.

귀하의 에이전트에 대해서는 생성 속도와 함께 '첫 번째 유용한 답변까지 걸리는 시간'과 '작업 완료까지 걸리는 시간'을 측정하세요. 모델은 빠르게 시작할 수 있지만 완료하기까지 여러 번의 추가 턴이 필요할 수 있습니다. 따라서 대화형 지원과 백그라운드 연구는 동일한 API 경로를 사용하더라도 서로 다른 지연 시간 목표가 필요할 수 있습니다.

최종 권장 사항

빈번하고 제한된 단계의 작업에는 GPT-6 Luna로 시작하세요. 이 목록에서 기본 입력 및 출력 비용이 가장 낮으며, 애플리케이션에서 검증 가능한 요청에 적합합니다.

반복적인 지원 업무와 Claude 코딩 하위 작업에는 Claude Haiku 5.5를 선택하고, 100K 입력 가격 임계값을 항상 확인하세요. 스크린샷, 문서 또는 기타 시각적 증거를 바탕으로 다음 도구 작업을 수행해야 할 때는 GLM-5.3 Flash를 사용하세요.

반복적이고 캐시 사용량이 많은 입력에는 DeepSeek Flash를, 긴 문서 세션에는 MiniMax M3를 평가해 보세요. 오디오나 비디오 이해를 통해 별도의 처리 단계를 줄여야 할 때는 Gemini 3.8 Flash를 선택하세요. 어려운 코딩 작업과 다단계 복구에는 Grok 4.7를 활용하세요.

최종 선택은 측정된 워크플로우 비용이 가장 낮으면서도 목표 성능을 달성하는 모델이어야 합니다. 토큰 요금을 기준으로 후보 목록을 작성한 다음, 실패한 실행, 추론, 도구 사용 및 재시도 횟수를 고려하여 결정하세요.

후보 모델을 연결할 준비가 되셨나요? GPT Proto의 AI 에이전트용 LLM API를 통해 지원되는 모델, 워크로드 추정치를 살펴보고 단일 키와 공유 잔액으로 액세스해 보세요. 각 모델 페이지의 이 모델 사용해 보기 패널에서 퀵 스타트를 확인하고, 확장하기 전에 GPT Proto 요금을 검토하세요.