Вызов инструментов и функций

Вызовы инструментов (также известные как вызовы функций) предоставляют LLM доступ к внешним инструментам. LLM не вызывает инструменты напрямую. Вместо этого он предлагает инструмент для вызова. Затем пользователь вызывает инструмент отдельно и передает результаты обратно в LLM. Наконец, LLM форматирует ответ в ответ на исходный вопрос пользователя. LLMSTORE стандартизирует интерфейс вызова инструментов для разных моделей и поставщиков, что упрощает интеграцию внешних инструментов с любой поддерживаемой моделью. Поддерживаемые модели: Вы можете найти модели, поддерживающие вызов инструментов, с помощью фильтрации на llmstore.ru/models?supported_parameters=tools. Если вы предпочитаете учиться на полном комплексном примере, продолжайте читать.

Примеры тела запроса

Вызов инструмента с помощью LLMSTORE включает три ключевых шага. Вот основные форматы тела запроса для каждого шага:

Шаг 1. Запрос вывода с помощью инструментов

{
  "model": "google/gemini-3-flash-preview",
  "messages": [
    {
      "role": "user",
      "content": "What are the titles of some James Joyce books?"
    }
  ],
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "search_gutenberg_books",
        "description": "Search for books in the Project Gutenberg library",
        "parameters": {
          "type": "object",
          "properties": {
            "search_terms": {
              "type": "array",
              "items": {"type": "string"},
              "description": "List of search terms to find books"
            }
          },
          "required": ["search_terms"]
        }
      }
    }
  ]
}

Шаг 2. Выполнение инструмента (на стороне клиента)

После получения ответа модели с tool_calls, запустите запрошенный инструмент локально и подготовьте результат:

// Model responds with tool_calls, you execute the tool locally
const toolResult = await searchGutenbergBooks(["James", "Joyce"]);

Шаг 3: Запрос на вывод с результатами инструмента

{
  "model": "google/gemini-3-flash-preview",
  "messages": [
    {
      "role": "user",
      "content": "What are the titles of some James Joyce books?"
    },
    {
      "role": "assistant",
      "content": null,
      "tool_calls": [
        {
          "id": "call_abc123",
          "type": "function",
          "function": {
            "name": "search_gutenberg_books",
            "arguments": "{\"search_terms\": [\"James\", \"Joyce\"]}"
          }
        }
      ]
    },
    {
      "role": "tool",
      "tool_call_id": "call_abc123",
      "content": "[{\"id\": 4300, \"title\": \"Ulysses\", \"authors\": [{\"name\": \"Joyce, James\"}]}]"
    }
  ],
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "search_gutenberg_books",
        "description": "Search for books in the Project Gutenberg library",
        "parameters": {
          "type": "object",
          "properties": {
            "search_terms": {
              "type": "array",
              "items": {"type": "string"},
              "description": "List of search terms to find books"
            }
          },
          "required": ["search_terms"]
        }
      }
    }
  ]
}

Примечание: Параметр tools должен быть включен в каждый запрос (шаги 1 и 3), чтобы маршрутизатор мог проверять схему инструмента при каждом вызове.

Пример вызова инструмента

Вот код Python, который дает LLM возможность вызывать внешний API - в данном случае Project Gutenberg, для поиска книг. Для начала давайте выполним базовую настройку:

Определите инструмент

Далее мы определяем инструмент, который хотим вызвать. Помните, что инструмент получит запрос от LLM, но код, который мы здесь пишем, в конечном итоге отвечает за выполнение вызова и возврат результатов в LLM. Обратите внимание, что “инструмент” - это обычная функция. Затем мы пишем «спецификацию» JSON, совместимую с параметром вызова функции OpenAI. Мы передадим эту спецификацию LLM, чтобы он знал, что этот инструмент доступен и как его использовать. При необходимости он запросит инструмент вместе с любыми аргументами. Затем мы локально маршализуем вызов инструмента, выполним вызов функции и вернем результаты в LLM.

Использование инструмента и результаты использования инструмента

Давайте выполним первый вызов модели через API LLMSTORE: LLM отвечает окончательной причиной: tool_calls, и tool_calls массив. В общем обработчике ответов LLM вы хотели бы проверить finish_reason перед обработкой вызовов инструментов, но здесь мы предполагаем, что это так. Продолжим, обрабатывая вызов инструмента: Массив сообщений теперь имеет:

Наш первоначальный запрос
Ответ LLM (содержащий запрос на вызов инструмента)
Результат вызова инструмента (объект json, возвращенный из API Project Gutenberg)

Теперь мы можем сделать второй вызов LLMSTORE API и, надеюсь, получим результат! Вывод будет примерно таким:

Here are some books by James Joyce:

*   *Ulysses*
*   *Dubliners*
*   *A Portrait of the Artist as a Young Man*
*   *Chamber Music*
*   *Exiles: A Play in Three Acts*

Мы сделали это! Мы успешно использовали инструмент в командной строке.

Чередованное мышление

Чередование мышления позволяет моделям рассуждать между вызовами инструментов, позволяя принимать более сложные решения после получения результатов работы инструмента. Эта функция помогает моделям объединять несколько вызовов инструментов с промежуточными этапами рассуждения и принимать тонкие решения на основе промежуточных результатов. Важно: чередующееся мышление увеличивает использование токенов и задержку ответа. При включении этой функции учитывайте свой бюджет и требования к производительности.

Как работает чередующееся мышление

Благодаря чередующемуся мышлению модель может: — Обоснование результатов вызова инструмента, прежде чем решить, что делать дальше. — связывайте несколько вызовов инструментов с промежуточными этапами рассуждения. — Принимайте более тонкие решения на основе промежуточных результатов.

Обеспечить прозрачное обоснование процесса выбора инструмента.

Пример: многоэтапное исследование с рассуждением

Вот пример, показывающий, как модель может использовать чередующееся мышление для исследования темы в нескольких источниках: Первоначальный запрос:

{
  "model": "anthropic/claude-sonnet-4.5",
  "messages": [
    {
      "role": "user",
      "content": "Research the environmental impact of electric vehicles and provide a comprehensive analysis."
    }
  ],
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "search_academic_papers",
        "description": "Search for academic papers on a given topic",
        "parameters": {
          "type": "object",
          "properties": {
            "query": {"type": "string"},
            "field": {"type": "string"}
          },
          "required": ["query"]
        }
      }
    },
    {
      "type": "function",
      "function": {
        "name": "get_latest_statistics",
        "description": "Get latest statistics on a topic",
        "parameters": {
          "type": "object",
          "properties": {
            "topic": {"type": "string"},
            "year": {"type": "integer"}
          },
          "required": ["topic"]
        }
      }
    }
  ]
}

Рассуждения модели и вызовы инструментов:

Первоначальное мышление: «Мне нужно изучить воздействие электромобилей на окружающую среду. Позвольте мне начать с научных статей, чтобы получить рецензируемые исследования».
Первый вызов инструмента: search_academic_papers({"query": "electric vehicle lifecycle environmental impact", "field": "environmental science"})
После первого результата: «В статьях показаны неоднозначные результаты о влиянии производства. Мне нужна текущая статистика, чтобы дополнить это академическое исследование».
Второй вызов инструмента: get_latest_statistics({"topic": "electric vehicle carbon footprint", "year": 2024})
После второго результата инструмента: «Теперь у меня есть как научные исследования, так и текущие данные. Позвольте мне поискать исследования, посвященные конкретному производству, чтобы устранить обнаруженные мной пробелы».
Третий вызов инструмента: search_academic_papers({"query": "electric vehicle battery manufacturing environmental cost", "field": "materials science"})
Окончательный анализ: Обобщает всю собранную информацию в комплексный ответ.

Лучшие практики чередующегося мышления

Четкое описание инструментов: предоставьте подробные описания, чтобы модель могла понять, когда использовать каждый инструмент.
Структурированные параметры: используйте четко определенные схемы параметров, чтобы модель могла выполнять точные вызовы инструментов.
Сохранение контекста: поддержание контекста разговора при нескольких взаимодействиях с инструментами.
Обработка ошибок: создайте инструменты для предоставления содержательных сообщений об ошибках, которые помогут модели скорректировать свой подход.

Простой агентский цикл

В приведенном выше примере вызовы выполняются явно и последовательно. Для обработки широкого спектра пользовательских входных данных и вызовов инструментов вы можете использовать агентный цикл. Вот пример простого агентного цикла (с использованием того же tools и начальный messages как указано выше):

Лучшие практики и расширенные шаблоны

Потоковая передача с помощью вызовов инструментов

При использовании потоковой передачи ответов с вызовами инструментов обрабатывайте различные типы контента соответствующим образом:

const stream = await fetch('/api/chat/completions', {
  method: 'POST',
  headers: { 'Content-Type': 'application/json' },
  body: JSON.stringify({
    model: 'anthropic/claude-sonnet-4.5',
    messages: messages,
    tools: tools,
    stream: true
  })
});

const reader = stream.body.getReader();
let toolCalls = [];

while (true) {
  const { done, value } = await reader.read();
  if (done) {
    break;
  }

  const chunk = new TextDecoder().decode(value);
  const lines = chunk.split('\n').filter(line => line.trim());

  for (const line of lines) {
    if (line.startsWith('data: ')) {
      const data = JSON.parse(line.slice(6));

      if (data.choices[0].delta.tool_calls) {
        toolCalls.push(...data.choices[0].delta.tool_calls);
      }

      if (data.choices[0].delta.finish_reason === 'tool_calls') {
        await handleToolCalls(toolCalls);
      } else if (data.choices[0].delta.finish_reason === 'stop') {
        // Regular completion without tool calls
        break;
      }
    }
  }
}

Конфигурация выбора инструмента

Управление использованием инструментов с помощью tool_choice параметр:

// Let model decide (default)
{ "tool_choice": "auto" }

// Disable tool usage
{ "tool_choice": "none" }

// Force specific tool
{
  "tool_choice": {
    "type": "function",
    "function": {"name": "search_database"}
  }
}

Параллельные вызовы инструментов

Управляйте возможностью одновременного вызова нескольких инструментов с помощью Параметр parallel_tool_calls (по умолчанию верно для большинства моделей):

// Disable parallel tool calls - tools will be called sequentially
{ "parallel_tool_calls": false }

Когда parallel_tool_calls это false, модель будет запрашивать только один вызов инструмента за раз вместо потенциально нескольких параллельных вызовов.

Рабочие процессы с несколькими инструментами

Инструменты проектирования, которые хорошо работают вместе:

{
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "search_products",
        "description": "Search for products in the catalog"
      }
    },
    {
      "type": "function",
      "function": {
        "name": "get_product_details",
        "description": "Get detailed information about a specific product"
      }
    },
    {
      "type": "function",
      "function": {
        "name": "check_inventory",
        "description": "Check current inventory levels for a product"
      }
    }
  ]
}

Это позволяет модели естественным образом объединять операции: поиск → получение подробной информации → проверка запасов.

Отслеживание надежности

LLMSTORE отслеживает, насколько надежно каждый поставщик выполняет вызовы инструментов, и отображает это как Частота ошибок при вызове инструментов на вкладке «Производительность» каждой страницы модели. Тот же сигнал управляет Auto Exacto заказ поставщика по запросам на вызов инструментов. Точный валидатор, черновой вариант схемы JSON, семантику регулярных выражений и классификацию вызовов каждого инструмента см. в разделе Как измеряется вероятность успешного вызова инструмента. Более подробную информацию о формате сообщения LLMSTORE и параметрах инструмента см. в Справочнике API.

Начало работы

Аутентификация

Мультимодальность

Модели и роутинг

Варианты моделей

Возможности

Плагины

Администрирование

Приватность

Лучшие практики

SDK и интеграции

Примеры тела запроса

Шаг 1. Запрос вывода с помощью инструментов

Шаг 2. Выполнение инструмента (на стороне клиента)

Шаг 3: Запрос на вывод с результатами инструмента

Пример вызова инструмента

Определите инструмент

Использование инструмента и результаты использования инструмента

Чередованное мышление

Как работает чередующееся мышление

Пример: многоэтапное исследование с рассуждением

Лучшие практики чередующегося мышления

Рекомендации по реализации

Простой агентский цикл

Лучшие практики и расширенные шаблоны

Рекомендации по определению функций

Потоковая передача с помощью вызовов инструментов

Конфигурация выбора инструмента

Параллельные вызовы инструментов

Рабочие процессы с несколькими инструментами

Отслеживание надежности

​Примеры тела запроса

​Шаг 1. Запрос вывода с помощью инструментов

​Шаг 2. Выполнение инструмента (на стороне клиента)

​Шаг 3: Запрос на вывод с результатами инструмента

​Пример вызова инструмента

​Определите инструмент

​Использование инструмента и результаты использования инструмента

​Чередованное мышление

​Как работает чередующееся мышление

​Пример: многоэтапное исследование с рассуждением

​Лучшие практики чередующегося мышления

​Рекомендации по реализации

​Простой агентский цикл

​Лучшие практики и расширенные шаблоны

​Рекомендации по определению функций

​Потоковая передача с помощью вызовов инструментов

​Конфигурация выбора инструмента

​Параллельные вызовы инструментов

​Рабочие процессы с несколькими инструментами

​Отслеживание надежности

Примеры тела запроса

Шаг 1. Запрос вывода с помощью инструментов

Шаг 2. Выполнение инструмента (на стороне клиента)

Шаг 3: Запрос на вывод с результатами инструмента

Пример вызова инструмента

Определите инструмент

Использование инструмента и результаты использования инструмента

Чередованное мышление

Как работает чередующееся мышление

Пример: многоэтапное исследование с рассуждением

Лучшие практики чередующегося мышления

Рекомендации по реализации

Простой агентский цикл

Лучшие практики и расширенные шаблоны

Рекомендации по определению функций

Потоковая передача с помощью вызовов инструментов

Конфигурация выбора инструмента

Параллельные вызовы инструментов

Рабочие процессы с несколькими инструментами

Отслеживание надежности