Видеовходы

LLMSTORE поддерживает отправку видеофайлов на совместимые модели через API. Это руководство покажет вам, как работать с видео с помощью нашего API. LLMSTORE поддерживает как прямые URL-адреса, так и URL-адреса данных в кодировке Base64 для видео:

• URL: эффективно для общедоступных видео, поскольку они не требуют локального кодирования.
• URL-адреса данных Base64: требуется для локальных файлов или частных видео, которые не являются общедоступными.

​

Видеовходы

Запросы с видеофайлами на совместимые модели доступны через /v1/chat/completions API с video_url тип контента. url может быть либо URL-адресом, либо URL-адресом данных в кодировке Base64. Обратите внимание, что эти запросы будут обрабатываться только моделями с возможностями обработки видео. Вы можете искать модели, поддерживающие видео, отфильтровав модальность видеовхода на нашей странице Модели.

​

Использование URL-адресов видео

Вот как можно отправить видео, используя URL-адрес. Обратите внимание, что для Google Gemini в AI Studio поддерживаются только ссылки на YouTube:

​

Использование видео в кодировке Base64

Видео, хранящиеся локально, можно отправлять в кодировке Base64 в качестве URL-адресов данных:

​

Поддерживаемые форматы видео

LLMSTORE поддерживает следующие форматы видео:

• video/mp4
• video/mpeg
• video/mov
• video/webm

​

Распространенные случаи использования

Видеовходы позволяют использовать широкий спектр приложений:

• Сводка видео: создание текстовых сводок видеоконтента.
• Распознавание объектов и действий: распознавание объектов, людей и действий в видеороликах.
• Понимание сцены: описание настроек, окружения и контекста.
• Спортивный анализ: анализируйте игровой процесс, движения и тактику.
• Наблюдение: отслеживание и анализ записей с камер наблюдения.
• Образовательный контент: анализируйте обучающие видео и предоставляйте ценную информацию.

​

Лучшие практики

​

Рекомендации по размеру файла

Видеофайлы могут быть большими, что влияет как на время загрузки, так и на затраты на обработку:

• Сжимайте видео, когда это возможно, чтобы уменьшить размер файла без существенной потери качества. – Обрезать видео, чтобы включить только релевантные фрагменты.
• Учитывайте разрешение: более низкие разрешения (например, 720p против 4K) уменьшают размер файла, сохраняя при этом удобство использования для большинства аналитических задач.
• Частота кадров: более низкая частота кадров может уменьшить размер файла для видео, где высокое временное разрешение не критично.

​

Оптимальная длина видео

В разных моделях могут быть разные ограничения на продолжительность видео: — проверьте документацию конкретной модели, чтобы узнать максимальную длину видео. – Для длинных видео рассмотрите возможность разделения на более короткие сегменты.

• Сосредоточьтесь на ключевых моментах, а не отправляйте весь подробный контент.

​

Компромисс между качеством и размером

Балансируйте качество видео с практическими соображениями:

• Высокое качество (1080p+, высокий битрейт): лучше всего подходит для детального визуального анализа, обнаружения объектов и распознавания текста. — Среднее качество (720p, умеренный битрейт): подходит для большинства задач общего анализа.
• Низкое качество (480p, более низкий битрейт): приемлемо для базового понимания сцены и распознавания действий.

​

Поддержка URL-адресов видео, зависящих от поставщика

Поддержка URL-адресов видео существенно различается в зависимости от поставщика:

• Google Gemini (AI Studio): поддерживаются только ссылки YouTube (например, https://www.youtube.com/watch?v=...)
• Google Gemini (Vertex AI): не поддерживает URL-адреса видео — вместо этого используйте URL-адреса данных в кодировке Base64.
• Другие поставщики: проверьте документацию по конкретной модели, чтобы узнать о поддержке URL-адресов видео.

​

Устранение неполадок

Видео не обрабатывается?

• Убедитесь, что модель поддерживает видеовход (отметьте input_modalities включает в себя "video") — при использовании URL-адреса видео убедитесь, что провайдер поддерживает URL-адреса видео (см. раздел «Поддержка URL-адресов видео для конкретного поставщика» выше). – для Gemini в AI Studio убедитесь, что вы используете ссылку на YouTube, а не прямой URL-адрес видеофайла.
• Если URL-адрес видео не работает, попробуйте вместо этого использовать URL-адрес данных в кодировке Base64.
• Убедитесь, что формат видео поддерживается.
• Убедитесь, что видеофайл не поврежден.

Большие ошибки в файлах?

• Сжать видео, чтобы уменьшить размер файла.
• Уменьшите разрешение видео или частоту кадров. — обрезать видео до более короткой продолжительности.
• Проверьте ограничения размера файла для конкретной модели.
• Рассмотрите возможность использования URL-адреса видео (если поддерживается провайдером) вместо кодировки base64 для больших файлов.

Плохие результаты анализа?

• Убедитесь, что качество видео достаточно для выполнения задачи.
• Предоставляйте четкие и конкретные подсказки о том, что анализировать.
• Учитывайте, подходит ли продолжительность видео модели.
• Проверьте, хорошо ли виден и хорошо освещен видеоконтент.