Google выпустила EmbeddingGemma 2 — мультимодальную модель эмбеддингов
Google выпустила EmbeddingGemma 2 — открытую мультимодальную модель эмбеддингов на 740 млн параметров, созданную на архитектуре Gemma 4 и распространяемую по лицензии Apache 2.0. Новинка объединяет текст, код, изображения, видео и аудио в едином пространстве эмбеддингов и рассчитана на работу на потребительском оборудовании.
Что представляет собой новинка
EmbeddingGemma 2 стала развитием прошлогодней EmbeddingGemma, которая, по данным Google, превысила 20 млн загрузок. Новая версия расширяет возможности за пределы текста: она объединяет код, изображения, видео и аудио в общем пространстве эмбеддингов. Модель построена на архитектуре Gemma 4 и использует те же технологии, что и Gemini Embedding.
Модульность и экономия памяти
Модель модульная: для текстовых задач достаточно 270 млн параметров, опционально добавляются визуальный кодировщик на 170 млн и аудиокодировщик на 300 млн параметров. Благодаря Matryoshka Representation Learning разработчики могут усекать выходные векторы с 768 измерений до 512, 256 или 128, что даёт до 6-кратной экономии памяти для локальных векторных баз.
На смартфоне Google Pixel 11 Pro с квантованием текстовая версия требует около 191 МБ активной RAM, а полная мультимодальная — примерно 567 МБ. Контекстное окно выросло до 8K токенов (в 4 раза больше, чем у первой версии), что позволяет обрабатывать до 5,5 минуты аудио, 29 изображений или 58 видеокадров прямо на устройстве.
Результаты и качество
Google заявляет о лучших показателях среди мультимодальных моделей эмбеддингов размером менее 1 млрд параметров по бенчмаркам MTEB Code и MAEB. В частности, на MTEB Code результат вырос на 9,92 пункта — с 68,76 до 78,68. По словам компании, модель превосходит некоторые специализированные решения, которые более чем вдвое её крупнее.
Где и как использовать
Веса модели доступны на Hugging Face и Kaggle, скоро появится в Gemini Enterprise Agent Platform Model Garden. Для разработки предлагаются Google AI Edge MediaPipe и LiteRT, а также transformers.js и WebGPU для браузера. Поддерживаются инструменты transformers, sentence-transformers, MLX, vLLM, llama.cpp, SGLang, Ollama и LMStudio, хранение векторов — через Qdrant, тонкая настройка — по руководству Unsloth.
Совместно с генеративными моделями вроде Gemma 4 новинка позволяет строить полностью локальные RAG-конвейеры: общий текстовый токенизатор и аудиокодировщик снижают суммарный объём памяти. Ранее, в октябре, Google уже представила ноутбуки Googlebooks на новой ОС, что продолжает линию компании на локальные вычисления.
Приватность и автономность
Локальная генерация эмбеддингов обеспечивает приватность данных, снижает задержки и позволяет создавать кросс-модальный поиск, работающий полностью офлайн. Это особенно актуально для приложений, обрабатывающих чувствительную информацию без обращения к облаку.
Что это значит для пользователей
- Модель полезна разработчикам, создающим поиск и RAG-системы прямо на устройствах: можно искать видео по голосовой заметке или аудио по текстовому запросу без интернета.
- Веса открыты на Hugging Face и Kaggle по лицензии Apache 2.0,
- Попробовать можно через LiteRT, MediaPipe, transformers.js или WebGPU; для тонкой настройки есть руководство Unsloth.
- Ограничения: контекст 8K токенов, а полная мультимодальная версия требует около 567 МБ RAM на Pixel 11 Pro.
- По сравнению с первой EmbeddingGemma добавлены код, изображения, видео и аудио, а контекст вырос в 4 раза — конкуренты среди суб-1B моделей пока отстают по заявленным метрикам.
Источник: deepmind.google
Обсудить в Telegram
