EmbeddingGemma 2 от Google, основанная на Gemma 4 и выпущенная под лицензией Apache 2.0, представляет собой компактную, открытую, мультимодальную модель внедрения, предназначенную для повышения эффективности семантического поиска и генерации с расширенным поиском (RAG), одновременно оптимизируя производительность для развертывания на устройстве.
Разработанная для работы на потребительском оборудовании, таком как мобильные устройства и ноутбуки, EmbeddingGemma 2 обеспечивает семантические представления с малой задержкой для приложений на устройстве, таких как поиск, генерация с расширенным поиском (RAG), классификация и кластеризация.
Благодаря своим мультимодальным возможностям EmbeddingGemma 2 поддерживает широкий спектр задач поиска, включая поиск соответствующих документов, снимков экрана и записей в ответ на запрос, поиск исходного кода с использованием естественного языка и извлечение видеоконтента на основе текстовых описаний.
Ключевой особенностью EmbeddingGemma 2, по словам Google, является ее способность представлять текст, код, изображения, видео и аудио в едином 768-мерном пространстве встраивания. Это позволяет разработчикам создавать системы поиска, которые выполняют поиск по различным типам мультимедиа, не поддерживая отдельные несовместимые пространства встраивания для разных типов мультимедиа.
Несмотря на то, что вложения, созданные с помощью EmbeddingGemma 2, происходят из разных модальностей, они занимают одно и то же размерное пространство и их можно сравнивать по семантическому сходству.
Модель позволяет разработчикам загружать только те кодеры, которые необходимы их приложениям, масштабируясь от 270 миллионов параметров для текста и кода до 740 миллионов для полной мультимодальной поддержки. По данным Google, модель «значительно превосходит EmbeddingGemma 1 при поиске кода и техническом поиске, что делает ее идеальной для локальной индексации кодовой базы и агентного поиска кода».
EmbeddingGemma 2 поддерживает обучение представлению Matryoshka (MRL), которое позволяет усекать вложения до более коротких векторов единичной длины, уменьшая требования к хранению. Например, для хранения миллиона 768-мерных векторов с точностью bfloat16 требуется примерно 1,5 ГБ памяти, а для их усечения до 128 измерений требуется всего 250 МБ, что приводит к шестикратному сокращению. Однако это подразумевает компромисс между качеством поиска. Поэтому Google рекомендует использовать усечение только тогда, когда этого требуют хранилище или скорость поиска. При 128 измерениях модель сохраняет примерно 90 % качества текста, но производительность падает примерно до 75 % при извлечении изображений, видео и речи.
Комментируя объявление, пользователь Reddit Distinct-Target7503 подчеркнул мультимодальные возможности модели, поставив под сомнение степень ее улучшений для текстовых задач:
Впечатляет то, что он может встраивать изображения и аудио в общее семантическое пространство, но только для текста это не является значительным улучшением.
Тем временем пользователь Reddit Open-Adhesiveness-86 предупредил разработчиков о важности правильного использования модели:
Две вещи, которые меня уязвили при первом внедрении и, вероятно, все еще актуальны: префиксы задач не являются обязательными, индексирование документов с префиксом запроса вместо «title: none | text:» заметно ухудшает запоминание. А если вы усекаете для MRL, сначала разрежьте, затем L2-нормализуйте более короткий вектор, нормализуя на 768, а затем обрезав, вы получите векторы, не соответствующие норме.
EmbeddingGemma была представлена в прошлом году с упором на «автономные сценарии и сценарии, чувствительные к конфиденциальности, такие как локальный поиск в личных файлах, запуск мобильных конвейеров RAG с помощью Gemma 3n или создание чат-ботов для конкретных доменов». EmbeddingGemma 2 доступна на Hugging Face.
