Box встроила ИИ-модель Nvidia Nemotron в поиск по документам
На конференции для разработчиков Box представила функцию Box Content Retrieval, построенную на эмбеддинг-системе Nvidia Nemotron. Она позволит ИИ-агентам искать информацию по корпоративным документам точнее и дешевле.
Что такое Box Content Retrieval
Новая функция опирается на метаданные, которые создаёт эмбеддинг-система Nvidia Nemotron. Благодаря этому агентам не нужно читать каждый документ целиком — система сразу возвращает фрагменты, наиболее релевантные запросу или задаче.
По словам генерального директора Box Аарона Леви, это заметно повышает релевантность поиска для агентов. Вместо полного чтения документов система отдаёт нужные куски текста.
Ожидаемые показатели
Вице-президент Nvidia по ПО для генеративного ИИ Кари Бриски сообщила TechCrunch, что запросы должны обрабатываться в четыре раза быстрее, число ошибок снизится на 20%, а расход токенов сократится на 90%.
Функция будет доступна всем клиентам Enterprise Advance — развёртывание начнётся в начале следующего года.
На чём основана технология
Box Content Retrieval — реализация проекта Nvidia Nemotron Embed, предлагающего открытые эмбеддинг-модели для улучшения автоматизированного поиска. Эмбеддинги используют LLM для предобработки данных, чтобы агенты работали с ними эффективнее.
По данным источника, последний релиз Nemotron в июле занял первое место в бенчмарке RTEB, измеряющем качество поиска. Ранее,, Nvidia уже выпустила открытые модели Nemotron 3.5 для ИИ-агентов.
Эмбеддинги Nemotron выходят за рамки простых ключевых слов и сопоставляют глубинные понятия, поэтому поиск находит связанные юридические концепции даже при иной формулировке.
Примеры применения и ограничения
Box приводит пример юристов, которым новая система помогает быстрее находить нужные пункты и прецеденты. Наибольшую пользу функция принесёт в связке с более активными агентами.
Хотя модели Nemotron доступны свободно, система сильно зависит от уже существующих метаданных и средств контроля доступа Box, поэтому воспроизвести её с нуля непросто. По словам Леви, в одном простом API объединены примерно пять разных технологий.
Что это значит для пользователей
- Юристам и другим специалистам станет проще находить нужные пункты и прецеденты в корпоративных документах — в том числе при иной формулировке запроса.
- Функция предназначена для клиентов тарифа Enterprise Advance; Box не сообщала отдельную цену или условия бесплатного доступа.
- Система работает только внутри документов и прав доступа Box, поэтому качество поиска зависит от того, насколько полно и корректно настроены метаданные и разрешения.
- Сокращение расхода токенов на 90% может снизить стоимость работы ИИ-агентов с документами по сравнению с полным чтением файлов.
- Проверить функцию можно будет после развёртывания в начале следующего года — точная дата компанией не объявлена.
Источник: techcrunch.com
Обсудить в Telegram
