Google выпустила TorchTPU для запуска PyTorch на чипах TPU
Компания Google объявила о выходе open-source проекта TorchTPU, который позволяет разработчикам запускать ИИ-приложения на базе популярного фреймворка PyTorch на фирменных чипах TPU.
Запуск проекта TorchTPU
Во вторник Google объявила о том, что проект TorchTPU стал доступен как решение с открытым исходным кодом. Новый инструмент позволяет переносить существующие приложения PyTorch на чипы Tensor Processing Units и в Google Cloud с помощью простой смены конфигурации.
Разработчикам не требуется переписывать программный код для миграции своих проектов на аппаратное обеспечение от Google. Шаг направлен на снижение зависимости индустрии от графических ускорителей Nvidia, которые исторически доминируют в сфере создания и обучения искусственного интеллекта.
Контекст рынка и шаг Amazon
Фреймворк PyTorch, изначально созданный Meta в 2016 году и переданный в 2022 году под управление Linux Foundation, используется примерно в 85% ИИ-приложений. Исторически многие его функции создавались специально под графические процессоры Nvidia, которые стали стандартом в индустрии задолго до бума больших языковых моделей.
Накануне аналогичный инструмент под названием TorchNeuron представила компания Amazon. Она позволила переносить приложения на собственные чипы Trainium и в среду AWS без переписывания кода, а также предложила изменения для отвязки функций PyTorch от оборудования Nvidia.
Партнерства и дополнительные инструменты Google
Для успешного внедрения TorchTPU компания Google сотрудничала напрямую с Meta, Hugging Face, а также создателями инструментов vLLM и SGLang. Это обеспечило полную совместимость библиотек и функций нового проекта с популярными средами разработки ИИ.
Дополнительно поисковый гигант выпустил специальный набор утилит TPU agent suite для помощи в миграции и исправлении ошибок. Также было обновлено решение LiteRT для эффективного запуска ИИ-моделей на смартфонах, ноутбуках и встраиваемых устройствах.
Что это значит для пользователей
- Инструмент полезен разработчикам ИИ-приложений и стартапам, использующим фреймворк PyTorch для создания и запуска моделей.
- TorchTPU доступен как проект с открытым исходным кодом, а перенос приложений возможен без изменения исходного кода с помощью смены конфигурации.
- Разработчики могут использовать специальные утилиты TPU agent suite для миграции и отладки проектов при переходе на инфраструктуру Google.
- Новый проект снижает зависимость рынка от привычных графических ускорителей Nvidia, предоставляя альтернативу для работы в облаке и на фирменном «железе».
Источник: techcrunch.com
Обсудить в Telegram
