Исследователи Apple используют Apple Silicon Mac в качестве виртуальных графических процессоров в режиме ожидания

Группа ученых из исследовательской группы Apple по искусственному интеллекту предлагает использовать малоиспользуемые компьютеры Mac и другие устройства Apple Silicon в качестве виртуального графического процессора в облаке. Согласно публикации на сервере препринтов arXiv, прототип программного обеспечения называется «Миньоны» («Слуга», вероятно, основанный на известном фильме) и первоначально будет использовать компьютеры Mac, а позже, возможно, iPhone и iPad для запуска «крупномасштабных рабочих нагрузок вывода машинного обучения» без необходимости использования центров обработки данных искусственного интеллекта. Идея не совсем нова для Apple: Apple ранее рассматривала возможность распространения машинного обучения на множество устройств — еще до появления больших языковых моделей. Теперь у компании также есть подходящая основа, такая как Private Cloud Compute (PCC), для безопасного распределения рабочих нагрузок LLM.

Сравнительно простое решение

Однако система Миньонов работает гораздо проще. Согласно документу, создание «динамического и распределенного виртуального облака графических процессоров» должно оказаться успешным. Все это должно быть возможно с существующим оборудованием. Исследователи Цзяньхуа Ли, Юн Син, Гириша Де Силва, Райан Флинт, Кай Юань и Шон Сачер разработали сервер в качестве центрального координационного уровня, который работает с так называемыми исполнителями-миньонами на отдельных машинах. На них выполняются экземпляры вывода Ollama, входные данные, модели и результаты сохраняются и доступны через AWS-S3.

Задачи распределяются через базу данных PostgreSQL, хотя прямого доступа со стороны исполнителей-миньонов нет, которые получают свои задачи и контрольные сигналы через REST API. «Сторожевой таймер-миньон» следит за системой на предмет ошибок. Сам пользователь сталкивается с «Сервером Миньон», который получает задачи, а затем распределяет процессы.

Больше не нужно ждать дата-центра

Практические тесты показали, что время ожидания заданий вывода графического процессора, которое иногда занимало более десяти часов в командах Apple Research из-за занятости больших систем, сократилось до минут благодаря Minions, поскольку многие машины MacOS были доступны с низкой (или нулевой) загрузкой. Масштабирование также произошло органично. В некоторых случаях мы договаривались внутри Slack о том, будет ли Minion Executor работать на машине или нет — специально для проектов.

Однако на данный момент речь идет только о рабочих нагрузках внутри организаций, которые доверяют друг другу. Методы изоляции процессов, такие как PCC от Apple, еще не реализованы. Однако, согласно статье, вы можете создавать свои собственные базы данных PostgreSQL и изолированные пулы миньонов-исполнителей, чтобы изолировать команды или целые организации. В будущем также появится возможность проводить тренировки ИИ с миньонами. Изначально нам не удалось найти текущий код проекта.

(бакалавр)