Большинство чат-ботов AI должны быть подключены к облачному хранилищу для обработки данных, даже если они могут работать локально, требования к конфигурации чрезвычайно высоки. Итак, существует ли легкий чат-бот, не требующий подключения к Интернету?
На GitHub запущен новый проект с открытым исходным кодом под названием MLC LLM, который может работать полностью локально без подключения к сети, и даже старые компьютеры с видеокартами и Apple iPhone могут работать с данным ботом.
Во введении к проекту MLC LLM говорится: «MLC LLM — это общее решение, которое позволяет локально развертывать любую языковую модель на разнообразном наборе аппаратных бэкэндов и собственных приложений, в дополнение к эффективной структуре для всех, позволяющей оптимизировать производительность модели для своих собственных нужд. Все работает локально, без поддержки сервера и ускоряется локальными графическими процессорами на телефонах и ноутбуках. Наша миссия — предоставить каждому возможность разрабатывать, оптимизировать и развертывать модели искусственного интеллекта локально на своих устройствах».
MLC LLM использует Vicuna-7B-V1.1, облегченный LLM, основанный на Meta LLaMA. Хотя эффект не так хорош, как GPT3.5 или GPT4, он имеет преимущество в размере. В настоящее время MLC LLM доступен для платформ Windows, Linux, macOS и iOS, версии для Android пока нет.
Согласно тестам tomshardware, телефоны Apple iPhone 14 Pro Max и iPhone 12 Pro Max с 6 ГБ памяти успешно запускают MLC LLM с установочным размером 3 ГБ. А Apple iPhone 11 Pro Max с 4 ГБ ОЗУ не может работать с MLC LLM.
MLC LLM также был успешно протестирован на ThinkPad X1 Carbon, ноутбуке с процессором i7-8550U, без дискретной видеокарты и графическим процессором Intel UHD 620. MLC LLM нужно запускать через командную строку на платформе ПК.
