Автор: 
Большинство чат-ботов с искусственным интеллектом должны быть подключены к облачному хранилищу для обработки данных. Даже, если они могут работать локально, то требования к конфигурации чрезвычайно высоки. На GitHub запущен новый проект с открытым исходным кодом под названием MLC LLM, который может работать полностью локально без подключения к сети, и даже старые компьютеры с видеокартами могут работать с данным ботом.
MLC LLM — это решение, которое позволяет локально развёртывать любую языковую модель на разнообразном наборе аппаратных бэкэндов и собственных приложений, в дополнение к эффективной структуре для всех, позволяющей оптимизировать производительность модели для своих собственных нужд. Всё работает локально, без поддержки сервера и ускоряется локальными графическими процессорами на телефонах и ноутбуках.
Миссия проекта — предоставить каждому возможность разрабатывать, оптимизировать и развёртывать модели искусственного интеллекта локально на своих устройствах. MLC LLM использует Vicuna-7B-V1.1, облегчённый LLM, основанный на Meta LLaMA. Хотя эффект не так хорош, как GPT3.5 или GPT4, но он имеет преимущество в размере. В настоящее время MLC LLM доступен для платформ Windows, Linux, Android, macOS и iOS.
