29.03.2024
Подписывайтесь на Telegram-канал по ссылке

Facebook запустила платформу динамического тестирования для систем машинного обучения

Dynabench

Facebook AI представила проект «Dynabench» — новую исследовательскую платформу для динамического сбора данных и тестирования. Эта платформа является одной из первых для сравнительного анализа искусственного интеллекта с динамическим сравнительным анализом, проводимым в несколько раундов. Он работает, тестируя системы машинного обучения и прося злоумышленников взломать его.

Несмотря на значительный прогресс в исследованиях искусственного интеллекта, машины всё ещё плохо понимают естественный язык. Dynabench создаёт новые сложные наборы данных, используя как людей, так и модели для более точного измерения моделей NLP. Этот процесс показывает, где существуют пробелы в текущих моделях, что позволяет обучать модели ИИ следующего поколения в цикле. Он также измеряет, насколько легко люди обманывают модели ИИ в динамической среде вместо статических тестов.

Dynabench использует новую процедуру, называемую сбором динамических состязательных данных, для улучшения текущих методов тестирования ИИ. Этот новый подход к оценке устойчивости систем машинного обучения выходит за рамки традиционной парадигмы обучающих наборов. Благодаря всем этим инновациям в тестах Dynabench можно надеяться, что будущие системы искусственного интеллекта будут делать меньше ошибок и быть более полезными в реальных приложениях.