Microsoft проверила, может ли ИИ заменить офисных работников. Результат — провал
Исследователи Microsoft создали тест DELEGATE-52 с типичными задачами 52 профессий — от бухгалтеров до инженеров. Нужно было разбить документы на категории, а потом собрать всё обратно.
Даже лучшие нейросети испортили в среднем 25% документов после 20 рабочих задач. Более слабые модели потеряли до 50% данных. ИИ забывал важную информацию и выдумывал то, чего не было.
Чем сложнее задача и чем дольше над ней работать, тем хуже результат. Параллельное исследование Workday показало: четверть британских сотрудников тратит больше семи часов в неделю на переключение между разными ИИ-инструментами.
Сэкономленное время уходит на проверку работы нейросетей.
