«Яндекс» представил правительству концепцию национального датасета — набора тестовых заданий и эталонных данных для проверки ИИ-систем на соответствие духовно-нравственным ценностям, пишет «Коммерсант» со ссылкой на источник, близкий к Минцифры, и одного из участников совещания, на котором обсуждался проект.
«Яндекс» представил правительству концепцию национального датасета — набора тестовых заданий и эталонных данных для проверки ИИ-систем на соответствие духовно-нравственным ценностям, пишет «Коммерсант» со ссылкой на источник, близкий к Минцифры, и одного из участников совещания, на котором обсуждался проект.
Концепцию представили 13 августа на совещании рабочей группы по регулированию и административным барьерам в сфере искусственного интеллекта. По словам источника издания, датасет нужен для оценки соответствия ИИ-систем «духу времени и ценностям страны», а также их пригодности для использования в российских условиях.
Проект пока находится на стадии концепции. В частности, не решено, будут ли тесты общедоступными или закрытыми и кто будет определять их содержание.
Как пишет «Коммерсант», на совещании возникли разногласия о степени публичности датасета. ФСБ настаивает на закрытом формате, чтобы разработчики не могли заранее настроить модели на прохождение тестирования. Представители бизнеса заявили, что закрытый формат может быть слишком сложным для прохождения и не позволит быстро развивать модели — они предложили сделать датасет публичным.
В качестве компромисса участники совещания предложили комбинированный формат: открытый набор заданий можно будет использовать для публичного тестирования, а закрытый — для окончательной проверки. Тематики заданий будут одинаковыми, но формулировки вопросов разными.
Кто будет определять содержание тестов, пока не решено. IT-сообщество предложило создать для этого комиссию из представителей власти, бизнеса и экспертных организаций. В правительстве заявили, что проект все еще обсуждается. «Яндекс» и Альянс ИИ не ответили на запрос «Коммерсанта».