Salesforce открыла исходный код библиотеки машинного обучения TransmogrifAI

Модели МО — искусственный интеллект, который вычисляет взаимосвязи между миллионами элементов данных, — невероятно сложно проектировать. Специалисты по обработке данных тратят месяцы на подготовку данных для тренировки моделей и выделение полезных признаков (или типов), что позволяет разработать более эффективные системы. Именно этот процесс призван облегчить набор инструментов TransmogrifAI, который выпустила Salesforce.

Эта библиотека с возможностью поиска и упорядочивания информации по базам и таблицам выполняет создание и отсечение признаков, а также тренировку моделей при помощи всего нескольких строчек кода, то есть преобразует сырые датасеты в кастомизированные модели.

Библиотека построена на языке Scala на базе фреймворка Apache Spark (некоторые из технологий, которые также лежат в основе ИИ-платформы Einstein от Salesforce) и полностью ориентирована на масштабируемость. Она способна обрабатывать датасеты вплоть до миллионов строк и работать с кластеризованными виртуальными машинами на Scala или обычными ноутбуками.

TransmogrifAI — это развитие внутренней библиотеки МО Salesforce, которая позволила команде Einstein развёртывать индивидуализированные модели для корпоративных клиентов за считанные часы. Исходный код разработчики опубликовали на GitHub.