Большие данные для практических действий: как преодолеть разрыв между учеными и инженерами в области данных

Шум вокруг больших данных создал широко распространенное заблуждение: его простое существование может дать компании действенные идеи и положительные результаты в бизнесе. Реальность немного сложнее. Чтобы извлечь выгоду из больших данных, вам нужна способная команда исследователей данных, чтобы проанализировать их. По большей части корпорации понимают это, о чем свидетельствует рост рабочих мест для специалистов по обработке данных в период с 2016 по 2019 год в 15–20 раз. Однако, даже если у вас под рукой есть талантливая команда специалистов по обработке данных, вам все равно необходимо преодолеть основное препятствие на пути воплощение этих идей в производство. Чтобы понять истинную ценность бизнеса, вы должны убедиться, что ваши инженеры и специалисты по данным работают вместе друг с другом. По своей сути ученые, работающие с данными, являются новаторами, которые извлекают новые идеи и идеи из данных, которые ваша компания ежедневно принимает, а инженеры, в свою очередь, опираются на эти идеи и создают устойчивые объективы для просмотра наших данных. Перед исследователями данных стоит задача расшифровки, манипулирования и мерчендайзинга данных для получения положительных результатов в бизнесе. Для достижения этой цели они выполняют множество задач - от интеллектуального анализа данных до статистического анализа. Сбор, организация и интерпретация данных - все это делается для выявления важных тенденций и соответствующей информации. Хотя инженеры, безусловно, работают совместно с учеными-данными, между этими двумя ролями есть определенные различия. Одно из фундаментальных отличий заключается в том, что инженеры придают гораздо большее значение «производственной готовности» систем. Инженеры хотят, чтобы их системы были быстрыми и надежными. От гибкости и безопасности моделей, созданных учеными-данными до фактического формата и масштабируемости. Другими словами: у специалистов по обработке данных и инженерных групп разные повседневные проблемы. Возникает вопрос: как вы можете позиционировать обе роли для достижения успеха и в конечном итоге извлечь наиболее значимые идеи из ваших данных? Ответ заключается в том, чтобы посвятить время и ресурсы совершенствованию данных и инженерных отношений. Так же, как важно уменьшить беспорядок или «шум» вокруг наборов данных, также важно сгладить любые разногласия между этими двумя командами, которые играют жизненно важную роль в успехе вашего бизнеса. Вот три важных шага, чтобы сделать это реальностью. Недостаточно просто поместить несколько ученых и нескольких инженеров в комнату и попросить их решить мировые проблемы. Сначала вы должны научить их понимать терминологию друг друга и начать говорить на одном языке. Один из способов сделать это - кросс-тренинг команд. Объединяя ученых и инженеров в группы по два человека, вы можете поощрять совместное обучение и преодолевать барьеры. Для исследователей данных это означает изучение шаблонов кодирования, написание кода более организованным способом и, возможно, самое главное, понимание компромисса между техническим стеком и инфраструктурой, связанного с внедрением модели в производство. Опубликовано 7wData.be