Правильно спроектированные и реализованные конвейеры данных имеют решающее значение для успешного анализа данных и машинного обучения. Получение огромных объемов данных из различных источников обычно не является проблемой. Немного сложнее спроектировать процесс их обработки, чтобы обеспечить контекст таким образом, чтобы эффективно использовать данные в повседневной работе организации и принимать благодаря им разумные решения.

Вот краткое руководство для инженеров данных, которые хотят научиться реализовывать конвейеры данных. Объясняет наиболее важные концепции, связанные с конвейерами данных, описывает принципы их создания и реализации, а также представляет лучшие практики, используемые лидерами индустрии анализа данных. Из этой книги вы поймете, как конвейеры данных работают в современном стеке данных, а также общие соображения, которые необходимо учитывать перед принятием решений по реализации. Вы узнаете, в чем преимущества разработки решения самостоятельно и в чем преимущества приобретения готового продукта. Вы также изучите основные концепции, применимые к платформам с открытым исходным кодом, коммерческим продуктам и решениям собственной разработки.

Узнайте:

• что такое конвейер данных и как он работает
• как данные передаются и обрабатываются в современной инфраструктуре
• какие инструменты особенно полезны для создания конвейеров данных
• как использовать конвейеры данных для анализа и составления отчетов.
• каковы наиболее важные аспекты обслуживания, тестирования и устранения неполадок конвейера

Изучите лучшие практики проектирования и реализации конвейеров данных!