Воздушный поток. Видеокурс. Управление и мониторинг

Оригинальное название: Airflow. Видеокурс. Управление и мониторинг

Автор: Пётр Чудзик

Издатель: Videopoint

Год выпуски: 2023

ISBN: 9788328904002

Формат: Не определен

Продолжительность: 04:48:53

Первоначальная цена видеокурса: 169,00 злотых > Акционную цену вы найдете на нашем аукционе!

ЦИФРОВОЙ ВЕРСИЯ: ВИДЕО

Формат: Онлайн (потоковая передача)

Пройдите курс... по управлению потоками данных

Если вы работаете или будете работать с данными, рано или поздно вы столкнетесь с аббревиатурой ETL. ETL, или извлечение, преобразование и загрузка, — это процесс, обычно используемый организациями, которые собирают и объединяют данные из нескольких источников для поддержки задач обнаружения, отчетности, анализа и принятия решений. Apache Airflow позволяет создавать высококачественные процессы ETL и осуществлять оптимизацию независимо от конечной инфраструктуры (например, реляционная база данных, файлы JSON и т. д.). Используя Python, Airflow используется для планирования множества задач и рабочих процессов в проектах и ​​организациях. Поэтому он идеально подойдет людям, знакомым с Python, которым необходимо работать с наборами данных и отслеживать их поток, но не хотят создавать собственный инструмент ETL.

В качестве решения с открытым исходным кодом Apache Воздушный поток все чаще требуется на таких должностях, как инженер по обработке данных или специалист по анализу данных. Это неудивительно, поскольку автоматизация — один из важнейших процессов в современных ИТ, а главное преимущество Airflow в том, что он упрощает автоматизацию процессов. Основной способ определения задач здесь — направленные ациклические графы (DAG), которые определяют отношения между операторами, порядок и зависимости. Группа обеспечения доступности баз данных Airflow может содержать несколько ветвей, и вам решать, какие из них учитываться, а какие игнорируются во время выполнения рабочего процесса.

В нашем курсе рассматриваются основные темы, связанные с оркестровкой задач с помощью Apache Airflow. В ходе него вы узнаете, как полностью создать процесс с помощью Airflow: настроить глобальные переменные и соединения, создать DAG, его планировщик и конфигурацию. Вы также изучите наиболее важные элементы Airflow, такие как оператор и датчик.

Что вас ждет во время нашего профессионального обучения

Во время курс, среди прочего:

• Вы увидите, как правильно настроить рабочую среду
• Вы узнаете, что такое DAG и что такое оркестровка задач
• Вы узнаете, что такое DAG и что такое оркестровка задач
• Вы узнаете, что такое DAG и что такое оркестровка задач
• Вы узнаете, что такое DAG li>
• Вы создадите операторы типа Bash, Empty, Python, SimpleHTTP и PostgreSQL.
• Вы установите планировщик и операцию перехвата, а также аргументы DAG по умолчанию.
• Вы настроите датчики.
• Вы будете запускать команды SQL в базе данных PostgreSQL.
• Вы будете настраивать переменные веб-сервера, используя объекты Param, Variable, Config.
• Вы будете использовать Шаблоны Jinja для передачи параметров.
• Вы будете управлять задачами с помощью группировки, ветвления и создания

триггеров Airflow. Видеокурс. Вы закончите управление и мониторинг потока данныхна базовом уровне. Полученные знания позволят вам самостоятельно подготовить простые оркестраторы задач на базе SQL и Python. Кроме того, вы сможете защищать процессы с помощью датчиков и вводить глобальные переменные или конфигурации с помощью объектов веб-сервера.

Достижение вершины всегда требует тысяч маленьких шагов. Чтобы разобраться в сложных и сложных вещах, необходимо сначала получить базовые знания. Материал, содержащийся в вышеуказанном курсе, является первым шагом для людей, которые видят свое будущее в ИТ-индустрии.

Что такое видеокурс?

Видеокурсы — это самый простой, быстрый и в то же время очень эффективный способ обучения. В Интернете можно научиться практически всему: от основ программирования, обработки фотографий и видео до... йоги. Обучение, доступное в Videopoint, состоит из нескольких минутных уроков, подготовленных экспертами из разных отраслей. Благодаря сочетанию изображения и комментария автора, поясняющего происходящие на экране действия, даже очень сложные вопросы оказываются простыми и понятными.

Как играть на курсах?

Если вы хотите смотреть курсы на своем компьютере, все, что вам нужно, это последняя версия вашего веб-браузера. Курсы транслируются (играются онлайн) с использованием технологии HTML5. Воспроизвести видео также можно в удобном и бесплатном мобильном приложении Videopoint. Вы можете скачать приложение для устройств с системами Android, iOS, HarmonyOS.

Как я получу курс?

• Вы получите сообщение на свой электронный ящик содержащий специальный код. Письмо будет отправлено вам по электронной почте в течение часа с момента подтверждения платежа.
• Если у вас уже есть код, просто перейдите на сайт Videopoint и следуйте инструкциям с инструкциями. После нажатия кнопки «Подтвердить» курс станет доступен в Вашей библиотеке Videopoint.
• Вы можете пройти курс онлайн (в потоковом режиме) на веб-сайте Videopoint. или мобильное приложение.
• Ваш код действителен в течение одного года с даты покупки.