01 Добро пожаловать на курс 03 Профессия инженера данных 01 Введение 02 Известные пакеты python для работы с данными 03 Немного об ускорении кода 05 Как обустроить рабочее окружение для python-проекта 09 Как устроены пакеты python 10 Немного о поэзии (poetry) 11 Документация для кода 12 Режим разработки и прочие советы 15 Пример workflow для аналитиков 16 Итоги 01 Введение 02 Что такое потоки и процессы 03 Что такое gil 04 Примеры параллельного кода 05 Асинхронность параллельность конкурентность 06 Asynci 07 Работа с диском 11 Итоги 01 Введение 02 Самые популярные клиенты для http 05 Из чего состоят сервисы 06 Популярные фреймворки для python 09 Современные асинхронные микросервисы 10 Model and feature servin 13 Итоги 01 Введение 02 Ad-hoc задачи для дата-инженеров 03 Итак, у меня есть текстовые данные 05 Запросы в api из терминала 06 Потоковые редакторы и форматы 07 Параллелизация обработки 08 Итоги 01 Курсовой проект 07 Итоги 01 Введение 01 Введение 02 Основные проекты экосистемы hadoop 03 Как данные хранятся в hadoop 04 Анализ больших данных 01 Введение 02 Поднимаем hdfs у себя 03 Настраиваем yarn 04 Mapreduce изнутри и снаружи 05 Простые задачи 06 Секретные оптимизации 07 Как работают join-ы 08 Итоги 05 Итоги 01 Spark как более свежая концепция распределенных вычислений 01 Что такое spark и зачем он нужен de. Введение в rd 02 Как устроен spar 03 Начало работы 04 Resilient Distributed Dataset 05 Ключи и значения 01 Dataframe и преобразования 02 Чтение и схемы 03 Базовые примеры работы 04 Кейс очистки данных 05 Пара слов о udf 01 Введение 02 Смещенные данные 03 Кэширование 04 Потоковая обработка 06 Итоги модуля 01 Введение 01 Реляционные базы данных, хранение и масштабирование 02 Схемы хранения 03 Как базы масштабируются 04 Чуть больше о распределенных системах 05 Итоги 01 Введение 02 Начало работы с PostgreSQ 03 Агрегация и подзапросы 04 ACID и транзакции 01 Введение 02 Продвинутые агрегации 03 Общие табличные выражения 04 Индексы и explain 05 Объединения 06 Итоги 01 Введение 02 ORM, удобства и недостатки 03 Хранение исторических данных 04 Триггеры и процедуры 05 Логи и изменения 06 Итоги 10 Итоги модуля 01 NOSQ 02 Знакомство с NOSQL. Виды и применение 03 Знакомство с NOSQL. Виды и применение 01 Знакомство с Clickhouse 03 Обзор Neo4j 05 MongoDB 06 Итоги 01 Введение в ET 01 Введение 02 Зачем нужен ET 03 Суть этапов ET 04 Применимость и различия ETL и ELT 05 Итоги 01 Введение 02 Пайплайны 03 Оркестрация данных 04 Современные ETL-инструменты 05 Итоги 05 Итоги модуля 01 Оркестратор Airflow 01 Сравнение популярных оркестраторов 03 Airflow. Архитектура 04 Создание инстанса Airflow 01 DAG [skladchik.org] 02 ETL-пайплайн в Airflow 07 Работа с pipeline. Завершение 11 Полезное про DAG 01 WebView 02 Metastore 04 Schedule 05 Executo 01 Файл конфигурации 03 Ветвление тасков 06 Мониторинг задач в airflow 8. Оркестраторы данных. Airflow. Итог 01 Задачи 01 Примеры задач стриминга 01 Брокер сообщений apache kafk 02 Архитектура kafk 05 Составляющие части kafk 05 Заключение по kafk 01 Apache NiF 01 Введение 02 Знакомство с apache NiF 03 Установка Apache NiF 04 Архитектура и компоненты Apache NiF 05 Понятия и компоненты 06 Интерфейс apache NiF 07 Классификация процессоров 08 Итоги 01 Дальнейшие шаги в изучении NiF 02 Обзор функциональных возможностей NiF 06 Обзор базовых процессоров NiF 07 Обзор дополнительных возможностей NiF 08 Режим кластера 09 Мониторинг и логи 10 Data provenance 11 Итоги 01 Построение потока данных 01 Итоги 01 Введение в архитектуру хранилищ данных 01 Традиционная архитектура хранилищ данных 02 Характеристики данных 03 Data lake и data warehouse 04 Lambda и kapp 05 Методологии хранения данных 06 Итоги 01 Введение 02 Что такое -AA 03 Как облака облегчают жизнь 04 Modern data stac 05 Зачем нужен dbt 06 Итоги 01 Введение 02 Как выбраться из болота 03 Как найти, что где лежит 04 Немного про MLOp 05 Итоги 11 Итоги модуля 01 Введение 01 Аналитика данных 04 Оценка качества данных 05 Инструменты оценки качества данных 01 BI-инструментарий аналитиков визуализации данных 02 Способы визуализации данных 03 Metabase Заключение защита защита предыдущего 2-го потока Запись встречи по темам 1-4 Запись встречи по темам 5-8 Запись встречи по темам 9-12