03 курс

Спринт 3

Пакеты time, context. Отмена операций и управление временем выполнения
4/4
Введение в спринт 3
Время: даты, интервалы, таймеры
Контекст: отмена операций
Что вы узнали
Пакет database/sql. Взаимодействие с базами данных SQL
8/8
Пакет errors. Обработка ошибок
5/5
Тема 1/3: Пакеты time, context. Отмена операций и управление временем выполнения → Урок 1/4

Введение в спринт 3

Самолёт приземляется в Германии — вы с ментором выходите из аэропорта.
Саша
У нас забронированы апартаменты, но до встречи с хозяином ещё есть немного времени. Как ты смотришь на то, чтобы прокатиться до центра на общественном транспорте? Заодно город посмотрим.
Давай, я не против.
Голос диктора объявляет: Die nächste Haltestelle…
Саша
Алиса, переводи.
Алиса
Следующая остановка — Александерплац.
Саша
О! Это наша. Выходим.
Хм, какие необычные часы.
Саша
Смотри-ка, тут разные часовые пояса — от Питера до Владивостока. Под ними Баку, Тифлис, Ереван. Ниже Тегеран, Кабул, Нью-Дели. Алиса, а что это за памятник?
Алиса
Weltzeituhr — часы мира. Установлены здесь в 1969 году.
Как здорово, что у нас есть личный экскурсовод.
Саша
Это точно. Но мы ещё успеем прогуляться и обследовать карту города… Кстати, чуть не забыл. Вот карта нового спринта и ТЗ по инкрементам.
Посмотреть
Здесь представлены все задания по инкрементам третьего спринта, которые вам предстоит выполнить.

Инкремент 10

Задание по треку «Сервис сокращения URL»

  • Добавьте в сервис функциональность подключения к базе данных. В качестве СУБД используйте PostgreSQL не ниже 10 версии.
  • Добавьте в сервис хендлер GET /ping, который при запросе проверяет соединение с базой данных. При успешной проверке хендлер должен вернуть HTTP-статус 200 OK, при неуспешной — 500 Internal Server Error.
Строка с адресом подключения к БД должна получаться из переменной окружения DATABASE_DSN или флага командной строки -d.
Для работы с БД используйте один из следующих пакетов:
  • database/sql,
  • github.com/jackc/pgx,
  • github.com/lib/pq,
  • github.com/jmoiron/sqlx.

Задание по треку «Сервис сбора метрик и алертинга»

Сервер:
  • Добавьте функциональность подключения к базе данных. В качестве СУБД используйте PostgreSQL не ниже 10 версии.
  • Добавьте в сервер хендлер GET /ping, который при запросе проверяет соединение с базой данных. При успешной проверке хендлер должен вернуть HTTP-статус 200 OK, при неуспешной — 500 Internal Server Error.
Строка с адресом подключения к БД должна получаться из переменной окружения DATABASE_DSN или флага командной строки -d.
Для работы с БД используйте один из следующих пакетов:
  • database/sql,
  • github.com/jackc/pgx,
  • github.com/lib/pq,
  • github.com/jmoiron/sqlx.

Инкремент 11

Задание по треку «Сервис сокращения URL»

Перепишите сервис так, чтобы СУБД PostgreSQL стала хранилищем сокращённых URL вместо текущей реализации.
Сервису нужно самостоятельно создать все необходимые таблицы в базе данных. Схема и формат хранения остаются на ваше усмотрение.
При отсутствии переменной окружения DATABASE_DSN или флага командной строки -d или при их пустых значениях вернитесь последовательно к:
  • хранению сокращённых URL в файле при наличии соответствующей переменной окружения или флага командной строки;
  • хранению сокращённых URL в памяти.

Задание по треку «Сервис сбора метрик и алертинга»

Перепишите сервер для сбора метрик таким образом, чтобы СУБД PostgreSQL стала хранилищем метрик вместо текущей реализации.
Сервису нужно самостоятельно создать все необходимые таблицы в базе данных. Схема и формат хранения остаются на ваше усмотрение.
Для хранения значений gauge рекомендуется использовать тип double precision.
При отсутствии переменной окружения DATABASE_DSN или флага командной строки -d или при их пустых значениях вернитесь последовательно к:
  • хранению метрик в файле при наличии соответствующей переменной окружения или флага командной строки;
  • хранению метрик в памяти.

Инкремент 12

Задание по треку «Сервис сокращения URL»

Добавьте новый хендлер POST /api/shorten/batch, принимающий в теле запроса множество URL для сокращения в формате:
JAVASCRIPT
[
    {
        "correlation_id": "<строковый идентификатор>",
        "original_url": "<URL для сокращения>"
    },
    ...
]
В качестве ответа хендлер должен возвращать данные в формате:
JAVASCRIPT
[
    {
        "correlation_id": "<строковый идентификатор из объекта запроса>",
        "short_url": "<результирующий сокращённый URL>"
    },
    ...
]
Все записи о коротких URL сохраняйте в базе данных. Не забудьте добавить реализацию для сохранения в файл и в память.
Стоит помнить, что:
  • нужно соблюдать обратную совместимость;
  • отправлять пустые батчи не нужно;
  • вы умеете сжимать контент по алгоритму gzip;
  • изменение в базе можно выполнять в рамках одной транзакции или одного запроса;
  • необходимо избегать формирования условий для возникновения состояния гонки (race condition).

Задание по треку «Сервис сбора метрик и алертинга»

Сервер:
  • Добавьте новый хендлер POST /updates/, принимающий в теле запроса множество метрик в формате: []Metrics (списка метрик).
Агент:
  • Научите агент работать с использованием нового API (отправлять метрики батчами).
Стоит помнить, что:
  • нужно соблюдать обратную совместимость;
  • отправлять пустые батчи не нужно;
  • вы умеете сжимать контент по алгоритму gzip;
  • изменение в базе можно выполнять в рамках одной транзакции или одного запроса;
  • необходимо избегать формирования условий для возникновения состояния гонки (race condition).

Инкремент 13

Задание для трека «Сервис сокращения URL»

Сделайте в таблице базы данных с сокращёнными URL уникальный индекс для поля с исходным URL. Это позволит избавиться от дублирующих записей в базе данных.
При попытке пользователя сократить уже имеющийся в базе URL через хендлеры POST / и POST /api/shorten сервис должен вернуть HTTP-статус 409 Conflict, а в теле ответа — уже имеющийся сокращённый URL в правильном для хендлера формате.
Стратегии реализации:
  1. Чтобы не проверять наличие оригинального URL в базе данных отдельным запросом, можно воспользоваться конструкцией INSERT ... ON CONFLICT в PostgreSQL. Однако в таком случае придётся самостоятельно возвращать и проверять собственную ошибку.
  2. Чтобы определить тип ошибки PostgreSQL, с которой завершился запрос, можно воспользоваться библиотекой github.com/jackc/pgerrcode, в частности pgerrcode.UniqueViolation. В таком случае придётся делать дополнительный запрос к хранилищу, чтобы определить сокращённый вариант URL.

Задание для трека «Сервис сбора метрик и алертинга»

Измените весь свой код в соответствии со знаниями, полученными в этой теме. Добавьте обработку retriable-ошибок.
Retriable-ошибки — это ошибки, которые могут быть исправлены повторной попыткой выполнения операции. Это бывает полезно для программ, которые работают с сетью или файловой системой, где возможны временные проблемы связи или доступа к данным. Ошибки могут быть вызваны различными причинами, такими как перегрузка сервера, недоступность сети или ошибки в коде программы.
Примеры retriable-ошибок:
  • Ошибка связи с сервером при отправке запроса.
  • Ошибка чтения данных из сети или БД из-за проблем соединения.
  • Ошибка доступа к файлу, который был заблокирован другим процессом.
Сценарии возможных ошибок:
  • Агент не сумел с первой попытки выгрузить данные на сервер из-за временной невозможности установить соединение с сервером.
  • При обращении к PostgreSQL cервер получил ошибку транспорта (из категории Class 08 — Connection Exception).
Стратегия реализации:
  • Количество повторов должно быть ограничено тремя дополнительными попытками.
  • Интервалы между повторами должны увеличиваться: 1s, 3s, 5s.
  • Чтобы определить тип ошибки PostgreSQL, с которой завершился запрос, можно воспользоваться библиотекой github.com/jackc/pgerrcode, в частности pgerrcode.UniqueViolation.
О, спасибо!
Саша
А сейчас пора идти в апартаменты.