19:58:06 From Владимир : + 19:58:50 From Sergey Mikhaylov : + 20:00:59 From Sergii Sinienok : Коллеги, добрый вечер! 20:01:19 From OTUS Online : всем привет 20:01:55 From alex : это которая в питере? 20:02:05 From Vladimir D : OTUS Online в соорганизаторы пожалуйста добавьте =) 20:02:17 From Vladimir D : Это Алексей =) 20:04:11 From Igor Sablin : А для AWS не используете CloudFormation? Если нет, то почему? 20:04:17 From сергей волчков : только у меня звук квакает? 20:04:28 From Павел Козлов : норм звук 20:04:34 From Владимир : звук норм, а вот картинка тормозит 20:05:55 From Sergey Mikhaylov : Какие ОС в кластере используете? 20:06:46 From Sergey Mikhaylov : А сама установка k8s через provision terrafrom? 20:07:46 From Igor Sablin : А чем не устроил Kubespray, что пришлось делать свой собственный плейбук? 20:07:54 From oleksiimolodchenko : Так у вас менеджт кластер? 20:08:10 From alex : Время от времени какие-то сторонние звуки, будто что-то двигают по столу. Буду признателен, если меньше таких звуков будет. Спасибо. 20:08:20 From Sergey Mikhaylov : + 20:09:25 From Анастасия : а что по поводу реальных кластеров, как их планировать? какие исползовать гипервизоры? 20:12:19 From Александр Акилин : Доброго дня, мои дорогие! 20:12:42 From сергей волчков : чмоки в десенки дорогой 20:13:30 From oleksiimolodchenko : Сколько нод в проде? 20:14:33 From Igor Sablin : @Александр Акилин, доброй осени! :) 20:16:04 From Александр Акилин : @Igor Sablin, и тебе, мой дорогой! 20:16:13 From Анастасия : почему не работали автосалонов? 20:16:18 From Александр Акилин : а вы ноды заранее покупаете в AWS? 20:16:19 From Анастасия : автоскаллеры 20:17:18 From alex : вопрос1: Если к вам в отдел придёт новый сотрудник с навыками где-то между джуном и синьором, какие первые задание вы дадите ему? очень вкратце. вопрос2: Какие типы PV используете и почему. Как провижн происходит. Очень вкратце. 20:17:26 From Igor Sablin : Так его и забирают внезапно? Вас это не аффекте? 20:17:30 From Владимир : а что такое споты - в кратце 20:17:37 From Владимир : ? 20:18:43 From Анастасия : что лучше ведёт себя в проде гластер или цеф? 20:19:48 From Vladimir D : preemtible =) 20:21:10 From Александр Акилин : а можно подробнее, как у вас это реализовано? как вы узнаёте из даемон сета, что у вас отзывают ноду? :) 20:22:15 From Александр Акилин : а где подсмотреть такие решения? 20:22:30 From Александр Акилин : ооооо! спасибо огромное! 20:22:59 From сергей волчков : сетевые изоляции вы не используете? 20:24:10 From Анастасия : есть железка, что учесть при раскатывании, сколько свободного места оставлять на железке, где будут вертеться виртуалки ? какого примерно размеры нужно делать ноды? 20:24:33 From alex : Вопрос3: инженер вашего уровня принимает ли решения о целесообразности той или иной покупки ПО или услуги? Кто планирует архитектуру кластера? Кто выбирает ценовую политику и так далее? 20:26:14 From сергей волчков : проверяете код? образы? на уязвимости( чекмаркс и тд) 20:27:06 From сергей волчков : как у вас происходит деплой? от разраба до прода 20:28:20 From Александр Акилин : что вы используете для хранения секретов? 20:29:27 From сергей волчков : запуск хелм образа из Дженкинс ? 20:30:32 From сергей волчков : как манифест в проде оказывается? 20:33:51 From AFidelina : какой средний размер ноды? как их заклабывать? 20:33:58 From AFidelina : закладывать? 20:34:42 From AFidelina : у меня железка по RAM 500G 20:34:56 From Vladimir D : 0_о 20:34:58 From AFidelina : для одной ноды это много 20:35:14 From Vladimir D : Отсыпьте мне таких железок пожалуйста =) 20:35:21 From AFidelina : мне нужно её разрезать, нужен средний рабочий размер 20:35:27 From Igor Sablin : Ну давайте теперь железками меряться )) У меня по несколько десятков террабайт :) 20:35:31 From Vladimir D : по ЦП там как дела?) 20:35:46 From Vladimir D : Тааааак, я ща уйду и буду плакать =( 20:36:08 From Александр Акилин : обнимаю, Вовочка! 20:36:18 From Vladimir D : Ссссаааааня =) 20:36:21 From Vladimir D : Привет!) 20:36:39 From Александр Акилин : Здравствуй, мой хороший! 20:36:39 From Vladimir D : Анастасия, ЦП там сколько на ноде?) 20:36:39 From сергей волчков : в кровавом ентерпрайзе и не такие серваки увидеть можно)) 20:36:59 From AFidelina : а сколько свободного места оставлять? 20:37:12 From AFidelina : на железке 20:37:18 From AFidelina : мимо виртуалок 20:38:26 From Igor Sablin : А на что там 20%??? 20:38:53 From сергей волчков : 64 наверное 20:39:02 From сергей волчков : на 500 гигов 20:39:18 From сергей волчков : + 2х16 20:39:56 From AFidelina : сервер шт cpu ram ram-to-cpu hdd lan1 lan2 lan3 lan4 fb роль Сервер 26.20.14.000-00000005 3 48 1024 21,33 480*2 + 1600*2 + 3200*16 10G*2 10G*4 100G*2 1G*4 База данных Сервер №7 3 40 1536 38,40 480*2 10G*2 100G*2 Балансировщик запросов к БД Сервер №8 тип 1 6 8 1024 128,00 960*2+240 1G*4 10G*4 Сервера хранилища в ОЗУ Сервер №8 тип 2 10 40 1024 25,60 960*2 1G*4 10G*2*2 16G*2*2 Сервера приложений Сервер №4 тип 1 4 52 256 4,92 960*2 10G*2 10G*2 Сервер 26.20.14.000-00000078 1 48 256 5,33 960*3 10G*2 10G*2 20:40:11 From AFidelina : картинкой не отправляется :( 20:40:28 From Igor Sablin : А ссылку на картинку кинь. 20:40:38 From AFidelina : сервер шт cpu ram ram-to-cpu hdd lan1 lan2 lan3 lan4 fb роль Сервер №8 тип 2 10 40 1024 25,60 960*2 1G*4 10G*2*2 16G*2*2 Сервера приложений 20:40:40 From Vladimir D : или в чатик телегу 20:43:15 From AFidelina : https://docs.google.com/spreadsheets/d/1Hw1ZNM5Y_i4NP9oB-USExtFkgVIQtRjUdWuztKBdnqM/edit#gid=0 20:43:54 From AFidelina : https://docs.google.com/spreadsheets/d/1Hw1ZNM5Y_i4NP9oB-USExtFkgVIQtRjUdWuztKBdnqM/edit?usp=sharing 20:43:55 From Александр Акилин : в про downwardAPI уже рассказывали? :) 20:44:05 From Igor Sablin : Нет еще 20:44:06 From Владимир : в российском облаке где-нибудь кубер поднимали как сервис? 20:45:21 From Igor N : Имеет ли смысл для публикации в "интернеты" использовать внешний, по отношению, к k8s реверс прокси? 20:46:20 From Igor N : В рамках облака, это понятно, я про свой кластер 20:47:23 From AFidelina : не знаю как ещё скинуть спеку, но в общем 10 серверов по 1Tb RAM и 40 CPU по 25,60 ан CPU получается, так же 2T ssd на каждой ноде 20:47:26 From Igor N : Я не про вашу организацию 20:47:32 From Владимир : если есть необходимость использовать закрытый с наружи кластер - балансировщики/ингресс руками поднимать? т.е. облачные провайдеры их сразу наружу выставляют... есть такие кейсы? 20:48:36 From Владимир : круто... не видел такие раньше... 20:48:51 From Vladimir D : Металлб как вообще в эксплуатации?) 20:49:10 From Vladimir D : имею ввиду подводные камни и тд 20:49:22 From Vladimir D : были слушки что не продакшн реди все еще 20:49:41 From Igor Sablin : Продакшн продакшену рознь :) 20:49:47 From Vladimir D : ну то есть можно особо не бояться?) 20:49:59 From Vladimir D : Сыпасибо!=) 20:52:03 From Отус Онлайн-образование to Vladimir D (Privately) : Помогай ) 20:52:03 From Владимир : как лучше выставить наружу tcp порт на баре-метал? не http 20:53:03 From Владимир : cgfcb,j 20:53:09 From Владимир : спасибо 20:53:44 From alex : *апплодисменты* 20:53:57 From Igor Sablin : Браво!!! 20:54:21 From Igor Sablin : Видно 20:54:30 From сергей волчков : привед Y 20:55:52 From Владимир : - 20:55:55 From Sergey Mikhaylov : - 20:57:24 From Petr : получается что даже Redis в кубере лучше не использовать.. 20:58:42 From Igor N : Да, нам это все надо, нам не дадут держать ее где-то в облаке, думаю тут таких много 20:58:49 From alex : какой хороший преподаватель. почему раньше молчал? 20:59:27 From сергей волчков : скрытая реклама курса линукс) 20:59:36 From сергей волчков : и курса СУБД 20:59:41 From Igor Sablin : И РСУБД :) 21:00:18 From Petr : я всегда знал, что БД должна жить на своей чистой железке ! 21:00:54 From alex : #ябпослушал 21:01:11 From сергей волчков : кластер тарантула (инмемори) пока выглядит в кубере неплохо 21:04:13 From alex : Блин, круто рассказываете. 21:05:22 From Petr : тут недавнор провтыкал и на Hetzner в другом датацентре сервак заказал и получил на ровном месте латенси 156мс 21:05:35 From AFidelina : вопрос, если ноды планировтаь примерно по 4CPU, то мастера задавать по 6 CPU? 21:08:58 From AFidelina : дайте критичный взгляд на архитектуру 21:09:19 From Vladimir D : Ееееее, знакомая схема =) 21:09:28 From Vladimir D : даешь pgbouncer =) 21:09:30 From alex : патрони это што? напомните для дурачков 21:09:42 From Vladimir D : управления я бы даже сказал =) 21:11:06 From alex : чем мониторить/траблшутить базы в МСА? в чат названия инструментов напишите, как будет время. 21:15:01 From Sergey Mikhaylov : Спасибо за такой исчерпывающий ответ! Даже захотелось на курс СУБД сходить :) 21:15:18 From Владимир : облако маил.ру? 21:15:23 From alex : микро сервисная архитектура 21:16:09 From OTUS Online : PMM 21:16:38 From Vladimir D : Я с экспортера из mysql8 вытаскивал кучу инфы =) 21:18:12 From Владимир : огонь :-) 21:18:31 From Sergey Mikhaylov : а как базы будут жить в СI/CD подходе? Все по старинке, клонировать базу для теста, прода и т.д? 21:18:38 From alex : захотелось сходить на курс СУБД +1 21:19:58 From Igor Sablin : Liquibase в помощь 21:20:02 From oleksiimolodchenko : Миграции откатывается ? 21:20:38 From oleksiimolodchenko : https://flywaydb.org/ 21:22:14 From Vladimir D : https://docs.google.com/spreadsheets/d/1Hw1ZNM5Y_i4NP9oB-USExtFkgVIQtRjUdWuztKBdnqM/edit#gid=0 21:22:57 From AFidelina : да 21:22:58 From Sergey Mikhaylov : а нам картинку? 21:23:02 From AFidelina : чисто физика 21:23:29 From AFidelina : давайте попробуем разобать 1 пример с 10 серверами типа 8 21:23:55 From AFidelina : как резать их на виртуалки? сколько мастерам отдавать, сколько нодам 21:23:56 From Igor Sablin : Нехилый балансировщик 21:24:33 From AFidelina : имеет ли смысл идти на iscsi или fc 21:24:44 From AFidelina : 10 серверов под кубер чисто 21:24:56 From Igor N : Сервера приложений - кубе - очевидно, остальное под инфру 21:25:03 From AFidelina : да 21:25:09 From Petr : ну iSCSI = 100G FB = 16G выбор очивиден 21:25:17 From oleksiimolodchenko : Норм кубе у вас 21:25:49 From Igor N : вы на них виртуализацию планируете или бар-метал куб? 21:26:29 From AFidelina : а как поведет себя fb при миграции виртуалок? 21:26:48 From AFidelina : да 21:26:50 From AFidelina : примерно 21:26:56 From AFidelina : web сервер :) 21:27:00 From oleksiimolodchenko : джава? 21:27:02 From AFidelina : да 21:27:04 From Igor Sablin : Фейсбук :) 21:27:11 From AFidelina : java микросервисы, они пишутся 21:27:49 From AFidelina : давайте примеры :) как бы вы разрезали? какие взяли 21:27:53 From Aleksey : а виртуализация чья? vmware или KVM? 21:27:54 From AFidelina : плагины? 21:28:02 From AFidelina : какую виртуализацию? 21:28:13 From AFidelina : не покупать :( 21:28:30 From Petr : я бы KVM или XEN 21:28:35 From Sergey Mikhaylov : совсем бесплатный же только 8 гб на хосте 21:28:38 From alex : проксокс 21:29:07 From alex : и вагрант хорошо его нарезает 21:29:08 From Igor N : У нас есть проблемы из-за виртуализации и докера поверх 21:29:12 From Igor Sablin : Это с какой версии обещает? 21:29:30 From AFidelina : какой величины бать мастера? 21:29:36 From AFidelina : если нода 1:8 21:30:49 From Igor Sablin : При этих размерах - пару тройку будет мало 21:31:08 From Igor Sablin : Линейная зависимость не всегда возникает 21:31:28 From AFidelina : не специфичное приложение 21:31:59 From AFidelina : вопросы есть по тому как будет мигрировать нода, и при этом понимать какие диски цеплять 21:32:13 From AFidelina : виртуалка 21:32:36 From AFidelina : будет отдельная полка 21:33:07 From AFidelina : и вот думаем какой кластер цеф или гластер или ещё что-нить 21:34:09 From Igor N : Что-то сказать про https://www.nomadproject.io можете? 21:35:11 From Sergey Mikhaylov : QA сессия за курс только одна? 21:35:13 From Aleksey : если vmware - то для виртуалок можно использовать npiv, и отдавать LUN-ы с СХД 21:36:01 From Igor N : интересен запуск java без контейнеров 21:36:51 From Igor N : Nomad позволяет 21:37:17 From Владимир : давайте спать :-) а то уже поздно, но жутко интересно, не могу просто уйти :-) 21:37:23 From Igor Sablin : Про финальный проект поведайте, плиз. 21:38:14 From Igor Sablin : Жаль, сейчас время больше, потом домашки навалятся 21:38:26 From Vladimir D : https://otus.ru/polls/5028/ 21:38:35 From AFidelina : может голосом? 21:41:54 From Igor N : Скорее всего, при переезде виртуалок развалится и кубер 21:43:25 From Igor N : смотря сколько свободных ресурсов 21:43:47 From Sergii Sinienok : вот тут достаточно подробно расписано про капасити пленнинг для кластера в целом и ном в частности https://storage.googleapis.com/pub-tools-public-publication-data/pdf/43438.pdf 21:43:56 From alex : Малышек-нод =) клёво звучит 21:44:03 From Aleksey : если настроен VMWare DRS - то виртуалки разъедутся по менее нагруженным нодам автоматически 21:44:17 From Igor N : Что именно решает в вашем случае виритуализация? 21:44:25 From Sergey Mikhaylov : Это надо платный, чтоб был DRS 21:45:02 From Aleksey : тогда нет миграции. только рестарт на vm на другом гипервизоре 21:46:11 From Sergey Mikhaylov : Proxmox бесплатный? 21:46:52 From Igor N : так все-таки, зачем нужен слой виртуализации, если используется кубер? 21:47:35 From Sergey Mikhaylov : Чтобы масштабировать 21:47:42 From Igor N : Что? 21:47:46 From Igor Sablin : А Flanel не проще в эксплуатации? 21:47:50 From Sergey Mikhaylov : кластер 21:48:22 From Igor N : А кубе не масштабируется? ) 21:48:49 From alex : проксмокс норм 21:49:19 From Vladimir D : Flanel не умеет network policy =( 21:50:57 From Igor N : нет 21:51:10 From Igor N : Маленьких ном слишком много будет 21:51:16 From alex : ну может легче нарезать маленькие?м? 21:51:26 From Igor N : у вас 2 слоя 21:51:33 From Igor N : Это *2 21:52:03 From Igor N : часть приложений будут падать, проверено 21:52:17 From Igor N : При миграции виртуалок будет ж...па 21:55:15 From Igor N : А самое четкое, если балансировка виртуализации начинается и подов 21:55:51 From Igor Sablin : Ну так может вам нагрузочные тесты провести в честном bare-metall так и с кучей виртуалок 21:56:22 From Igor N : Зачем такие большие мастера? 21:56:50 From Igor N : и попробуйте крав тест сделать )) 21:56:54 From Igor N : краш 21:57:05 From Igor Sablin : Нельзя планировать архитектуру не понимая, что на ней будет работать. 21:57:37 From AFidelina : у меня есть набор сервисов которые будут 21:58:22 From AFidelina : есть список приложений 22:00:37 From Vladimir D : 7^10 не?=) 22:00:47 From Igor N : ))) 22:02:38 From Igor Sablin : Всенепременно! 22:03:06 From Sergey Mikhaylov : Спасибо! 22:03:18 From Igor N : Всем спасибо, интересно. 22:03:50 From Alex : спасибо! классная QA сессия получилась! 22:04:08 From Igor Sablin : Спасибо!