Kurgan-Telecom Ru | Информационные технологии

Всем привет! И снова с вами Илья Криволапов – системный аналитик в SENSE, где мы вместе с командой трудимся над проектом одного из цветных банков РФ. Напоминаю, что в профессии я уже больше пяти лет и, несмотря на фамилию, прод все еще живой и здоровый (ну почти)!

В свободное от работы время, я преподаю курс «Хранение и обработка больших объемов данных», где успел накопить немало наблюдений, кейсов и выводов, которые не хочется держать в столе. Поэтому всё самое полезное оформил в цикл статей на Хабре – рассказываю как строить базы данных с прицелом на рост и не сойти с ума под нагрузкой.

В первой части мы говорили о базовых стратегиях масштабирования: вертикальной и горизонтальной. Покрутили в руках репликацию, рассмотрели кейсы, когда и как можно к ней обращаться. Во второй углубились в шардинг и разобрали три популярных подхода: по диапазону, хэшу и геозонам. А сегодня будет финальная, третья часть. В ней мы рассмотрим ещё три способа шардирования: директивный, круговой и динамический. Расскажу, как они устроены, когда применяются, в чём их сильные стороны и где скрывается подвох.

Материал будет полезен всем, кто проектирует, масштабирует или просто поддерживает «здоровье» базы данных: DBA, архитекторам, DevOps-инженерам, аналитикам и разработчикам.

Финальный рывок – поехали!

Привет, Хабр! Меня зовут Дима Пичугин, и уже семь лет я занимаюсь различными компонентами T Data Platform. Эта статья — результат внутреннего аудита наших инструментов, но я подумал, что она может быть интересна не только нашим аудиторам, но и более широкой аудитории. Enjoy!

Платформа данных в Т-Банке существует более 18 лет и за это время прошла значительный путь эволюции. Она помогает более чем 17 тысячам пользователей извлекать из данных ценную информацию для бизнеса. За последние годы подходы к работе с данными заметно изменились: индустрия постепенно отходила от классических концепций хранилищ данных по Инмону и Кимбеллу в сторону Data Lake, а затем — Lakehouse-архитектур. Вместе с отраслью менялась и наша платформа.

В статье расскажу, как трансформировалась T Data Platform за 18 лет развития, и опишу ее текущее устройство — без погружения в технические детали, но с акцентом на общую архитектуру. Для тех, кому интересны отдельные инструменты или решения, оставлю ссылки на подробные материалы и выступления.

Отжившие свой век, электровакуумные приборы (ЭВП) тем не менее в ограниченных и специальных случаях применяются и поныне, не говоря о моде на «ламповый звук» и цифровые индикаторы тлеющего разряда. Находит своих поклонников и любительское кустарно-лабораторное электровакуумное дело — как техническое ретрохобби — забава весьма сложная и многогранная: это и вакуумная техника, и химия, физика, электроника, и стеклодувное дело, и работа с высокими температурами и экзотическими материалами. Даже изготовление простой, более или менее современной, заводской лампы накаливания насчитывает сотни операций, повторять которые в точности для любителя и затруднительно, и не нужно. В этом смысле полезно бросить взгляд назад, к истокам, во времена появления первых простых ЭВП, в том числе и кустарной выделки, иногда самыми скромными силами и средствами.

Речь пойдёт о работах французского энтузиаста М. Н. Минье, ряд статей которого опубликован в техническом сборнике 1920 г. Их вольный перевод-конспект, вкупе со своими комментариями, ваш покорный слуга и представляет на суд почтенной публики. Вообразите — мастерская без привычного нам оборудования, приборов, материалов, даже без сетевого электричества. Только пламя спиртовки, только стекло и немного проволоки, только безмерный энтузиазм, изобретательность и любовь к радиоделу.

Привет, Хабр! Я Екатерина Разутова, специалист по внутренним коммуникациям и проектам в «ДАР» (ГК «КОРУС Консалтинг»). В этой статье расскажу про наш кейс персонализации подарков, который будет полезен HR-специалистам, руководителям IT-команд и всем, кто хочет укрепить корпоративную культуру компании.

Как продакты выбирают методологию разработки — и почему это вообще важно? Выбор подхода к разработке определяет дальнешие шаги дя разработки роадмепов, верстке бюджетов и выстраиванию процессов в команде. Это решение, от которого напрямую зависят Time to Market, эффективность команды и шанс не потратить бюджет впустую. Разберем основные продуктовые методологии и фреймворки, чтобы создать эффективную систему для принятия сложных решений.

Привет, Хабр!

В первой части нашего путешествия мы превратили голый VPS в маленькую крепость. Мы создали пользователя с sudo, настроили вход по SSH‑ключам, выставили на стражу файрвол UFW и наняли вышибалу Fail2ban. Теперь лобовые brute‑force атаки и автоматические сканеры разбиваются о наши стены, не доставляя хлопот. Мы победили, верно?

Не совсем. Наша крепость неприступна, но она слепа. Мы отбиваем тех, кто ломится в ворота, но совершенно не видим, что происходит на периметре. Что если уязвимость найдется в нашем веб‑сервере? Что если одна из запущенных нами программ начнет слать странный трафик, став частью ботнета?

Здесь нам нужна «сигнализация». Система, которая станет нашими глазами и ушами, и поднимет тревогу при малейшем подозрительном движении. Сегодня мы установим именно такую — Maltrail.

Почти пять лет прошло с момента выхода DDR5, а дискуссии о необходимости её применения в рабочих станциях идут до сих пор. На тематических форумах и в комментариях к статьям и обзорам то и дело разгораются холивары между сторонниками и противниками оперативки нового поколения. Поэтому пора разобраться с конкретными цифрами и реальными сценариями использования и наконец-то дать однозначный ответ, а стоит ли игра свеч.

Привет, Хабр! Мы сотрудники Управления контроля качества компании Capital Group. Непосредственно участвуем в процессах тестирования программных продуктов, которые используются нашими менеджерами, работниками управляющих компаний, гостями и жителями ЖК CG.

Так как релизы наших приложений происходят почти еженедельно и нагрузка на ручных тестировщиков велика, в прошлом году мы внедрили автоматизацию регрессионных тестов. В этой статье расскажем о том, как мы настраивали запуск автотестов для мобильных устройств на реальном девайсе iOS.

Изначально такие автотесты писались и прогонялись на симуляторах, что довольно удобно: можно быстро собирать разные смартфоны и планшеты, проверять работоспособность приложения на различных версиях операционных систем и платформах. Тем не менее проверки должны быть максимально приближены к реальному пользовательскому сценарию взаимодействия с приложением, поскольку, в редких случаях могут возникать ошибки, которые не воспроизводятся на симуляторе. Поэтому, для получения более точных результатов тестирования было принято решение запускать автотесты на реальных устройствах. Со смартфоном Android все получилось быстро и безболезненно, но айфон заставил нас помучаться, этап подготовки показался долгим, сложным и запутанным.

Решил немного рассказать о нашем опыте API-интеграций с крупными российскими банками. За почти шесть лет работы компании мы провели их уже больше десяти, и поделиться есть чем. 

Представьте, что на дворе — начало XVIII века, буквально расцвет эпохи мореплавания. Тысячи кораблей бороздят бескрайние океанские просторы в поисках заработков, неизведанных земель или неприятелей. Но есть одна большая проблема: суда регулярно теряются в море. Кончается это либо крушением, либо смертью от голода и жажды. Всё потому, что у моряков нет надёжного способа определить долготу — никто толком не знает, где находится корабль.

Чтобы решить эту задачу, британское правительство — обладатель самого мощного флота на тот момент — учреждает премию в 20 000 фунтов. И такой человек находится. Его зовут Джон Гаррисон, он часовщик.

Приветствую всех!

Пару лет назад я уже рассказывал про игровые автоматы. И вот сейчас ко мне в руки попало довольно интересное железо — Novomatic Coolair, игровая платформа от одного из самых продвинутых производителей такого оборудования. Сегодня мы узнаем, как были устроены «топовые» игровые автоматы и как заставить работать начинку от них. Заодно соберём своего «механического гангстера», выиграем первый миллион и тут же его проиграем. Как водится, будет много интересного.

Привет! Меня зовут Ваня, я системный администратор в Selectel. Допустим, вы уже «пришли к просветлению» и признали, что ZFS — удобная, функциональная и вообще единственная правильная файловая система. Осталось только понять, как начать ее использовать. Об этом и поговорим под катом!

Предыдущая глава

Self-supervised обучение - это процедура предварительного обучения, которая позволяет нейронным сетям использовать большие объемы неразмеченных данных в supervised стиле. В этой главе мы сравним self-supervised обучение с трансферным, схожим методом для предварительного обучения моделей, и рассмотрим практические приложения SSL. Также обсудим основные категории self-supervised обучения.

Привет! Меня зовут Александр Фролов, я data scientist отдела машинного обучения в Нетологии. В этой статье я коротко расскажу, откуда взялись LLM, чем они стали сегодня, куда всё идёт и где в этом хаосе найти точку опоры.

Постараюсь обойтись без лишней теории и академического занудства — просто обзор по верхам с точки зрения дата-сайентиста, который строит пайплайны по обработке данных.

Знаете, случаются в жизни иногда такие ситуации, когда человеку внезапно как вдарит что-нибудь в голову, увесистое такое, и ему захочется сотворить какую-нибудь такую несусветную чушь, какой заниматься никому в здравом уме и в голову не придет. Вот так и я решил раскопать звуковую подсистему God of war 2018 — с удивлением обнаружив, что стоящей информации по этой теме не так уж и много.

Подписочный сервис Apple TV+ запустили только в конце 2019 года, но за это время в нем появилось немало контента очень высокого качества. Корпорация Apple делает ставку на звездных актеров и топовых режиссеров, и хотя сервис выпускает меньше сериалов, чем конкуренты, включая их новое шоу, вы можете быть уверены, что не зря потратите время. Собрали 15 самых важных сериалов платформы.

Привет! Меня зовут Кристина, я тестировщик в ППК «Роскадастр» и ревьюер курса «Инженер по тестированию» в Яндекс Практикуме. В этой статье я расскажу, как правильно оформлять задачи в Jira — так, чтобы тестировщик сразу понял, что от него требуется, и выполнил работу без лишних уточнений и задержек.

Принято считать, что законы точных наук, таких как физика, непоколебимы. И это конечно же верно, однако есть явления, которые начинают вызывать сомнения в стойкости этих законов или, по крайней мере, в том, что мы знаем их все. Ученые из Центра им. Гельмгольца Дрезден-Россендорф (Германия) обнаружили, что размещение зеленого кристалла атакамита, который можно найти в чилийской пустыне Атакама, в магнитное поле вызывает резкое и внушительное падение его температуры. Что именно происходит во время такого нестандартного охлаждения, какую роль в этом играет структура кристалла, и как полученные знания могут быть применены на практике? Ответы на эти вопросы мы найдем в докладе ученых.

Хронический тонзиллит - одно из самых частых ЛОР-заболеваний. Данные статистики как обычно расходятся в зависимости от разных факторов, но можно сказать, что распространённость этого заболевания среди населения в возрасте от 20 до 50 лет составляет в среднем от 5 до 15%.

Сегодня я хочу разобрать клинический случай, особенно актуальный для пациентов, годами живущих с вялотекущим хроническим тонзиллитом и сомневающихся в радикальном решении.

Нейротехнологии постепенно выходят за пределы лабораторий и становятся поддержкой для людей с нарушениями здоровья. Уже тестируются мозговые импланты вроде Neuralink, помогающие пациентам управлять компьютером или протезом. Но исследователи из медицинского центра UC Davis сделали следующий шаг: научились озвучивать мысли людей. Новый нейроинтерфейс считывает сигналы из речевой зоны мозга и синтезирует голос — без промежуточных действий со стороны пациента. Давайте разбираться, что это за проект.