Богдан Стефанюк

Push Notification via ASP.NET Core

Thu, 08 Jun 2023 19:43:17 -0500

Недавно запустили на роботі новий функціонал інбоксів. Якщо коротко, то це універсальний месенджер з підтримкою різних платформ та каналів що дозволяє вести комунікацію з кінцевими клієнтами в одному місці.

Для кращого UX треба було добавити пуш нотифікації. На цей момент у нас уже були підключені веб сокети по яким ганяли різні дані, в тому числі і про нові повідомлення. Але такі сповіщення можна відобразити тільки коли відкрита сторінка в браузері.

Тому вирішили добавити підтримку браузерних пушів. Саме про те як їх підключити та використовувати в звʼязці з ASP.NET Core я хочу розказати.

Як це працює?

Процес роботи технології пуш нотифікацій у браузері досить простий. Спочатку ми запрошуємо права на отримання сповіщень у користувача. Браузер покаже йому модалку із запитанням «Do you want to receive push notifications?».

Після того як він підтвердить вибір нам потрібно підписати користувача на отримання нотифікацій використовуючи Push API браузера. Під капотом браузер робить запит на спеціальний push service та повертає нам обʼєкт PushSubscription в якому є вся необхідна інформація для відправки пушів:

{
  "endpoint": "https://fcm.googleapis.com/fcm/send/c1KrmpTuRm…",
  "expirationTime": null,
  "keys": {
    "p256dh": "BGyyVt9FFV…",
    "auth": "R9sidzkcdf…"
  }
}

Далі ми берем цей обʼєкт і відправляємо на наш сервер, де кладемо його у базу даних або зберігаємо іншим способом щоб використовувати його в подальшому.

Якщо придивитися до структури PushSubscription, можна помітити адрес ендпоінта. Суть в тому, що наш сервер не відправляє сповіщення напряму в браузер. Для цього використовується спеціальний push service, який у кожного розробника браузера свій.

Нам повезло, що браузери змогли домовитись і стандартизувати протокол push сервіса, тому нам можна не паритись за формат даних для кожного вендора. Усі вони приймають один формат даних, який містить:

Контент повідомлення
Кому його відправити
Як саме його відправити, з яким пріорітетом, в який топік та з яким таймаутом.

Кожне повідомлення шифрується за допомогою ключів, що були створені при генерації підписки. Крім цього, потрібно також підписувати повідомлення за допомогою приватного ключа, щоб підтвердити, що це саме наш сервер відправляє повідомлення. Виглядає це ось так:

Генеруємо пару публічного та приватного ключа, які ще називають VAPID ключами. Цей крок треба зробити всього один раз. В інтернеті купа онлайн сервісів де можна згенерувати ключі.
Публічний ключ використовуємо при створенні підписки на стороні браузера. Дальше цей ключ асоціюється з ендпоінтом для конкретної підписки.
Приватний ключ використовуємо для підписки повідомлення на стороні нашого сервера.
Дальше за допомогою публічного ключа ми можемо перевірити що повідомлення було відправлено саме нашим сервером а не кимось іншим.

Структура VAPID ключа:

{
    "sub": "mailto:bohdan@stefaniuk.io",
    "public_key": "sdgdklsnvi2f0m-12dgsg...",
    "private_key": "1fn0ASFfnaksf..."
 }

Але, як в тому жарті, є нюанс. Subject в VAPID ключі є опціональним і його не обовʼязково відправляти разом з запитом на push сервіс. Проте Сафарі так не вважає, ще й вимагає специфічний формат. Коли я генерував ключі, то мав ось такий sub mailto: <bohdan@stefaniuk.io>.

В хромі все працювало чудово, а сафарі кидав помилку, що запит невалідний. Виявилось, що вони не підтримують пробіли та кутові лапки, замінив sub на mailto:bohdan@stefaniuk.io і все запрацювало.

Реалізація бекенду

Якщо у вас macOS, то ви не зможете локально протестувати сповіщення. Проблема в тому що .NET не підтримує шифрування AesGcm на маках, тому при відправці вилетить ексепшен. Поки я не знайшов як це обійти.

На стороні сервера будемо використовувати бібліотеку Lib.Net.Http.WebPush яка під капотом буде шифрувати, підписувати та відправляти наші сповіщення. Для цього вона дає декілька базових модельок та один клас для відправки пушів.

Почнемо з реалізації створення та видалення підписок та зберігання їх в БД. Для цього добавимо клас ApplicationPushSubscription, який описує структуру таблиці та підключимо його в Entity Framework контекст:

public class ApplicationPushSubscription
{
    [Key]
    public string P256Dh { get; set; }
    public string Endpoint { get; set; }
    public string Auth { get; set; }
    public Guid UserId { get; set } // Id користувача в нашій системі
}

public class DatabaseContext : DbContext
{
    public DbSet<ApplicationPushSubscription> PushSubscriptions { get; set; }
}

Тепер створимо клас PushNotificationsService в який добавимо методи для створення та видалення підписок. Метод створення буде приймати екземпляр класу PushSubscription з бібліотеки Lib.Net.Http.WebPush.

Його можна було б змінити на свій клас, щоб логіка бібліотеки не просочувалась в інші модулі але задля простоти залишимо так як є.

public class PushNotificationsService
{
    private readonly DatabaseContext _context;
    private readonly PushServiceClient _pushClient;
    
    public PushNotificationsService (DatabaseContext context, PushServiceClient pushClient)
    {
        _context = context;
        _pushClient = pushClient;
    }
    
    public async Task CreateSubscription(Guid userId, PushSubscription pushSubscription)
    {
        var subscription = new ApplicationPushSubscription()
        {
            UserId = userId,
            AccountId = currentUser.AccountId,
            Endpoint = subscription.Endpoint,
            P256Dh = subscription.GetKey(PushEncryptionKeyName.P256DH),
            Auth = subscription.GetKey(PushEncryptionKeyName.Auth)
        };
        
        if (await _context.PushSubscriptions.AnyAsync(x => x.P256Dh == subscription.P256Dh))
        {
            return;
        }
        
        _context.PushSubscriptions.Add(subscription);
    
        try
        {
            await _context.SaveChangesAsync();
        }
        catch (DbUpdateException)
        {
            var alreadyExists = await _context.PushSubscriptions.AnyAsync(x => x.P256Dh == subscription.P256Dh);
            if (!alreadyExists)
            {
                throw;
            }
        }
    }
    
    public async Task DeleteSubscription(Guid userId, string endpoint)
    {
        var subscription = await _context.PushSubscriptions
            .FirstOrDefaultAsync(x => x.UserId == userId && x.Endpoint == endpoint);
        
        if (subscription == null)
        {
            return;
        }
        
        _context.PushSubscriptions.Remove(subscription);
        await _context.SaveChangesAsync();
    }
}

Реалізовуємо метод для відправки сповіщень нашим користувачам. Він буде приймати Id користувача якому ми відправляємо повідомлення і модель з даними.

Нам залишається отримати підписку з БД, серіалізувати повідомлення в JSON і скормити це все бібліотеці.

public async Task SendNotificationAsync(Guid userId, PushNotificationModel model)
{
    try
    {
        var applicationPushSubscriptions = await _context.PushNotifications
            .Where(x => x.UserId == userId)
            .ToList();
            
        foreach(var applicationPushSubscription in applicationPushSubscriptions)
        {
            var pushSubscription = new PushSubscription();
            pushSubscription.Endpoint = applicationPushSubscription.Endpoint;
            pushSubscription.SetKey(PushEncryptionKeyName.P256DH, applicationPushSubscription.P256Dh);
            pushSubscription.SetKey(PushEncryptionKeyName.Auth, applicationPushSubscription.Auth);
            
            var settings = new JsonSerializerSettings { ContractResolver = new CamelCasePropertyNamesContractResolver() };
            var payload = JsonConvert.SerializeObject(model, settings);
    
            var pushMessage = new PushMessage(payload);
            await _pushClient.RequestPushMessageDeliveryAsync(
                pushSubscription,
                pushMessage,
                _pushClient.DefaultAuthentication,
                VapidAuthenticationScheme.WebPush);
        }
    }
    catch (PushServiceClientException exception)
    {
        if (exception.StatusCode is HttpStatusCode.NotFound or HttpStatusCode.Gone)
        {
            _context.PushSubscriptions.Remove(subscription);
            await _context.SaveChangesAsync();
        }
        else
        {
            // Re-Throw exception or log
        }
    }
    catch (Exception exception)
    {
        // Re-Throw exception or log
    }
}

Структура класу PushNotificationModel досить проста та універсальна. Я передаю заголовок сповіщення, текст та додаткові дані:

public class PushNotificationModel
{
    public string Title { get; set; }
    public string Body { get; set; }
    public object AdditionalData { get; set; }
}

Підключаємо наш сервіс в ендопінт:

[Route("api/push-notifications")]
[Authorize]
[ApiController]
public class PushNotificationsController : ControllerBase
{
    private readonly PushNotificationService _pushNotificationService;

    public PushNotificationsController(PushNotificationService pushNotificationService)
    {
        _pushNotificationService = pushNotificationService;
    }
    
    [HttpPost("subscriptions")]
    public async Task<IActionResult> CreateSubscription([FromBody] PushSubscription subscription)
    {
        var user = HttpContext.GetCurrentUser(); // Our custom method to get current logged-in user
        await _pushNotificationService.CreateSubscription(user.Id, subscription);
        return Ok();
    }

    [HttpDelete("subscriptions")]
    public async Task<IActionResult> DeleteSubscription([FromQuery] string endpoint)
    {
        var user = HttpContext.GetCurrentUser();
        await _pushNotificationService.DeleteSubscription(user.Id, endpoint);
        return Ok();
    }
}

Все що залишається — підключити наші класи в DI і все готово. Для простоти підключення можемо добавити ще один пакет Lib.AspNetCore.WebPush.

services.AddTransient<PushNotificationService>();
services.AddMemoryVapidTokenCache();
services.AddPushServiceClient(options =>
{
    var clientOptions = configuration.GetSection(nameof(PushServiceClient));
    options.Subject = clientOptions.GetValue<string>(nameof(options.Subject));
    options.PublicKey = clientOptions.GetValue<string>(nameof(options.PublicKey));
    options.PrivateKey = clientOptions.GetValue<string>(nameof(options.PrivateKey));
});

Реалізація фронтенда

Підтримка технології Web Push була додана в Сафарі тільки в версії MacOS 13 та вище.

Перше, що потрібно реалізувати на стороні клієнта — це запит прав на отримання сповіщень. Для цього використовуємо обʼєкт Notification:

// Запит у браузера прав на підключення пушей
async function askPermission() {
    const permissionPromiseResult = await new Promise(function (resolve, reject) {
        const permissionResult = Notification.requestPermission(function (result) {
            resolve(result);
        });

        if (permissionResult) {
            permissionResult.then(resolve, reject);
        }
    });
    
    if (permissionPromiseResult !== 'granted') {
        alert("We weren't granted permission.");
    } else {
        await subscribeUserToPush();
    }
}

Після того, як отримали права, нам потрібно зареєструвати service worker в якому буде логіка відображення сповіщень, створити підписку та відправити її на наш сервер.

При створенні підписки необхідно передати наш публічний ключ. Але він повинен бути в форматі масиву байтів, тому треба спочатку його декодувати і вже тоді передавати.

В результаті отримуємо обʼєкт pushSubscription, який ми відправляємо на створений раніше ендпоінт. Крім цього, ще відправляємо Bearer токен, щоб розуміти до якого користувача привʼязати підписку.

const publicKey = "vapid-public-key";

async function subscribeUserToPush() {
    const registration = await navigator.serviceWorker.register('/service-worker.js');
    const subscribeOptions = {
        userVisibleOnly: true,
        applicationServerKey: urlBase64ToUint8Array(publicKey),
    };

    var pushSubscription = await registration.pushManager.subscribe(subscribeOptions);
   
    fetch('http://localhost:5000/api/push-notifications/subscriptions', {
        method: 'POST',
        headers: {
            'Content-Type': 'application/json',
            'Authorization': 'Bearer 1245'
        },
        body: JSON.stringify(pushSubscription)
    }).then(function (response) {
        if (response.ok) {
            alert('Successfully subscribed for Push Notifications');
        } else {
            alert('Failed to store the Push Notifications subscription on server');
        }
    }).catch(function (error) {
        console.log('Failed to store the Push Notifications subscription on server: ' + error);
    });
    
    return pushSubscription;
}

function urlBase64ToUint8Array(base64String) {
    var padding = '='.repeat((4 - (base64String.length % 4)) % 4);
    var base64 = (base64String + padding).replace(/\-/g, '+').replace(/_/g, '/');

    var rawData = window.atob(base64);
    var outputArray = new Uint8Array(rawData.length);

    for (var i = 0; i < rawData.length; ++i) {
        outputArray[i] = rawData.charCodeAt(i);
    }
    return outputArray;
};

Наш сервіс воркер буде максимально простим. Для початку додамо логіку відображення пушей та передачі в них додаткових даних з сервера.

Також необхідно додати логіку обробки кліку по сповіщенню. Ми будемо перевіряти чи відкритий сайт в браузері. Якщо ні, то відкривати його в новій вкладці. А якщо у нас вже є вкладка з сайтом, то переключаємось на неї і робимо редірект на потрібну сторінку.

self.addEventListener('push', function (event) {
    var data = event.data.json();
    // {
    //     "title": "New Notification",
    //     "body": "This is the body of the notification"
    //     "additionalData": {
    //         "pageId": "12512515"
    //     }
    // }

    event.waitUntil(self.registration.showNotification(data.title, {
        body: data.body,
        icon: '/logo.png',
        data: {
            pageId: data.additionalData?.pageId,
        },
    }));
});

self.addEventListener('notificationclick', function (event) {
    var notification = event.notification;

    event.waitUntil(
        self.clients.matchAll().then(function (allClients) {
            if (allClients.length === 0) {
                self.clients.openWindow(
                    `${self.location.origin}/page/${notification?.data?.pageId}`,
                );
                notification.close();
                return;
            }

            allClients[0]?.navigate(`/page/${notification?.data?.pageId}`);
            allClients[0]?.focus();
            notification.close();
        }),
    );
});

В результаті всіх цих маніпуляцій у нас є сервер, який вміє відправляти сповіщення та клієнт, який вміє створювати підписки, відображати сповіщення та обробляти кліки.

Окремо ще можна поговорити про топіки та пріоритети сповіщень, але це виходить за рамки цієї статті. Можливо, розкажу про це пізніше :)

Ресурси

Пам’ять про минуле Землі, Liu Cixin

Fri, 12 May 2023 17:04:09 -0500

Недавно я захотів почитати якусь фантастику. Чекнув свій список книг, там була «Загадна трьох тіл» від Liu Cixin. Багато хто її рекомендував і після прочитання було зрозуміло чому. Тоді я ще не знав, що наступні одинадцять днів шукатиму будь-яку можливість прочитати бодай декілька сторінок.

До цього мене тільки двічі так втягувало в книги, це були «Мартен Іден» Джека Лондона та «На західному фронті без змін» Ремарка. Я не міг спокійно ходити в магазин, гуляти та навіть в приймати душ. Читав в транспорті, в чергах, коли йшов по вулиці, перед сном і після сну. Тобто всюди, де була така можливість.

В цей період я дуже зацінив синхронізацію Kindle, коли читаєш дома з рідера, а вже в метро продовжуєш з того ж місця, але в телефоні.

Щодо самої трилогії, то її дії починаються десь в 60-х роках минулого століття під час культурної революції в Китаї. В центрі історії донька відомого вченого, яка пішла по слідам свого батька після того, як його вбили за антиреволюційні погляди. Далі книга декілька разів змінює головних героїв, а закінчується все через десятки мільйонів років.

В книзі широко використовується велика кількість концепцій з сучасної науки, такі як астрономія, квантова фізика та математика. Це сприяє більшому зануренню в історію, адже ти починаєш вірити у реальну правдивість історії.

Єдиною проблемою для мене стали персонажі. Їх в якийсь момент з’явилось дуже багато і майже всі з китайськими іменами. На початку було важко тримати в голові хто є хто і що зробив, але згодом в контексті стає зрозуміло.

Також я для себе підмітив цікаві аналогії з сучасними подіями, а саме відношення звичайних громадян ЄС та США до війни в Україні. Досить точно передані люди, для яких війна це щось далеке, про що не хочеться думати. І, звісно, зображені прямі наслідки такої «позиції».

Післясмак для мене залишився доволі приємним, та головне — відкривається інше бачення події, проблем та їх масштабу.

Однозначно рекомендую!

EDC

Fri, 05 May 2023 09:13:23 -0500

Every Day Carry це рух, учасники якого постійно діляться речами які вони носять з собою кожного дня, радять один одному що купити, колекціонують різні штуки, пишуть гайди і т. д.

Я досить довго спостерігав за цією тусовкою і з часом сам вирішив в неї влитися. Все починається з простих та зручних наборів і чим глибше поринаєш в цю тему, тим більше ти відкриваєш для себе скільки всього люди з собою носять. Там цілі набори для виживання в міському, та не тільки, середовищі. В них і пили, і ножі, і великі аптечки, і запаси їжі, і десятки метрів паракорду, і рації, і набори для рибалки тощо

Це все виглядає дуже круто та цікаво, але я не уявляю як це все можна носити з собою кожного дня. Тому мій набір виглядає досить скромно, в ньому тільки необхідний мінімум речей. На фото мій максимальний комплект, який я можу брати з собою, але в основному ношу тільки частину цього.

На фото:

Bellroy Ventura Sling 6L — бананка на 6 літрів в якій можна носити все необхідне.
Olympus Superzoom 70G — проста та надійна плівкова мильниця.
Bellroy Flip Case 2 — мінімалістичний гаманець з правами, декількома карточками та мінімальною кількістю кеша.
Nitecore TINI 2 — мініатюрний фонарик з максимальною потужністю 500 люмен.
Мікро аптечка з пластирами, дезінфікуючими салфетками та таблетками від голови.
Apple AirPod 3
Apple AirTag
Victorinox Climber — швейцарський ніж, зручно відкривати пиво, вино чи щось підзірати.
Пару сухих серветок та серветки для виведення плям.
Звичайні сонцезахисні окуляри.
Універсальний кабель inCharge X з всіма можливими розʼємами.
Блокнот Moleskine яким я рідко користуюсь, тому, скоріше за все, перестану його носити.
iPhone 13 Mini
Годинник Casio — мій основний годинник, ношу його частіше ніж Apple Watch

В поїздки я завжди кидаю в рюкзак свій мультитул Leatherman Rebar. Це такий собі кишеньковий ящик з інструментами яким можна відремонтувати все що захочеш. Я ним пилив невелику ялинку на новий рік, підкручував меблі, знімав розряджений акумулятор в машині, а потім встановлював його назад. І багато чого ще робив.

Також в будь-якій поїздці зі мною якась із плівкових камер, тому разом з нею я беру ось такий невеликий контейнер на три катушки. Купив його в Берліні.

Щоб заряджати все своє електронне барахло в мене є GaN зарядка UGREEN Nexode 65W з набором змінних вилок під різні розетки. Нею можна одночасно заряджати до трьох пристроїв, мені вона замінила зарядку для ноутбука.

Це в прицнипі все, на останок залишу пару посилань по темі:

Reddit: Everyday Carry. What essentials do you carry on a daily basis?
Плейлист It’s a Good Trip про EDC
Найкращий відос по темі який можна знайти: EDC набор для города 2022. Переосмысление

Про нотатки

Mon, 27 Feb 2023 17:47:50 -0500

Софт який пройшов через мене

Не так давно з’явився великий тренд на ведення нотаток. Майже кожен місяць, якщо не частіше, виходять нові програми чи нові методики для ведення, групування та організації нотаток.

В ютубі сотні відосів де всі хвалять той чи інший підхід: зетелькастен, evergreen notes, PARA, другий мозок, персональна вікі, сотні їх. Це стало новою модою. Популярність настільки велика, що їй важко чинити опір. Тож і я залюбки став пасажиром цього хайп-трейну.

Як тільки виходила нова апка, то я обов’язково качав її, дивився відгуки й переносив все своє добро в нове місце. Витрачаючи велику кількість сил та часу, щоб все по новій організувати. Ця погоня за ідеальним блокнотом замінила собою саму суть створення нотаток.

В якийсь момент починається автоматичне створення нотаток заради нотаток. І все тільки для того, щоб це красиво виглядало і вписувалось у нову модель організації. В мене було з сотню нотаток про C#, хоча вся ця інформація легко гуглиться і лежить в документації. Тому я ними не користувався, а одразу йшов в гугл.

Складність інструментів та методик, з часом, приводили до того, що пропадало будь-яке бажання робити записи. Кожен раз, відкриваючи апку, я замість створення нотатки думав над тим яка в неї повинна бути структура, куди її треба покласти, щоб це відповідало методиці.

Також, за час постійних переїздів, вискочила ще одна проблема — проприєтарний софт. Кожен другий стартап старається завʼязати вас на свою екосистему без можливості вивантажити свої дані, а якщо така можливість є, то це зроблено настільки погано, що просто немає бажання влазити в це. Коли ж мова йде про нотатки, то не хочеться, щоб вони пропали разом зі збанкрутілою компанією.

Тому я на довго забив та вів записи як попало. Проте десь пів року назад я вирішив спробувати заново, але кардинально змінивши підхід.

Першим ділом під видалення попали майже всі нотатки, що стосувалися програмування. Я вибрав найпростіший інструмент, який був мені доступним із коробки — Apple Notes. Коли у вас вся екосистема від Apple, то створювати та синхронізувати нотатки стає набагато легше.

Наступним кроком була відмова від бездумного накопичування нотаток. Додаю тільки ту інформацію, яка рідко змінюється або важко гуглиться. Сюди можна віднести різні концепції із computer science чи system design. Зазвичай це важко нагуглити або інформація розкидана по різних книжках чи статтях. В такому випадку буде корисним зібрати все до купи й описати це зрозумілою для себе мовою.

Все, що стосується мов програмування, бібліотек, функцій та методів зазвичай дуже легко гуглиться і немає сенсу додавати це до себе.

Проте, одного разу мені стало тісно в Apple Notes, тоді під руку трапилась програма Nota. Власне кажучи, це звичайний редактор Markdown файлів без наворотів. Тому все, що стосується програмування та IT, переїхало туди.

І тут я хочу підмітити одну важливу думку: не кидайтесь на першу-ліпшу програму. Почніть з самого простого і розвиньте звичку просто вести нотатки. Візьміть за правило не змінювати інструмент раніше шести місяців. Користуйтесь та відмічайте те, чого вам не вистачає. Вже потім шукайте інструмент який зможе закрити саме ваші проблеми, а не навʼязані.

Зараз мій сетап виглядає максимально просто. Всі персональні нотатки живуть в Apple Notes, а все що стосується ІТ живе в Nota.

Я не проти Obsidian, Roam чи іншого подібного софта. Для когось вони дійсно ідеальні та закривають всі потреби. Я лише хочу застерегти вас від хайпу та навʼязування вам проблем чи потреб, яких ви не мали. Можливо, зрештою, найкомфортнішою програмою саме для вас стане Obsidian, але це буде чітке та кайфове рішення, яке закриватиме необхідні потреби.

Найцікавіше, що це стосується не тільки блокнотів, але і софта для todo-списків. Я мав ті ж самі проблеми, що описав. В якийсь момент був модним GTD і я намагався максимально інтегрувати його у своє життя. Правда потім дивувався чому система не працює, а насправді вона просто не була потрібна мені. Я міг обійтись звичайним текстовим файлом, але піддався хайпу і пробував натягнути сову на глобус.

Як підсумок, бажаю вам знайти ідеальні для вас інструменти, які будуть закривати ваші потреби та допомагатимуть кожного дня.

Фото-нотатки за літо

Sat, 12 Nov 2022 05:36:19 -0500

Очередь с приоритетом

Tue, 05 Jul 2022 15:29:29 -0500

Представим что нужно спроектировать список задач. У каждой задачи есть приоритет, это значит, что вначале должны быть самые приоритетные задачи. Сами задачи можно обрабатывать только по одной, мы не можем взять задачу с центра списка.

Такой список достаточно просто реализовать с помощью обычного массива. Задачи будем хранить в случайном порядке, а в момент получения текущей задачи будем искать самую приоритетную. В таком случае добавление новой задачи будет иметь сложность O(1), а вот получение O(n), потому что каждый раз нужно искать элемент с самым большим приоритетом.

Второй вариант тоже использует обычный массив, только элементы в нем хранятся уже в отсортированном виде. В таком случае сложность меняется зеркально. Добавление нового элемента будет занимать O(n), а получение O(1).

Оба варианта не совсем эффективны, особенно когда очень много данных. Здесь на помощь приходят очереди с приоритетом.

Очереди с приоритетом строятся на базе такой структуры данных как куча. Поэтому важно рассмотреть ее устройство. Куч есть большое множество, но нас сейчас интересует только двоичная куча.

Двоичная куча

Двоичная куча представляет из себя двоичное дерево где каждый элемент имеет два дочерних элемента и хранит значение не меньшее чем в дочерних. Они также делятся на два типа: максимальная и минимальная. В первой хранятся элементы в порядке убывания, а во второй в порядке возрастания.

Для хранения данных кучи удобно использовать обычные массивы. Такой подход занимает мало места и сам по себе достаточно элегантный. На как определить какой элемент массива на какой ссылается? Для этого есть две простые формулы.

2i + 1 — позволяет найти позицию левого дочернего элемента
2i + 2 — позволяет найти позицию правого дочернего элемента

Сортировка дерева

Когда добавляем или удаляем элемент из очереди, свойства кучи могут нарушиться. В таком случае нужно привести ее в порядок. Представим, что есть метод MakeHeap, который принимает на вход индекс элемента и он сортирует его поддерево.

Берем элемент по текущему индексу и сравниваем его с дочерними элементами. Если какой-то дочерний элемент больше текущего, меняем его местами с текущим и спускаемся дальше, чтобы проверить поддерево. Таким образом, мы доходим до конца изначального поддерева сортируя все его поддеревья.

Как это выглядит в коде:

private void SortHeap(int i)
{
var size = values.Count;
var left = 2 * i + 1;
var right = 2 * i + 2;
var largest = i;

if (left < size && values[left] > values[largest])
largest = left;

if (right < size && values[right] > values[largest])
largest = right;

if (largest != i)
{
var temp = values[i];
values[i] = values[largest];
values[largest] = temp;
SortHeap(largest);
}
}

Делаем кучу из обычного массива

Мы умеем сортировать элементы в поддеревьях, теперь применим этот метод для того, чтобы с обычного массива сделать кучу. Так как потомки гарантированно есть у первых (n/2 — 1) элементов, то достаточно только для них вызвать метод SortHeap.

private void MakeHeap()
{
for (int i = values.Count / 2 - 1; i >= 0; i--)
{
SortHeap(i);
}
}

Добавление нового элемента

Новый элемент сначала добавляется в конец массива, после чего запускаем сортировку дерева. Алгоритм получается достаточно простым:

if (values.Count == 0)
{
// Просто добавляем в элемент в массив, если он пустой
values.Add(value);
}
else
{
// Добавляем элемент в конец массива и запускаем сортировку дерева
values.Add(value);
for (int i = values.Count / 2 - 1; i >= 0; i--)
{
SortHeap(i);
}
}

Удаление элемента

Чтобы удалить элемент нужно поменять его с последним элементов в куче, потом удалить и запустить сортировку кучи. Так как мы делаем очередь, то будем всегда удалять первый (корневой) элемент кучи.

var size = values.Count;

var last = values.Count - 1;
var temp = values[0];
values[0] = values[last];
values[last] = temp;
values.RemoveAt(last);

for (int i = size / 2 - 1; i >= 0; i--)
SortHeap(i);

return temp;

Итого

Куча обладает необходимыми свойствами для создания очереди с приоритетом. Она хранит данные в отсортированном виде, работает быстрее чем обычный массив. Достаточно реализовать такие же методы как в обычной очереди и у нас получиться очередь с приоритетом:

Enqueue — обычная вставка в кучу, ничего даже менять не нужно.
Dequeue — обычное удаление элемента с кучи, только удаляем мы всегда элемент с 0 индексов.

Посмотреть полную реализацию можно на dotnetfiddle.

Последнее прочитанное

Wed, 22 Jun 2022 03:28:39 -0500

Редко пишу о книгах, которые читал или читаю. В этот раз решил рассказать сразу о нескольких прочитанных книгах. Они из разных жанров, но каждая чем-то меня зацепила.

Стив Джобс

Пока что это самая интересная биография из всех, которые я читал. В ней описана вся история Джобса начиная со школьных времён и заканчивая смертью. Больше всего мне понравилось описания принципов, которыми он руководствовался при создании продуктов. Очень интересно было прочитать про создание Macintosh, iPod и iPhone. Книгу прочитал с большим удовольствие и думаю что еще перечитаю спустя какое-то время.

Книга большая, за один раз не проглотить. Читал в бумажном виде и держал на столе, чтобы читать в свободную минуту. Определенно 5/5.

Твой лучший друг, желудок

Встречал эту книгу очень часто в разных блогах и статьях про питание, да и вообще про здоровый образ жизни. Спустя два года я все-таки решил ее прочитать.

В книге подробно рассказывается про то, как работает вся наша система пищеварения, за что отвечает каждый орган, как вообще пища влияет на жизнь. Вся эта информация подкреплена современными научными исследованиями, на которые много ссылок. Мне больше всего понравилась критика современных диет, БАДов и прочее. Также интересно было узнать про влияние пищи на долголетие.

Заметил только один минус — иногда встречается слишком много медицинской терминологии. Но я понимаю, что без нее никуда, да и в принципе на ней можно не заострять внимание. Главное это понять идеи, которые там заложены и общее понимание работы организма. Советую прочитать тем, кто худеет (как я) и тем, кто переживает по поводу еды.

Твой первый трек

В конце прошлого года увлёкся электронной музыкой, прошел курс, отыграл небольшой сет и даже выпустил один трек. Но мне хотелось иметь под рукой какой-то конспект, в который можно подглядывать, когда нужно.

Для меня таким конспектом и гайдом стала книга «Твой первый трек». В ней полностью разбирается процесс написание музыки, от наброска простого бита до мастеринга и психологической составляющей творчества.

В книге просто тонна иллюстраций. Весь материал очень понятно расписан, собственно это книга для тех, кто хочет себя попробовать в музыке и написать свой первый трек. Для меня она тоже оказалась очень полезной. Постоянно в нее заглядываю, чтобы вспомнить какие-то вещи, особенно что касается аранжировки, сведения и мастеринга.

Статья о том как создавалась книга: https://maximilyahov.ru/blog/all/maskeliade-design/

Грокаем алгоритмы

Это классика, это знать надо. Лучшая книга по алгоритмам и структурам данных. Пока читал, несколько раз словил «Aha moment». Каждая идея, каждый концепт очень подробно расписан и приправлен иллюстрациями. Такого качества материала я еще не встречал.

Подойдет вообще любому программисту любого уровня. Тем, кто уже понимает работу базовых алгоритмов, поможет разложить все по полочкам. Новичкам же поможет изучить все основные идеи и базовые структуры и алгоритмы.

Бинарный поиск и бинарное дерево поиска

Sat, 11 Jun 2022 13:00:56 -0500

Бинарный поиск один из самых популярных и простых алгоритмов поиска. Он активно используется во многих системах, например в базах данных для быстрого поиска и индексирования.

Первое что нужно знать — алгоритм работает только на отсортированных данных. Поэтому перед поиском нужно отсортировать массив.

Начинается алгоритм с того что берем элемент из середины массива и сравниваем с искомым значением. Если искомый элемент больше среднего, тогда искомое значение лежит в правой части массива. Идем в правую часть массива, опять берем элемент из середины и сравниваем его с искомым. В этот раз искомый элемент меньше среднего, тогда он скорее всего находится в левой части этого под массива.

Таким образом мы постоянно сравниваем искомое значение со значением из середины массива. После этого откидываем половину значений. Это здорово ускоряет поиск, потому что не нужно проверять все элементы массива. На каждом этапе отбрасывается половина элементов.

В итоге всех операций наступает момент когда искать приходиться в массиве из одного элемента. В таком случае просто сравниваем с искомым, если равны, тогда мы нашли элемент, если не, тогда не нашли.

А теперь живой пример. Есть отсортированный массив и нужно найти число 9. Берем элемент из середины — 8, сравниваем, 9 больше 8, значит нужно продолжить поиск в правой части.

Снова берем элемент из середины — 11, 9 меньше 11, значит нужно искать в левой части нашего подмассива.

Берем элемент из середины — 9, сравниваем, элементы равны, число 9 есть в массиве и храниться по индексу 4. Мы нашли нужный элемент всего за 3 шага.

Если пробовать оценить скорость работы алгоритма, то получается что она равна O(log n). Для сравнения, обычный поиск перебором имеет скорость O(n), это значит что нужно перебрать все элементы массива. Что это значит на практике?

Посмотреть реализацию на C# можно на dotnetfiddle.

Как оптимизировать сортировку?

Массив всегда должен быть отсортированным чтобы поиск работал, а это значит что при каждом добавлении нового элемента нужно запускать сортировку. Возникает вопрос, а что если сразу вставлять новый элемент в правильное место? Тогда у нас всегда будет отсортированный массив и не нужно каждый раз прогонять сортировку.

Так же подумали умные ребята и придумали бинарное дерево поиска. Это структура данных, которая основывается на работе бинарного поиска. По сути это реализация бинарного поиска в виде структуры данных.

Структура дерева достаточно простая: каждый элемент может иметь только два дочерних элемента. Их еще часто называют левым и правым. В левом дочернем элементе храниться значение, меньше чем в родительском, а в правом — больше.

Как работает поиск в дереве?

Сравниваем искомое значение со значением в корневом элементе. Если оно больше, тогда мы идем к правому дочернему элементу и повторяем процедуру. Таким образом мы начинаем с самого верха и плавно опускаемся пока не найдем элемент с таким же значением.

Вставка нового элемента работает так же как и поиск. Сравниваем новый элемент с текущим и опускаемся по дереву вниз пока не найдем подходящее место. В итоге при каждом добавлении у нас будет отсортированный набор данных.

Но что будет если всегда добавлять элементы с все большим и большим значением? Наше дерево будет выглядеть вот так:

По сути для поиска значения на нужно обойти все элементы дерева, а это значит что скорость работы упадет до O(n). Получается что бинарное дерево поиска в среднем работает со скоростью O(log n), а в худшем O(n).

Такие деревья еще называют не сбалансированными. Чтобы исправить ситуацию существуют специальные алгоритмы балансировки деревьев, которые приводят их в нормальный вид. Но рассматривать здесь я их не буду.

Итог

Бинарный поиск один из самых простых и элегантных алгоритмов поиска, который привел к созданию новой структуры данных — бинарного дерева поиска. Данная структура является очень популярной и используется по многих системах. Особенно активно в базах данных для создания индексов и оптимизации выборки данных.

Если тема интересная, то можно копнуть дальше и разобраться с:

Красно черными деревьями
Кучами
B-деревьями
и т. д.

Бонус

На сайте https://idea-instructions.com есть объяснения разных алгоритмов в стиле инструкций с икеи. Например AVL дерево

Kindle

Sun, 15 May 2022 06:51:32 -0500

Недавно у меня был День Рождения и друзья подарили электронную книгу Amazon Kindle Paperwhite. До этого я уже пробовал использовать читалку, но впечатления были смешанными. Самым неприятным были размеры книги, когда больший корпус, но экран занимает всего половину плоскости, а в некоторых книгах еще и полноценная клавиатура была.

В большинстве случаев читаю книги на телефона, технические — на компьютере. Киндл позволил отлипнуть от телефона и без отвлечений читать. Это хорошо вписывается в мои текущие настроения по уменьшению потребляемой информации, но это отдельная история.

Что мне понравилось в Kindle? Небольшой размер, думал купить большую читалку, но понял что маленький размер намного оптимальнее. Ее удобно держать одной рукой и при этом она не устаёт. Также она помещается в карманы куртки или в бананке.

Подсветка, спасает в темное время суток. Тут Амазон постарался и сделал качественно, минимальная яркость не выжигает глаза ночью, как в некоторых других ридерах.

Минусы. Заметил только один — собственный формат mobi. Если покупать книги онлайн, то проблемы с форматами не будет, почти все магазины позволяют скачать книгу в любом удобном формате. Если же качать книги с других сайтов, то могут быть проблемы, потому что не все есть в формате mobi.

На днях амазон анонсировал что будет уходить от mobi в сторону epub, но я пока не пробовал как оно работает. Обновление еще не пришло.

В общем электронная книга это крутая альтернатива тупежу в телефон. С ней реально хочется больше читать.

Транзакции в базах данных и ACID

Fri, 06 May 2022 09:20:27 -0500

Транзакции поддерживают все реляционные базы данных и некоторые NoSQL базы. Представляют они из себя простой набор команд, который должен быть выполнен как одно целое. В большинстве случает транзакция представляет некую бизнес операцию.

Базы данных гарантируют что все запросы в рамках транзакции выполняться как одно целое или не выполняться вообще. Отталкиваясь от этой концепции был придуман набор требований к транзакциям и системам, которые их используют. Эти правила гарантируют надежную работу транзакций. Такой набор требований называется ACID.

ACID гарантирует что данные в БД будут целостные независимо от любых сбоев.

Всего есть четыре свойства у транзакций:

Atomicity (атомарность) — команды внутри транзакции буду выполнены все вместе или ни одной. То есть транзакция это атомарная команда. Достигается это за счет системы откатов и журнала транзакций. Если внутри транзакции какой-то запрос выполнился с ошибкой, то все изменения, сделанные в рамках этой транзакции откатываются.
Сonsistency (консистентность) — данные должны быть консистентными после выполнения транзакции. Это значит что в них нету логических и технических противоречий. Например: суммарный баланс счетов должен оставаться неизменным, это логическая целостность. Записи в таблицах не ссылаются на удаленные идентификаторы в другой таблице — техническая целостность.
Isolation (изолированность) — транзакции зачастую обрабатываются параллельно, это значит что они не должны влиять друг на друга. Так если два человека одновременно пересылают деньги третьему, то одна транзакция может переписать данные другой и деньги потеряются. На практике изоляция достигается за счет уровней изоляции.
Durability (стойкость) — если транзакция завершена успешно, то она не может быть отменена даже при авариях, внезапном отключении света в датацентре и проблем в сети. В этом случае база данных должна сама восстановить последние изменения.

Отдельно стоит упомянуть уровни изоляции, потому что их понимание позволяет находить баги в коде, который работает с базой. Самих уровней существую большое множество, но рассмотрим четыре основных:

read uncommited — позволяет избежать потерянных обновлений, когда две транзакции изменяют одни и те же данные. Для этого одна транзакция блокирует данные, которые хочет изменить для других UPDATE операций в других транзакциях.
read committed — решает проблему грязного чтения, когда вычитываем данные во время их обновления. Это может привести к тому что мы получим частично обновленные данные. В таком случае UPDATE операции в транзакции блокируют UPDATE и SELECT операции в других транзакциях. Именно этот уровень изоляции используется по умолчанию в большинстве БД.
repeatable read — внутри транзакции может быть несколько операций SELECT, которые читают одни и те же данные. Repeatable read гарантирует что это операции внутри одной транзакции будут возвращать одинаковые данные. Даже если другие транзакции хотят их удалить или изменить. В таком случает транзакция блокирует все строчки, которые затрагивают операции UPDATE и SELECT.
serializable — исключает проблему «фантомных чтений», которые возникают при вставке новой строки между двумя операциями SELECT внутри одной транзакции. Больше всего эта проблема влияет на агрегационные запросы. Такой уровень изоляции является самым строгим, все транзакции выполняются так, будто других параллельных транзакций не существует.

Folder by Type и Folder by Feature

Sat, 30 Apr 2022 08:59:29 -0500

ASP.NET, как и большинство других фреймворков, предлагают использовать свою структуру организации файлов в проекте. Почти всегда используется folder by type подход. Он предполагает разделение файлов по типу. Так все контроллеры лежать в одной папке, вьюхи в другой и т. д.

com.example
├── Domain
│    ├── User.cs
│    └── Pet.cs
├── Controllers
│    ├── UserController.cs
│    └── PetController.cs
├── Repositories
│    ├── UserRepository.cs
│    └── PetRepository.cs
├── Services
│    ├── UserService.cs
│    └── PetService.cs
│   // and everything else in the project
└── Startup.cs

Такой подход неплохо работает на небольших проектах, когда файлов немного и фичи состоят из ограниченного количества классов. Проблемы возникают при росте проекта. Когда разрабатываешь большую фичу нужно постоянно держать в голове что в какой папке лежит, постоянно переключаясь между ними. Частично эту проблему решают IDE, но только частично.

Альтернативой является folder by feature подход, при котором все файлы одной фичи лежат в отдельной папке. В таком случае все необходимое для конкретной фичи лежит под рукой и нет ничего лишнего.

Это позволяет:

Упростить навигацию в проекте.
Построить высокоуровневую абстракцию — открываешь проект и сразу понятно что он из себя представляет, из чего состоит.
Выделить вертикальные слои.

com.example
├── Pet
│    ├── Pet.cs
│    ├── PetController.cs
│    ├── PetRepository.cs
│    └── PetService.cs
├── User
│    ├── User.cs
│    ├── UserController.cs
│    ├── UserRepository.cs
│    └── UserService.cs
│   // and everything else in the project
└── Startup.cs

Обычно проблемы возникают когда появляется общий код, который нужно использовать в нескольких частях приложения. Но, в принципе, это известная проблема и ее можно решить грамотной нарезкой на вертикальные слои. Вторая проблема достаточно банальная — привычки, большинство программистов привыкли к классической компоновки.

Ссылки:
Folder-by-type or Folder-by-feature

Интересные статьи

Sun, 24 Apr 2022 04:39:07 -0500

Решил вернуться к своему блогу после столь долгой паузы. Начну с небольшой подборки статей, которые я недавно прочитал и которые мне очень понравились.

Choose Boring Technology — статья-презентация от одного из первых разработчиков Etsy. Рассказывает про выбор технологий для проекта. Основная идея в том чтобы выбирать «скучные», а если быть точнее, то хорошо изученные и устоявшиеся технологии. Горячо советую почитать.

Introduction to architecting systems for scale — кратко о том из чего состоят приложения, которые рассчитаны для масштабирование.

Celebrate tiny learning milestones — не совсем техническая статья. Вместо того чтобы придумывать себе большие цели на год, лучше придумать набор небольших целей «майлстоунов» и идти по ним.

Get your work recognized: write a brag document — очень частая проблема это распознавание того что ты сделал на проекте. Когда приходит перформанс ревью, то бывает сложно вспомнить все что ты сделал за год. Автор советует завести документ в который нужно записывать результаты своей работы, а именно то, что было сделано и к чему это привело.

Good Logging — коротко о том какими должны быть логи чтобы ими было удобно пользоваться. Ну и сразу еще две статьи от этого же автора: Great Programmers Write Debuggable Code и Finding Bugs: Debugger versus Logging

Война в Украине

Wed, 02 Mar 2022 06:21:56 -0500

Никогда не мог подумать что война прийдет ко мне в дом. Сегодня сидишь себе спокойно, работаешь, гуляешь по улице, а уже завтра просыпаешься от взрывов в 6 утра, собираешь вещи, едешь на вокзал под звуки истребителей над головой и уезжаешь в другую часть страны.

Но больше всего меня поражает та жестокость с которой ведаться эта война. Это война не за какую-то проведу или еще что-то. Это война на уничтожение. Война на уничтожение Украины. Страны в которой я вырос и в которой я живу. Которую я очень люблю.

Хочу обратиться к читателям с белоруссии и россии. Чтобы вам там не говорили по телевизору, здесь настоящая война, здесь настоящий ад на земле. И это дело рук ваших «доблестных» солдат. В первой версии этого поста я просил выйти вас на улицу, поднимать шум. Сейчас я понимаю что это бессмысленно. Часть вас просто боится, а второй части пофиг. Попрошу вторых забыть этот блог и никогда на него не заходить.

Ниже просто подборка фото и видео, напоминание об этой войне. О том что здесь происходит.

Победа будет за нами! Слава Україні!

Электронная музыка

Sun, 26 Dec 2021 17:15:18 -0500

В этом году получилось осуществить своё давнее желание — научиться писать электронную музыку.

Эта история началась в школьные годы, тогда я очень любил смотреть видео как люди делают музыку. Тогда же я познакомился с FL Studio. Скачал, открыл и непонимающе смотрел на все это. После начал читать какие-то гайды, но все свелось к тому что я просто сидел во всяких синтезаторах, крутил случайные лучки и слушал, что получается. Приблизительно в тоже время я познакомился с программированием, и оно затянуло меня по полной.

Потом я поступил в лицей, где познакомился с моим хорошим другом. Он тоже любил электронную музыку и также интересовался как ее делают. Часто смотрели всякие видосы о музыке, особенно доставляли те на которых ребята играют на «железках». Особенно удивил Launchpad от Novation.

Потом был универ, там я уже по полной влился в программирование, но желание делать музыку не покидало. Так что я как-то раз скачал Ableton и пробовал в нем что-то делать, но все равно далеко я не продвинулся.

В начале этого года я чисто случайно наткнулся на рекламу школы электронной музыки в инстаграме. Сразу зацепило то, что занятия проходят в офлайне. Особенно после года удалённой работы сильно хотелось пообщаться с новыми людьми вживую. Также заинтересовали преподаватели, они достаточно известные ребята на украинской электронной сцене. Несколько раз даже был у них на выступлениях. Ну и последним интересным для меня пунктом стало живое выступление в конце курса на выпускной вечеринке.

Помещение школы

Учебный класс, на столе у каждого есть Ableton Push 2

Летом увидел, что школа также проводит публичные джемы, на которых ученики и другие ребята играют совместно музыку. Сходил, послушал, очень проникся атмосферой и уже на 90% был готов записаться, осталось только выбрать когда. Потом сходил на ещё один джем, после которого уже точно решил, что буду у них учиться.

В августе начался курс, длился полтора месяца, 18 занятий три раза в неделю. По воскресеньям после занятий был коворкинг на котором можно поработать над своим музлом и посоветоваться с преподавателями.

Учеба была очень плотной и насыщенной в плане информации. Все обучение происходило в Ableton, основы которого рассказывают в самом начале. Были занятия по базовой теории музыки, истории электронной музыки, синтезу звука и ударным. Также было много лекций по работе с семплами, на одной из которых делали трек из одного семпла.

Еще одной приятной фишкой стало большое комьюнити. После окончания курсов тебя добавляют в чатик в телеге, где есть все выпускники и преподаватели. Можно общаться на разные темы, собираться и делать что-то вместе. Школа регулярно проводит джемы участие в которых бесплатно.

Первое выступление

В конце курса меня ждало выступление на выпускном. Это оказался самый сложный этап для меня, потому что нужно было написать хотя бы 30 минут материала.

Постер выступления

Вначале не мог никак определиться с жанром, в котором буду писать. Начал с техно, не то чтобы часто его слушаю, так что фантазии не хватило написать что-то вменяемое. В итоге где-то две недели я просто ничего не делал и думал, что же написать. В какой-то момент чисто случайно вспомнил про один из любимых жанром: drum & bass.

В итоге получилось написать восемь треков в стиле драм энд бейс и джангл. Прогнав репетицию получил 40 минут выступления.

Стоит немного отойти в сторону и рассказать о живых выступлениях и dj сетах. Обычно живое выступление подразумевает, что музыкант играет свою музыку, часть партий которых играет автоматически, а часть исполняется вживую. Зачастую используют всякие железные синтезаторы, также есть полностью «железные» выступления, в которых не используется компьютер.

DJ сет состоит из готовых треков, которые музыкант выбирает перед выступлением и там бывает не только собственная музыка. Задача артиста сводить треки во время выступления чтобы все звучало плавно и гармонично.

Итог моего обучения можно послушать на саундклауде в виде записи моего выступления:

STEFANIUK · Module Exchange — Graducation Live Set

Железо

Параллельно с учебой я также увлекся музыкальным оборудованием: разными драм машинами, синтезаторами, педалями и прочим. В какой-то момент показалось, что мне нужно железо, чтобы моя музыка стала крутой и начала всем нравиться. Забегая на перед, скажу, что это заблуждение.

В общем, решил начать с малого и купить себе какой-то небольшой синт, в итоге остановился на Korg Volca Bass и не успел моргнуть, как скупил почти всю линейку Volca. И тут я понял, что сделал ошибку. Во-первых, за стоимость этих четырёх коробочек я мог взять один нормальный хороший синтезатор. Во-вторых, на изучение всего этого зоопарка просто не хватало времени и желания. Да и позже оказалось, что они мне не сильно нравятся, потому что неудобные.

Хорошо что я покупал их б/у и продал по той же цене, что и покупал. Решил приобрести одно устройство, над которым можно сконцентрироваться и хорошо изучить. Остановился на коробочках от Elektron. Меня подцепил красивый дизайн, удобство и мощный сэквенсор.

Купил FM синтезатор Elektron Model:Cycles и потом докупил еще Model:Samples. Получился достаточно сбалансированный сэтап, с ним я понял, что хочу делать. Но оказалось, что Model:Cycles не сильно подходит под мои задачи, а вот samples напротив очень понравился.

Вообще, история с железом очень сложная, особенно когда ты начинающий. Возникают мысли, что чтобы написать крутой трек обязательно нужно иметь крутой аналоговый синт и прочие примочки. Но главное это скилл, потому что он позволит даже с самого простого синта выжать крутой звук. Да и софтверных синтов хватает с головой.

На эту тему есть просто шикарнейший доклад Максима Ильяхова — о демонах начинающих музыкантов и аналоговых синтах. После него я более спокойно стал относиться к железкам и сейчас они играют роль крутых игрушек для взрослых, с которыми приятно поиграть после работы или просто когда хочется отдохнуть от компьютера. Буду ли я покупать себе железо? Скорее всего, да. Если покупать б/у то можно неплохо сэкономить и потом продать за те же деньги. Оно не сделает меня крутым музыкантом, я просто люблю железо.

Семплы

Вторая проблема, с которой я столкнулся это гигабайты семплов, которые я накачал из интернета. В какой-то момент у меня было около 1000 бочек. И вместо того чтобы писать музыку ты бесконечно сидишь и выбираешь нужный звук, за это время идея уходит, ты устаешь и забиваешь на это дело.

Однажды я просто взял и отфильтровал все семплы, после чего большую часть выкинул. И хочу проделать это еще раз. Это позволило не заморачиваться над конкретным звуком, а просто наслаждаться процессом. Да и когда уже есть какой-то набросок то найти более подходящие звуки намного проще.

Так что ограничения рулят. Об этом Сергей Король написал отличный пост: Самоограничения

Интересные доклады

Ну и напоследок поделюсь несколькими видео, которые мне очень сильно понравились и помогли в написании музыки:

«Как придумывать музыку» от Глеба Raumskaya
«Как записать альбом» от Сергея Бурухина

Онлайн документация на базе WordPress и IdentityServer

Wed, 22 Dec 2021 02:55:03 -0500

Как-то раз на работе появилась задача по созданию онлайн документации для нашего приложения. Документация должна быть не технической, а в виде мануалов для пользователей.

Одним из главных требований была авторизация пользователей с помощью текущего логина и пароля от основного приложения. Доступ к материалам должен определяться на основании текущих ролей пользователя.

Изначально хотели использовать готовое решение в виде SaaS сервиса с которым можно интегрироваться и спокойно пользоваться. Идея самим все написать с нуля хоть и возникала, но вернуться к ней решили только в крайнем случае.

Первым кандидатом был GitBook. У него приятный интерфейс, много опций по редактированию и оформлению текстов. Необходимый нам функционал также был, но доступен только в Enterprise версии. Цена оказалась слишком большой, пришлось искать дальше.

Подобных сервисов и так не очень много, а с необходимыми нам фичами так вообще почти нету. В какой-то момент я даже решил попробовать что-то собрать на основе статического генератора сайтов, но получилось слишком монструозно.

Wordpress

Оставался только один вариант — написать все самим, чего очень не хотелось делать. В какой-то момент я чисто случайно вспомнил про Wordpress. Не то что бы я им раньше пользовался, но много слышал о нем.

В итоге решили делать мануалы на базе Wordpress. Вообще, Wordpress это такая штука, с которой при должном умении можно слепить все что угодно. В нашем случае даже код не пришлось писать (почти).

За основу взяли готовую тему и немного допилили под наши нужды с помощью CSS. Правда в одном месте пришлось немного изменить логику отображения с помощью PHP, но это была достаточно тривиальная задача.

Весь функционал реализовали с помощью пачки плагинов. Главным среди них стал OAuth Single Sign On by miniOrange. Он позволяет логиниться в вордпесс с помощью сторонних сервисов (Google, Facebook и т. д.). Бесплатная версия покрывает почти все кейсы. На же пришлось покупать лицензию, потому что нужен был мапинг наших ролей на роли вордпреса.

За работу с пользователями в нашем приложении отвечает IdentityServer. Сделали отдельную страницу логина для SSO чтобы получить нужную куку. Также включили флаг AlwaysIncludeUserClaimsInIdToken в настройках клиента, чтобы клеймы ролей были в ID токене и их смог увидеть Wordpress.

Хостинг

С хостингом тоже все оказалось достаточно просто. Изначально хотели использовать AWS Lightsail, но основная проблема мы в отсутствии возможности перемещать снапшоты диска между аккаунтами. В итоге развернули все на EC2 с помощью готового бесплатного решения из AWS Marketplace.

Итого

Эта задача очень показательна, она позволяет понять насколько готовые решения позволяют сэкономить время и деньги. Если писать такое приложение с нуля, то это может занять месяц работы, а также время на тестирование и отлов типичных ошибок. Ну и пользователей нужно было бы учить как всем этим пользоваться.

В нашем случае настройка Wordpress заняла приблезительно неделю не очень активной работы. Также популярность Wordpress позволяет легко нанять человека, который сможет спокойно с ним работать.

Ну и стоимость порадовала. Все это обошлось в ~570$, в то время как типичный SaaS сервис берез 5$ в месяц за одного пользователя. Хостинг тоже вышел не очень дорогим (~10-15$ в месяц).

Где захостить свое приложение?

Wed, 15 Dec 2021 03:34:45 -0500

Как и многие другие разработчики я часто делаю разные небольшие приложения или пет-проекты. И очень часто возникает вопрос: где захостить приложение и его компоненты и как это сделать максимально дешево?

Я старался подобрать сервисы, которые позволяют максимально просто и дешёво запускать все необходимые для работы приложения ресурсы. В основном большинство приложений состоит из бекенда (в моем случае .NET), фронтенда и базы данных. Поэтому рассмотрим варианты развертывания каждого компонента.

Типы сервисов

Для начала стоит кратко пройтись по моделям предоставления сервисов в облаке. Эти модели описывают зоны ответственности пользователя и облачного провайдера. В разрезе данной статьи нас интересуют следующие модели:

IaaS (Infrastructure as a Service) — облачный провайдер предоставляет минимально необходимую инфраструктуру в виде виртуальных машин, сети и хранилища, а также отвечает за работоспособность. Дальнейшая настройка, в том числе и ОС, лежит на стороне пользователя. По сути это основные строительные блоки в облаке с помощью которых можно сделать все что захотим.
PaaS (Platform as a Service) представляет из себя готовую инфраструктуру для разработки и запуска приложений. При такой модели мы не думаем про настройку и управление серверами, операционными системами и т. д. Примером такого сервиса являются управляемые БД (managed databases). Облачный провайдер сам отвечает за правильную настройку сервера, ОС, сохранность данных, бекапах и бесперебойную работу. В основном пользователь только платит деньги и пользуется сервисом.
Serverless, самая свежая модель, которая очень похожа на PaaS. Только при такой модели облако само выделяет ресурсы на основании текущей нагрузки. Все настройки и планирование ресурсов скрыто от пользователя. Ему остается только загрузить свой код, а все остальное сделает облако. Также в serverless мире обычно оперируют понятием облачная функция это код, который умеет обрабатывать только одни конкретный запрос.

Наглядный пример зон ответственности в разных моделях предоставления сервисов.

Где захостить .NET бекенд?

AWS/Azure/GCP

Три самых крупных облачных провайдера, очень похожи между собой и предоставляют во многом одни и те же сервисы. Так в каждом из них можно арендовать виртуальные машины, создать управляемую БД или работать с облачными функциями. Мне больше всего нравиться AWS, но для .NET приложения Azure будет более интересным, потому что это родная для дотнета среда.

Больше всего нас интересую сервисы:

AWS EC2 (IaaS) обычные виртуальные машины. Есть маркетплейс на котором можно найти огромное множество готовых AMI образов с предустановленным софтом и нужными настройками. Например можно в один клик развернуть виртуалку с Wordpress и всем необходимым.
Azure App Service (PaaS) самый простой и нативный способ захостить .NET приложения. App Service сам разворачивает приложение из репозитория, настраивает все необходимое для работы и предоставляет полезные метрики.
AWS Lightsail (IaaS/PaaS) упрощенная версия AWS для тех кто с ним не знаком. Можно очень дешево арендовать виртуальную машину, поднять докер контейнер, развернуть БД и хранилище для файлов. Все это делается буквально в пару кликов мышкой. Первые три месяца бесплатные.
AWS Elastic Beanstalk (PaaS) умеет поднимать необходимые для работы приложения компоненты в AWS. По сути мы можем все это сделать руками, но Beanstalk автоматизирует всю рутину. Под капотом он представляет из себя набор разных CloudFormation скриптов, которые поднимают необходимые сервисы и настраивают их.

DigitalOcean

Самый простой в использовании сервис. Раньше в DO можно было арендовать только виртуальные машины, сейчас же можно создавать управляемы БД, балансировщики и т. д. На текущий момент почти все мои проекты крутяться в DigitalOcean.

Нам интересны следующие сервисы:

Droplets — виртуальная машина, есть много готовых образов на маркетплейсе под любой рантайм.
App Platform — позволяет нативно запускать приложения написанные на Python, Nodejs, Go, php или любое другое приложение в виде контейнера.

Heroku

Честно говоря я им ни разу не пользовался, но друзья очень часто советуют. Из коробки не поддерживает .NET приложения, но вроде как есть кастомные билд паки. В основном хероку позволяет развернуть приложения на Nodejs, Go, Python и т. д. Из приятных фишек: достаточно запушить код в репозиторий, все остальное сделает Heroku.

Есть бесплатный тариф, в нем приложение останавливается после пол часа без активности. Так что первые запросы к приложению могут отрабатывать немного дольше.

Где захостить фронтенд?

С фронтендом дела обстоят намного проще, есть огромное количество сервисов, которые позволяют бесплатно захостить фронт.

Мой личный фаворит — Vercel. Бесплатный план включает такие фишки как HTTPS, автоматически деплой с репозитория, собственный домен. Также он умеет разворачивать приложение под каждый PR, что позволяет протестировать изменения до того как влить код в основную ветку.

Самым же популярным сервисом является Github Pages. В нем очень просто поднять статический сайт прямо из репозитория. Бесплатный и работает сразу из коробки. В основном используется для хостинга документации к коду, блогов или резюме.

App Platform от Digital Ocean я уже упоминал выше. Можно поднять три статических сайта бесплатно, последующие за 3$ в месяц. Есть автоматический деплой, бесплатный HTTPS, возможность подключения своего домена. Сейчас в нем крутиться мое онлайн резюме. Сервис прикольный тем что в нем можно запустить и бек и фронт.

Последним хочу отметить AWS S3. По сути это объектное хранилище (хранилище для файлов) в котором есть встроенная поддержка сайтов. Для этого нужно загрузить HTML/CSS/JS файлы и включить соответствующую опцию в настройках бакета. Часто встречает в продакшене связку CloudFront + S3.

Где развернуть базу данных?

С базами данных ситуация сложнее, в основном предлагают развернуть БД за большие деньги. Такой вариант не подходит если мы хотим захостить небольшое приложение или просто его потестировать без установки БД локально. Вот несколько из вариантов:

ElephantSQL, можно развернуть PostreSQL базу данных любого размера. Бесплатный план дает базу с 20 Мб и 5 параллельными подключениями.
Mongo Atlas подойдет если нужно развернуть кластер MongoDB. Есть достаточно жирный бесплатный план.
В DigitalOcean и AWS Lightsail начиная с 15 долларов в месяц можно развернуть достаточно неплохой сервер БД, который не нужно настраивать и работает из коробки. В Lightsail первые 3 месяца бесплатно.

Полезные ссылки

Pentax 6x7

Mon, 16 Aug 2021 12:28:49 -0500

Сегодня расскажу о своей первой среднеформатной камере — Pentax 6x7. Идея попробовать средний формат возникла где-то полтора года назад, с тех пор я время от времени заходил на OLX (сайт с объявлениями) и просматривал что там есть. Изначально я смотрел в сторону советских фотоаппаратов таких как Киев-60 и Киев-88. Однажды я чисто случайно наткнулся на объявление по продаже Pentax. Цена была вполне вменяема да и состояние вроде как хорошее. Попросил у продавца дополнительных фото и оказалось что камера в отличном состоянии. Решил что стоит взять.

Впервые камера была представлена в 1969 компанией Asahi Pentax и производилась до 2000-х. Главная особенность камеры — форм-фактор, по сути это сильно увеличенная 35 мм камера. Но Pentax не является первой камерой в таком форма-факторе. С середины 1950-х годов в Германии выпускались камеры Pentacon Six.

Камеры выпускались в трех модификациях: Pentax 6x7 (мой экземпляр), Pentax 67 с добавленной функцией приподнятия зеркала и Pentax 67II. Последняя версия стала легче за счет добавления пластиковых деталей. Также в нее добавили экран и кнопки, которые позволяют настраивать камеру. Но и цена за нее в среднем в два раза больше предыдущего поколения.

Вторая отличительная черта камеры это размер и вес. Она получилась очень большой и тяжелой. Вместе с моим 150 мм. объективом она весит более 2.8 кг. Чтобы немного улучшить ситуацию вместе с камерой выпускалась деревянная ручка, которая немного спасала ситуацию, она чем-то напоминает рукоять старых станковых пулеметов.

Из других особенностей можно отметить:

Камера не является полностью механической. Спуском управляет небольшой механизм, который питается от батареек 4SR44.
Камера имеет встроенный в пентапризму экспонометр, который соединен с телом камеры с помощью цепного механизма, который легко повредить. Поэтому при разборе камеры нужно сначала снять объектив и только потом пентапризму.
Звук зеркала при спуске очень громкий, иногда люди оглядываются по сторонам.
Большое зеркало также порождает большую вибрацию, которая мешает делать кадры на выдержках длиннее 1/60.

Веб аналитика на коленке с помощью AWS

Wed, 04 Aug 2021 02:58:43 -0500

Время от времени нам с друзьями приходят идеи различных проектов, которые было бы круто запустить. Но чтобы убедиться в жизнеспособности идеи нужно ее как-то проверить. Обычно для этого создаётся лендинг, на который нагоняется трафик и потом в аналитике смотрим, как ведут себя пользователи.

В один из таких дней мы решили проверить очередную идею. Но в этот раз пользователь мог сделать много разных действий на сайте и их нужно было как-то отследить и проанализировать.

Это не какая-то уникальная проблема, обычно для таких задач берут Google Tag Manager. Но никто из нас не умел им пользоваться да и желания изучать особо не было.

И тут внезапно пришла идея как это сделать. Можно взять AWS Lambda, набросать на коленке пару строк кода, которые будут получать событие и куда-то их складывать для дальнейшего анализа. Для места хранения метрик выбрал CloudWatch. Он как раз умеет анализировать разные метрики/логи и строить красивые дашборды.

Также хотелось получать письма на почту с информацией про самые важные события. Для этого взяли SNS.

В итоге пользователь заходит на сайт, делает какое-то действие, оно летит в лямбду, которая просто кладет информацию в логи и отправляет сообщение в SNS. Дальше идем в CloudWatch и смотрим на дашборды и анализируем полученную информацию.

Актуальная аналитика

В итоге получилась относительно простая и даже гибкая аналитика, которую можно использовать сразу на нескольких проектах. Сейчас она обходиться в 0$, нам хватает одного миллиона бесплатных вызовов лямбды в месяц.

Но я все же советую изучить и использовать готовые инструменты вместо того чтобы сидеть и делать свои велосипеды. Ведь это очень скользкий путь, в какой-то момент можно забыть для чего это делалось и бесконечно улучшать и допиливать, вместо того чтобы решать задачу.

Паттерн «Репозиторий»

Thu, 08 Jul 2021 07:50:13 -0500

Репозиторий один из самых популярных паттернов для доступа к данным. Он используется для абстрагирования от конкретной реализации и нюансов работы с источником данных, внешних сервисов, файловой системой и т. д.

С одной стороны, это очень простой паттерн, который позволяет скрыть сложность работы с БД. Но с другой стороны, спросите 10 программистов описать этот шаблон и вы получите 10 разных реализаций.

Самая большая проблема этого шаблона — множество вопросов, которые возникают при его реализации и дальнейшей поддержки.

Изначально хотел сам расписать проблемы, но за меня это уже сделали, поэтому настоятельно советую прочитать статью: «Проблемы паттерна Репозиторий».

Если кратно, то:

Что делать если репозиториям нужно использовать закрытые методы друг друга?
Можно ли использовать один репозиторий на весь проект или делать репозиторий на каждую сущность?
Нужно ли дублировать методы репозитория в сервис или мы можем напрямую использовать репозиторий в контроллерах?
Нужно ли возвращать IQueryable и как это повлияет на дизайн системы в случае с .NET кодом? Если нет, то как правильно изменять сущности без использования Change Tracking?
Как правильно объединить репозиторий и UoW?

Отдельно также хочу отметить доклад: Денис Цветцих «Repository и UnitOfWork в 2020 году, must have или антипаттерн?». В нем также поднимаются проблемы репозитория, способы их решения и варианты замены этот шаблона на другой.

Репозиторий — хороший паттерн, который должен быть в арсенале любого программиста, но стоит использовать его с умом и учитывать проблемы, которые он может вызвать.

Для себя я решил что репозиторий хорошо подходит, когда вся логика приложения вписывается в CRUD модель. Но если логика более сложная или приложение подразумевает Task Base UI, тогда лучше прибегнуть к подходу CQRS. Он позволяет разбить сложную бизнес логику включая репозитории на независимые объекты, каждый из которых выполняет только одну бизнес задачу или use case.

Я кроме все прочего не люблю репозитории за:

Ограничение функциональности ORM, большенство специфических операций недоступны. В зависимости от реализации можем потерять Change Tracking.
Дополнительный мапинг из доменных объектов в DTO.
Дополнительный слой абстракции, который зачастую просто не нужен. Особенно если речь идет о небольших сервисах где логику нужно делать максимально простой и незамысловатой.
Работает только в простых CRUD сценариях.

Аренда велосипедов BikeNow

Mon, 05 Jul 2021 02:19:09 -0500

В прошлом году захотел начать кататься на велосипеде, а у родителей как раз долгое время без дела лежал велосипед на балконе. В итоге он достался мне. Думал, что буду активно ездить, но спустя десяток поездок лопнула цепь. Начал ходить по ремонтам, почти везде свободное место было только через неделю/две. В итоге я успешно забил на всё это дело, оставив велик в подъезде.

Но проблема была не только в цепи. По сути, это самый обычный велосипед, без особенностей. Из-за долгого стояния на балконе у него барахлили задние тормоза, передачи еле переключались, а некоторые вообще не работают. Но больше всего неудобств было из-за сидения после часа езды на котором дня два болела жопа.

В этом году решил попробовать арендовать велик, благо их очень много по Киеву. Друзья уже активно ими пользовались и советовали попробовать.

Одним субботним утром решили взять велики и часик покататься по району. В итоге объехали половину Киева, за 5 часов и намотав чуть больше 35 км.

Первое что заметил — удобное сиденье, после езды вообще не чувствуется дискомфорт. Каждый велик имеет небольшую корзину спереди, в которую можно сложить вещи. Раньше мне казалось что это неудобно пока сам не попробовал.

Для меня основной киллер фичей стала возможность оставлять его где захочется. Не нужно тащить домой, выделять под него место, заниматься обслуживанием и т. д. Просто подошел к нему, отсканировал QR код, сел и поехал.

Официальное приложение BikeNow.

Из минусов, приложение, которое имеет очень большую погрешность при подсчете расстояния. Приложение показывает 95 км, в то время как Apple Watch с модулем GPS показывают 133 км.

Цены очень даже адекватные, особенно если сравнивать с арендой электро-самокатов. Взять велосипед стоит 5 гривен, минута 50 копеек. Есть возможность купить подписку на 150 дней за 2500 грн, которая позволяет кататься неограниченное количество раз длинной до 30 минут.

Итог.
На текущий момент я проехал на них больше 100 км и планирую дальше ими пользоваться. Что делать со своим великом пока не решил, возможно, дойдут руки и я займусь его ремонтом, а может просто продам как есть.

Короче, советую!