Когда меня спрашивают «Как стать хорошим инженером-программистом?», я обычно рекомендую развивать следующие три направления:

• Деление и упрощение.
• Хорошие ментальные модели.
• Инструменты.

Не поймите меня неправильно, здесь нет какой-то волшебной таблетки – для того, чтобы стать достойным инженером, требуется много лет целенаправленной практики. Три вышеперечисленных навыка – это то, что практикуют самые лучшие инженеры. Почти без исключения – когда я интервьюирую человека, который хорошо разбирается в этих трех направлениях, я знаю, что он станет замечательным инженером.

Делите и упрощайте

Делите

Поскольку мы не можем удерживать более 5-7 объектов в рабочей памяти, любая нетривиальная проблема слишком велика, чтобы держать ее в голове. Мы можем либо абстрактно осмыслить проблему в целом, либо детально рассмотреть небольшую часть проблемы. Оба способа важны. Также важно знать уровень абстракции, на котором вы сейчас работаете. Либо мыслите абстрактно, используя большие метафоры и аппроксимации, или думайте точечно. Старайтесь не смешивать такие подходы.

Вот процесс, который я использую при разделении проблемы на подзадачи:

Шаг первый: удостоверьтесь, что вы понимаете проблему.

• Распишите проблему на бумаге.
• Запишите все ограничения, о которых вы знаете.
• Запишите то, что вы не знаете, но что могло бы быть полезным. Найдите такие вещи.

Шаг второй: нарисуйте диаграмму проблемной области.

• Несколько прямоугольников и стрелочек, ничего необычного.
• Эта диаграмма должна дать вам представление о том, как разделить проблему на подзадачи.
• Найдите способ нарисовать диаграмму, которая по-разному делит проблемную область. Если вы не можете этого сделать, вы, вероятно, недостаточно хорошо понимаете проблему.
• Выберите один из способов деления проблемы.

Шаг третий: выберите подзадачу и используйте тот же процесс, чтобы разделить его дальше.

• Остановитесь, когда проблемы (проблемный субдомен) станут малы и понятны.
• Решите их индивидуально и объедините результаты.

Упрощайте

Разделение хорошо работает при решении сложных проблем, потому что каждое деление удаляет один слой. Реальные системы не только глубокие, но и широкие.

Это означает, что, хотя вы, возможно, находитесь на правильном уровне абстракции, для решения проблемы все еще слишком много деталей. В этом случае возьмите проблему и придумайте простую репродукцию, иллюстрирующую проблему. Решите ее в этом упрощенном контексте, а затем примените исправление к реальной проблеме.

Представьте, что вы изучаете проблему производительности. Скажем, деля проблему снова и снова, вы выяснили, что проблема связана с сеткой  компонентов. К сожалению, у вас есть десятки и десятки строк, созданных в таблице, которые мешают вашему исследованию. Проведя час, пытаясь найти решение, сделайте шаг назад, чтобы найти способ упрощения. Создайте новое приложение, используя эту сетку, воспроизведя проблему. Упростите ее до максимума (например, может быть, один столбец с текстом). Используйте решение, чтобы устранить проблему, а затем применить исправление к ситуации в реальной ситуации.

Используйте научный подход

Используйте научный подход, чтобы улучшить понимание проблемы. Он работает следующим образом:

1. Запишите вопрос, на который вы пытаетесь ответить.
2. Запишите гипотезу.
3. Запишите прогноз, которое является результатом гипотезы.
4. Проверьте прогноз и запишите результат.
5. Повторяйте, пока не получите ответа на вопрос.

Представьте, что мы создали упрощенное приложение с использованием грид-компонента. Теперь мы можем использовать научный метод, чтобы выяснить, почему он тормозит.

Запишите вопрос: почему для рендеринга сетки требуется 5 секунд?

Подумав об этом некоторое время, мы можем получить следующую идею: может быть, обнаружение изменений работает слишком много раз? Это наша первая гипотеза, поэтому давайте ее запишем.

Прогноз, который мы можем использовать для проверки гипотезы, заключается в том, что appRef.tick будет несколько раз проявляться в профайлере.

Мы проводим эксперимент, и результат подтверждает нашу гипотезу. Давайте запишем его.

Теперь, к следующему вопросу: почему обнаружение изменений выполняется сотни раз?

Шаги 1, 3, 4 этого процесса хорошо определены. Они выполняются почти механически. Шаг 2 – выдвижение гипотезы – это то, где происходит творческая работа. И здесь хорошие ментальные модели и интуиция очень помогают.

Все инженеры умеют программировать, но не все программисты могут быть инженерами: в чем отличие?

Развивайте хорошие ментальные модели

«Точка зрения дает нам 80 баллов IQ» Алан Кей

Ученик средней школы, который знает основы алгебры, геометрии и исчисления, может решить больше математических задач, чем талантливые математики древнего Рима. Это не потому, что студент «умнее». Его IQ не выше. Он может это сделать, потому что у него хорошие ментальные модели.

Разработка хороших ментальных моделей – одна из самых важных инвестиций, которую мы можем сделать в качестве инженеров. Например, посмотрите на этот список:

• Язык программирования.
• Программа.
• Компилятор.
• Система типов
• Функциональное программирование, императивное, логическое программирование.
• Виртуальная машина
• Интерпретатор
• Сборка мусора
• База данных.
• Распределенная система
• Обмен сообщениями.

У вас есть хорошие ментальные модели для всех из них?

Иметь хорошую ментальную модель X, не означает, что вы должны быть экспертом в X. Это означает, что вы можете нарисовать диаграмму, показывающую, как работает X, и, если дано достаточно времени, может построить простую версию X.

Ментальные модели, представленные выше, являются общими. Вот некоторые ментальные модели, ориентированные на frontend:

• Bundling.
• Treeshaking.
• Change detection.
• Observable objects.
• Virtual DOM.
• CQRS/event sourcing/Redux.

Разработка ментальных моделей

Как можно развить хорошие ментальные модели?

Читайте

Во-первых, много читайте. Читайте книги, читайте статьи.

Используйте «узкие» технологии

Во-вторых, найдите технику, которая делает именно ту вещь, которую вы пытаетесь изучить, и делает только это. Если вы пытаетесь изучить функциональное программирование, возьмите Elm и потратьте неделю, пытаясь решить проблемы вместе с ним. Поскольку Elm чист, он не позволит вам использовать обходные пути – вам придется делать все по книге. Вы также не будете отвлекаться на сложность более универсального инструмента, такого как Scala.

Создавайте их сами

Наконец, создайте упрощенную версию того, что вы пытаетесь изучить с нуля. Хотите узнать что-то о компиляторе? Создайте свой собственный компилятор. Хотите изучить логическое программирование? Создайте собственный интерпретатор Пролога. Изучаете распределенные системы? Создайте крошечную программу, иллюстрирующую передачу сообщений между различными узлами в системе. Используйте ее, чтобы узнать о CAP.

Требуется год для создания компилятора распространенного языка программирования. Это потому, что вы хотите, чтобы он был быстрым, всегда корректным и обрабатывал все странные краевые случаи в языке. Взяв более простой язык (например, некоторые варианты Lisp) и игнорируя проблемы с производительностью, вы можете сделать это за один день.

Обратите внимание, что это игра, поэтому вы не можете здесь потерпеть неудачу. Вам не нужно ничего поставлять на рынок. Единственная цель этого – ваше обучение. Поэтому, даже если вы не закончили свой компилятор, но вы многому научились – вы на правильном пути.

“Должности ничего не значат”: чем отличается разработчик от инженера?

Изучите свои инструменты

Инженеры-программисты – профессионалы, которые полагаются на инструменты. Вот некоторые из инструментов, которые я использую каждый день:

• Клавиатура.
• Операционная система.
• Оболочка.
• Редакторы и IDE.
• Менеджер пакетов (brew, npm, yarn, …).
• Языки (typescript, css, …).
• Инструменты разработчика (инструменты Chrome Dev, отладчик node…).
• Фреймворки и инструменты (angular, rxjs, webpack, rollup, …).

В то время как ментальные модели абстрактны, инструменты являются конкретными. Вы можете хорошо разбираться в VSCode, но ничего не знать о VIM, хотя оба являются текстовыми редакторами. Для изучения новой раскладки клавиатуры или освоения IDE требуется несколько месяцев или даже лет. Вот почему этот список намного более узкий.

Есть две причины хорошо изучить свои инструменты:

Вы более эффективно выполняете задачи, если знаете правильные инструменты. Если вы хорошо знаете Angular, то можете создать простое приложение за час, без использования материалов Google. Аналогичным образом, вы сможете быстрее устранить проблему с отладчиком по сравнению с отладкой с помощью логов в консоли.

Еще более важной причиной для изучения ваших инструментов является то, что вы можете использовать их не задумываясь. Возьмите быстрые клавиши в  редакторе. Использование шорткатов в редакторе лучше не потому, что это быстрее (хотя так и есть), а потому, что вы можете использовать их автоматически, без необходимости проходить через меню, не задумываясь об этом вообще. Таким образом, ваш разум свободен и может думать о реальной проблеме.

Хорошее понимание инструментов вовсе не означает, что все, что вы используете, должно быть привычным. Я использую эргономичную программируемую клавиатуру, потому что я много времени думал о том, как мои пальцы двигаются при наборе текста.

Я считаю, что следующее истинно:

Любой инженер, который хорошо знает свои инструменты – это хороший инженер. Человек, который не знает своих инструментов хорошо, вряд ли будет хорошим инженером.

Вы должны быть больше, чем просто хорошим инженером

Освоение трех навыков не означает, что вы будете эффективны на своей работе или окажете существенное влияние на продукт. Способности устранить ошибку или написать новую библиотеку недостаточно для того, чтобы стать профи. Вот некоторые другие навыки, что важны не меньше:

• Ваши социальные навыки. Самые интересные проекты построены командами. Они построены людьми с разными навыками, опытом и личностями. Вы должны иметь сильные социальные навыки для работы в таких условиях.
• Ваши навыки письма. Вы должны сообщать свои идеи своей команде, вашим клиентам и сообществу. Письмо – это наиболее масштабируемый способ сделать это. Практикуйтесь в письме.
• Ваша трудовая этика.
• И многое другое.

Желаем вам удачи!

В ней не просто даются все основополагающие принципы программирования на Swift, но и основы дизайна, пользовательского опыта, микровзаимодействий, виральности, работы с платформенными функциями (встроенные покупки, Touch ID и т.п.).

Все это сопровождается созданием реальных приложений, которые авторы учебника будут создавать вместе с вами.

Скачать руководство вы можете на официальном сайте.

Параметры для контроля конкурентности

Мы рассмотрели все элементы, предоставляемые операционной системой, которые могут использоваться для создания конкурентных программ. Но, как упоминалось в предыдущей статье, они могут создавать множество проблем. Самая очевидная проблема (и в то же время наиболее сложная в определении) – несколько конкурентных задач, обращающихся к одному и тому же ресурсу. Если нет механизма для обработки этих доступов, это может привести к тому, что одна задача запишет одно значение, а другая другое значение. Когда первая задача попытается считать данные, она будет ожидать, что они будут теми, которые записаны в первый раз – однако значение будет уже изменено. Таким образом, по умолчанию используется блокировка доступа к ресурсу и предотвращение доступа к ним других тредов, если оно заблокировано.

Приоритетная инверсия (Priority Inversion)

Чтобы понять различные механизмы блокировки, нам также необходимо понять приоритеты тредов. Как вы можете догадаться, треды могут выполняться с высоким или низким приоритетами – высокие раньше, а низкие позже. Типичным примером является процесс с низким приоритетом, получающий ресурс, который требуется высокоприоритетному процессу, а затем он вытесняется процессом среднего приоритета, поэтому процесс высокоприоритетного процесса блокируется на ресурсе, в то время как средний приоритет фактически выполняется, даже обладая более низким приоритеом. Это называется Приоритетной инверсией (Priority Inversion) и может привести к тому, что тред с более высоким приоритетом будет “голодать до смерти”, так как он никогда не будет выполнен. Поэтому, определенно, надо избегать этого.

Представьте себе наличие двух высокоприоритетных тредов (1 и 2) и тред с низким приоритетом (3). Если 3 блокирует ресурс, к которому 1 хочет получить доступ, 1 придется ждать. Поскольку 2 имеет более высокий приоритет, вся его работа будет выполнена в первую очередь. В случаях, когда процесс не заканчивается, тред 3 не будет выполнен, и, таким образом, поток 1 будет заблокирован до бесконечности.

Наследование приоритета (Priority Inheritance)

Решение для Priority Inversion – это наследование приоритета (Priority Inheritance). В этом случае тред 1 отдаст приоритет треду 3, если он заблокирован. Таким образом, тред 3 и 2 имеет высокий приоритет и оба выполняются (в зависимости от ОС). Как только 3 разблокирует ресурс, высокий приоритет возвращается к треду 1, и он будет продолжать свою первоначальную работу.

Atomic

Atomic содержит ту же идею, что и транзакция в контексте базы данных. Вы наверняка захотите написать значение сразу, как одну операцию. Приложения, скомпилированные для 32 бит, могут иметь довольно странное поведение при использовании int64_t и не иметь его в atomic. Почему? Давайте подробно рассмотрим, что происходит:

int64_t x = 0

Thread1:
x = 0xFFFF

Thread2:
x = 0xEEDD

Наличие неатомной операции может привести к тому, что первый поток начнет записывать в x. Но поскольку мы работаем в 32-разрядной операционной системой, мы должны разделить значение, которое мы записываем в x, на две очереди 0xFF.

Когда в то же время Thread2 попытается записать значение в x, может произойти планирование операций в следующем порядке:

Thread1: part1
Thread2: part1
Thread2: part2
Thread1: part2

В итоге мы получим:

x == 0xEEFF

который не равен ни 0xFFFF, ни 0xEEDD.

Используя atomic, мы создаем единую транзакцию, которая приведет к следующему поведению:

Thread1: part1
Thread1: part2
Thread2: part1
Thread2: part2

В результате x содержит значение, установленное Thread2. Сам Swift не работает с atomic. В Swift Evolution предлагается добавить его, но на данный момент вам придется реализовать его самостоятельно.

Lock

Lock – это простой способ предотвратить доступ нескольких тредов к ресурсу. Сначала тред проверяет, может ли он войти в защищенную часть или нет. Если он может войти, он блокирует защищенную часть и продолжает работу. Как только он выйдет, то разблокирует его. Если при входе тред встречает заблокированную часть, то он будет ждать. Обычно это делается при помощи сна и регулярного пробуждения, что позволяет проверить, заблокирован все еще ресурс, или нет.

В iOS это можно сделать с помощью NSLock. Но имейте в виду, что при разблокировке тред должен быть тем же самым, что и блокировал.

Существуют также другие типы блокировок, такие как рекурсивные блокировки (recursive locks). С их помощью тред может блокировать ресурс несколько раз и должен отпускать его так часто, как он заблокирован. В течение всего этого времени исключается работа других тредов.

Другим типом является блокировка чтения-записи (read-write lock). Это полезно для больших приложений, когда многие треды читают ресурсы и иногда пишут. Пока тред не пишет в ресурс, все треды могут получить к нему доступ. Как только тред хочет писать, он блокирует ресурс для всех тредов. Они не могут читать, пока блокировка не будет отпущена.

На уровне процессов существует также распределенная блокировка (distributed lock). Разница заключается в том, что в случае блокирования процесса он просто сообщает об этом процессу, и процесс может решить, как справиться с этой ситуацией.

Циклическая блокировка (Spinlock)

Блокировка состоит из нескольких операций, которые «усыпляют» треды, пока они снова не включатся. Это приводит к изменениям контекста для CPU (переключением регистров и так далее для сохранения состояния тредов). Эти изменения требуют большого времени вычислений. Если у вас действительно небольшие операции, которые вы хотите защитить, вы можете использовать спинлоки. Основная идея в том, потоки опрашивают блокировку в процессе ожидания. Для этого требуется больше ресурсов, чем просто в спящих тредах. В то же время они наблюдают за изменением контекста и, таким образом, быстрее работают при небольших операциях.

Это звучит неплохо в теории, но в iOS всегда все по другому. iOS имеет концепцию Quality of Service (QoS). С QoS может случиться так, что треды с низким приоритетом не будут выполняться вообще. Наличие спинлока на таком треде и более приоритетный тред, пытающийся получить доступ к его ресурсу, приведут к тому, что более приоритетный тред будет «голодать» по нижнего треда, не разблокируя требуемый ресурс и блокируя самого себя. Как результат, спинлоки являются незаконными на iOS.

Mutex

Mutex подобен замку. Разница в том, что это могут быть разные процессы, а не только треды. К сожалению, вам придется реализовать свой собственный Mutex, поскольку Swift его не поддерживает. Это можно сделать с помощью pthread_mutex от C.

Semaphore

Семафор – это структура данных, обеспечивающая взаимную эксклюзивность в синхронизации тредов. Он состоит из счетчика, очереди FIFO и методов wait() и signal().

Каждый раз, когда тред хочет войти в защищенную часть, он вызывает wait () на семафоре. Семафор уменьшит счетчик, и пока он не равен 0, треду будет разрешено работать. В противном случае он сохранит тред в очереди. Всякий раз, когда тред выходит из защищенной части, он будет вызывать signal(), чтобы информировать семафор. Семафор сначала проверяет, есть ли очередь ожидания. Если есть, то из нее вызывается тред, который сможет продолжить работу. Если нет, он снова увеличит счетчик.

В iOS мы можем использовать DispatchSemaphores для реализации такого поведения. Предпочтительно использовать именно их, чем семафоры по умолчанию, так как только они работают на уровне ядра, если это действительно необходимо. В противном случае он просто работает намного быстрее.

Можно рассматривать двоичный семафор (семафор со значением счетчика 0 или 1) как Mutex. Но в то время как Mutex связан с механизмом блокировки, семафор является сигнальным механизмом. Это особо не помогает, так где же разница?

Механизм блокировки – это защита и управление доступом к ресурсу. Таким образом, он предотвращает одновременное обращение нескольких тредов к одному ресурсу. Сигнальная система больше напоминает вызов “Эй, я закончил! Продолжай!”. Например, если вы слушаете музыку на своем мобильном телефоне и вам звонят, общий ресурс (наушники) будет задействован на телефоне. Когда звонок закончится, система проинформирует ваш mp3-плеер при помощи сигнала для продолжения. Это тот случай, когда следует предпочесть семафор мьютексу.

Так в чем же фишка? Представьте, что у вас есть тред с низким приоритетом (1), который находится в защищенной области, и у вас есть тред с высоким приоритетом (2), который просто вызывает wait() на семафоре. 2 спит и ждет, когда семафор разбудит его. Теперь у нас есть тред (3), который имеет более высокий приоритет, чем 1. Этот тред в сочетании с QoS блокирует сигнал от 1 к семафору и, таким образом, голодают оба других потока. Таким образом, семафоры в iOS не имеют приоритетного наследования (Priority Inheritance).

Synchronized

В Objective-C существует также опция использования @synchronized. Это простой способ создания мьютекса. Поскольку у Swift его нет, мы должны копнуть глубже. Вы можете познакомиться с @synchronized, вызвав objc_sync_enter.

Поскольку я неоднократно видел этот вопрос в интернете, давайте ответим на него тоже. Насколько я знаю, это не конфиденциальный метод, поэтому его использование не исключает вас из App Store.

Concurrency Queues Dispatching

Поскольку в Swift нет мьютекса, и синхронизация также была удалена, он стал золотым стандартом для разработчиков Swift, которые используют DispatchQueues. Если вы используете его синхронно, то получите такое же поведение, как и мьютекс, так как все действия помещаются в одну очередь. Это предотвращает одновременное выполнение.

Недостатком является большое количество времени, поскольку нужно много перемещений и изменений контекста. Это не имеет значения, если ваше приложение не нуждается в высокой вычислительной мощности, но в случае, если у вас возникнут потери фреймов, вы можете рассмотреть другое решение (например, Mutex).

Dispatch Barriers

Если вы используете GCD, у вас есть больше возможностей для синхронизации вашего кода. Один из них – Dispatch Barriers. С их помощью мы можем создавать блоки защищенных частей, которые должны выполняться вместе. Мы также можем контролировать, в каком порядке выполняется асинхронный код. Это звучит странно, но представьте, что вам предстоит выполнить долгую задачу, которую можно разделить на части. Эти части необходимо запускать по порядку, но их можно снова разделить на более мелкие куски. Эти меньшие куски части могут выполняться асинхронно. Dispatch Barriers теперь можно использоваться для синхронизации больших частей, в то время как отдельные куски могут работать сами по себе.

Trampoline

Trampoline на самом деле не является механизмом, предоставляемым ОС. Это шаблон, который вы можете использовать, чтобы гарантировать, что метод вызывается в правильном треде. Идея проста: метод проверяет в начале, находится ли он в правильном треде, иначе он вызывает себя в правильном треде и возвращается. Иногда вам будет необходимо использовать вышеуказанные блокирующие механизмы для реализации процедуры ожидания. Это имеет значение только в том случае, если вызванный метод возвращает значение. В противном случае вы можете просто вернуться.

Не используйте этот шаблон слишком часто. Это заманчиво, но в то же время это путает ваших коллег. Они могут не понять, почему вы меняете треды повсюду. В какой-то момент это захламляет код и тратит ваше время.

Заключение

Вау, это был довольно тяжелый пост. Существует так много возможностей для параллельного программирования, и этот пост раскрыл вам только самые общие положения. В то же время, существует множество механизмов и много примеров для рассмотрения. Я, наверное, раздражаю всех на работе всякий раз, когда говорю о тредах, но они важны, и медленно, но верно, но мои коллеги начинают соглашаться. Как раз сегодня я должен был исправить ошибку, в которой операции получали асинхронный доступ  к массиву, а Swift, как мы узнали, не поддерживает атомарные операции. Угадайте, что? Это заканчивалось сбоем и падением. Возможно, этого не произошло бы, если бы все мы знали больше о конкурентности, но, честно говоря, я тоже этого не заметил.

Изучить свои инструменты – лучший совет, который я могу вам дать. Надеюсь мой пост дал вам отправную точку для параллелизма, а также предоставил способ контролировать хаос, который проявится, как только вы погрузитесь глубже. Удачи!

Как описывает OpenNET, на основе задаваемых разработчиком меток c упоминанием методов API и типов данных, которые следует использовать в коде, Bayou позволяет синтезировать готовые программные блоки с реализацией шаблонов использования Java API, соответствующих контексту уже имеющегося кода. Иными словами, Bayou позволяет использовать методы машинного обучения для воплощения парадигмы разработки copy&paste, при которой разработчик находит и использует готовые куски кода, применяемые в других проектах.

В целом Bayou преподносится как более умная система автодополнения кода, не просто дополняющая отдельные конструкции, а способная предлагать достаточно большие и сложные фрагменты кода, включающие обёртки для использования API, циклы и обработчики исключений. Со временем на базе Bayou планируется подготовить плагины к интегрированным средам разработки, которые позволят по мере набора кода разработчиком интерактивно предлагать подходящие по контексту куски кода.

Online-демонстрацию возможностей Bayou можно найти на данной странице. Например, при возникновении задачи написания кода для чтения из файла разработчик может добавить метку “{ /// call:readLine }”:

   import java.io.File;
   public class Test {
       void read(File file) {
           {
              /// call:readLine
           }
       }
   }

После обработки данной конструкции будет предложен готовый вариант кода:

   import java.io.BufferedReader;
   import java.io.File;
   import java.io.IOException;
   import java.io.FileNotFoundException;
   import java.io.FileReader;
   public class TestIO {
     void read(File file) {
       {
         FileReader fr1;
         BufferedReader br1;
         String s1;
         try {
           fr1 = new FileReader(file);
           br1 = new BufferedReader(fr1);
           s1 = br1.readLine();
         } catch (FileNotFoundException _e) {
         } catch (IOException _e) {
         }
         return;
       }
     }
   }

В процессе тренировки нейронной сети исходные тексты абстрагируются в древовидную синтаксическую модель, в которой отсутствуют конкретные низкоуровневые имена и операции, но сохраняется общая структура управления кодом, порядок вызова методов API и типы данных, передаваемые и возвращаемые этими методами. В нейронной сети данная информация используется для сопоставления сформированных моделей кода и задаваемых разработчиком меток.

В текущем виде система требует задания достаточно точных меток, не поддерживает указание масок для типов и может использовать лишь ограниченный набор API (java.lang, java.io и java.util). В будущем разработчики намерены реализовать возможность формирования запросов на естественном языке и добавить функциональность интерактивной оболочки, позволяющей выбирать разные варианты кода и уточнять свои пожелания. В более отдалённой перспективе планируется обеспечить генерацию более сложного кода, включающего группы методов или классов.