Автор – Semen Yesylevskyy
* * *
Давно заметил интересную вещь: очень большие глобальные суперкомпьютерные инфраструктуры для конечного пользователя менее удобны и более морочливы в использовании, чем менее мощные, но локальные.
Устаревший не очень производительный локальный университетский кластер, как правило, позволяет решить задачу если не быстрее, то проще, чем супер-современный и супер-производительный огромный HPC-центр межнационального уровня.
Да, на местном кластере задача будет неспешно считаться три недели, а на мощном – три дня, но есть нюанс (с). Чтобы запустить задачу на эти три дня надо будет пройти три круга бюрократического ада, разобраться с нюансами регистрации, учета машинного времени, сложной организации файловой системы, запуска задач. Потом надо будет с матом установить нужную тебе версию софта, попутно осваивая нюансы того, куда админы всунули нужные тебе библиотеки и как заставить твою софтину их увидеть из нестандартного места. Потом надо будет понять какого хера оно не работает, что включает многодневную переписку с админами. В конце концов ты готов запускать задачу и… через сутки кластер уходит на три дня на мейнтененс, а когда очухивается, то надо все перекомпилировать т.к. поменяли версию MPI…
И это еще не говоря об очереди задач, которая может занимать дней 5 чтобы дать тебе одни сутки счета, а потом опять в очередь.
Из всех больших кластеров, которые я видел, ни один не мог бесперебойно проработать хотя бы две недели – обязательно что-то ломалось или были какие-то плановые работы. По закону подлости очередь твоих задач попадает всегда на эти эпизоды отключения.
В итоге все равно получается быстрее – две недели вместо трех, но три недели локально оно считало себе само и вообще тебя никак не парило, а две недели на крутом кластере тебе надо фактически по пол-дня напряженно что-то разруливать. Учитывая что brain time стоит дороже, чем computer time, то нафига козе баян?