AWS vs Paperspace vs FloydHub: Избор на вашия GPU партньор в GPU

Дълбокото обучение, което отбелязва почти всеки отрасъл днес, търсенето, както и интересът към роли като „Data Scientist“, „ML / DL инженер“, „AI Scientist“ и т.н., отбелязват безпрецедентен ръст. Все повече студенти, завършили висши студенти и професионалисти в индустрията осъзнават необходимостта да бъдат в крак с тези нововъзникващи технологии и започват курсове, сертификати и работни места в тези области. След като решите да скочите в домейна, първото нещо, което трябва да се хванете, е високата компютърна мощност. Точно там влизат графичните процесори.

Изграждането на собствена платформа за дълбоко обучение обаче е скъпо. Фактор за разходите за бърз и мощен графичен процесор, процесор, SSD, съвместима дънна платка и захранване, сметки за климатик, поддръжка и повреди на компонентите. На всичкото отгоре рискувате да изостанете от най-новия хардуер в тази бързо развиваща се индустрия.

Освен това самото сглобяване на компонентите не е достатъчно. Трябва да настроите всички необходими библиотеки и съвместими драйвери, преди да започнете да обучавате първия си модел. Хората все още продължават по този маршрут и ако планирате да използвате задълбочено обучение (> 150 часа / мес.), Изграждането на собствена работна станция за дълбоко обучение може да бъде правилният ход.

По-добра и по-евтина алтернатива е да използвате облачни базирани GPU сървъри, предоставени от харесвания на Amazon, Google, Microsoft и други, особено ако просто пробивате в този домейн и планирате да използвате изчислителната сила за обучение и експерименти. Използвам AWS, Paperspace и FloydHub през последните 4–5 месеца. Google Cloud Platform и Microsoft Azure бяха подобни на AWS в ценообразуването и предлаганията си, следователно се придържах към споменатите по-рано три.

AWS: Най-популярният доставчик на облачни услуги. Предлага сигурни и мащабируеми графични процесори, заедно с допълнителни интеграции на AI като Polly, Rekogservation, Lex и AWS Machine Learning (предлага се в някои региони).

Paperspace: Cloud VM с поддръжка на GPU за нужди на игри, проектиране и програмиране (ML / DL). Предлага най-новите NVIDIA графични процесори, заедно с предварително инсталирани пакети и няколко DL рамки на конкурентни цени.

FloydHub: Маркетиран като „Heroku за DL“, Floyd насърчава сътрудничеството с отворен код чрез въвеждане на публични проекти и набори от данни. Има собствен CLI за обучителни модели, използващи Caffe, PyTorch, Chainer, MxNet, TF, Keras и други.

Изберете екземпляр p2.xlarge с еластичен IP и 30 GB EBS обем (част от безплатен слой) на AWS, Ubuntu ML-in-box GPU + VM с 50GB SSD на Papirpace и Base Data Scientist Plan без никакви Powerups на FloydHub.

Сравнението между трите може да бъде широко, като всеки предлага уникални предимства. Въпреки това, ще го огранича до шест ключови аспекта, които биха били най-подходящи за начинаещ в тази област или някой, който планира да използва тези платформи за малки хоби проекти.

[UPDATE | Май 2018 г.]: Този пост вече е на повече от 6 месеца. В тази ера на непрекъснато променяща се технология с хардуерни / софтуерни надстройки, всяко сравнение между различни технологични платформи бързо остарява. По този начин добавих фрагменти от секции UPDATE на подходящи места в тази публикация и един, за да обобщим всичко това в края. Но актуализациите в никакъв случай не трябва да се считат за изчерпателни.

Лесна настройка:

Настройването на напълно конфигуриран екземпляр в AWS е трудно, въпреки наличието на обширни уроци за настройка в мрежата. Необходимо е да се стартират подходящи скриптове за черупките, за да се конфигурира EBS обем, да се създадат специални IP адреси и също да се инсталират необходимите пакети, софтуерни инструменти и библиотеки DL. Разбира се, можете да използвате някои от свободно достъпните AMI на Deep Learning. Независимо от това, те все още изискват малко усилия.

От друга страна, Paperspace и FloydHub се гордеят с това, че позволяват на потребителите си да настройват копията за минути. С FloydHub трябва да инсталирате отделен CLI. Предоставените инструкции обаче са доста ясни и след като влезете, се оказвате добре дошли в множество различни DL среди. Инсталирането на допълнителни пакети също не е много трудно. В Paperspace също можете да стартирате своя инстанция с няколко кликвания, въпреки че някои допълнителни пакети и рамки може да се нуждаят от ръчна инсталация за пълно изживяване.

Потребителски опит :

Качването / изтеглянето на набори от данни е най-голямата болка при използване на облачни GPU услуги. С AWS, FileZilla Client може да се използва за прехвърляне на файлове. Използването на команди като curl и wget от терминала не винаги работи и трябва да се разчита на други хакове с отворен код. AWS обаче позволява лесно изтегляне / качване на данни за състезания по Kaggle чрез kaggle-cli. Paperspace предлага 1Gbps фибри интернет и уеб браузър. Понастоящем тя също така предоставя функция за плъзгане и пускане за Windows машини (скоро идва за Linux) за директно прехвърляне на файлове от вашата локална машина към VM. Когато използвате FloydHub, човек трябва да изтегли набора от данни локално и след това да го качи в акаунта си. Кодът и данните трябва да се съхраняват отделно във вашата локална система, тъй като всеки път, когато се изпълнява скриптът, цялото съдържание на папката се качва.

Paperspace и FloydHub, които са нови участници в блока, изостават от AWS по отношение на поддръжката на общността с отворен код, наличието на уроци и видео експерименти. Официалната им документация и примери обаче са доста изчерпателни.

Неща, които трябва да се отбележи: Floyd CLI отнема известно време да свикне. Много процеси са различни от стандартното използване на терминал или на работния плот. Следователно е добра идея религиозно да преминете през документацията и често задаваните въпроси на FloydHub. Ако сте потребител на Paperspace, далеч от САЩ (Източна Европа / Азия), очаквайте известно закъснение, докато използвате работната среда.

Предлага се хардуер / софтуер:

AWS и FloydHub използват процесори на Tesla K80 (12 GB vRAM) и 61 GB RAM, докато Paperspace има опции за Quadro M4000 (8GB vRAM), двойка от серията Pascal (16–24 GB vRAM) и дори най-новата серия на Volta, Tesla V100 (16 GB vRAM) ), всеки с 30GB RAM. За да се даде приблизителна оценка, графичните процесори от серията Pascal са 3 пъти по-бързи от K80, докато V100 са 6x по-бързи от K80. AWS и Paperspace също използват SSD и специализирани графични процесори, докато FloydHub предлага избор между предварително изпратени и специализирани графични процесори.

Обичайният начин за стартиране на скриптове на тези услуги е чрез тетрадки Jupyter или директно да ги изпълнявате на терминала. Paperspace, благодарение на предоставянето на среда за работния плот, също позволява IDE като Spyder и други софтуерни програми за полезни програми. Наличието на десктоп на Linux е много удобно.

[Актуализация | Май 2018 г.]: И трите (AWS / Paperspace / FloydHub) вече са се надстроили до NVIDIA Volta графични процесори, като по този начин правят възможно бързото обучение и извод вече. По отношение на софтуера и рамките AWS актуализира своя Deep Learning AMI, който включва предварително инсталирани рамки като Chainer, TensorFlow, Keras, PyTorch. FloydHub вече има най-новите версии на всички тези рамки.

Производителност :

Като упражнение за сравнителен анализ сравних тренировката на множество модели на трите платформи в една и съща среда (Keras + Theano на Jupyter).
AWS - p2.xlarge (Tesla K80, 12GB vRAM, 61GB RAM)
Paperspace - GPU + VM (Quadro M4000, 8GB vRAM, 30GB RAM)
FloydHub - Tesla K80, 12GB vRAM, 61GB (еквивалентен на Базов план)

Обучени са два модела - модел с дълбок CNN с отпадане на база данни на Fashion MNIST и прецизно настроена предварително обучена VGG16 мрежа за задача за класификация на изображението на хранителни продукти. Изпълнението им е изобразено по-долу.

Производителност на модела на различни платформи (по-малкият е по-добър)

AWS p2.xlarge и Paperspace GPU + имат почти еквивалентна производителност, като AWS просто напредва. Ако използваме версиите Pascal на Paperspace, които все още са по-евтини от AWS, очаква се производителността на модела да бъде 3 пъти по-бърза от AWS. Въпреки че използва същия хардуер, FloydHub е с ~ 0.75x AWS, което най-вероятно се дължи на по-ниската скорост на четене на диска.

[Актуализация | Май 2018]: Това е може би най-интересната актуализация. На стартирането на същите експерименти / скриптове, както беше споменато по-горе, наскоро открих огромно подобрение на времето за обучение на FloydHub. Последните числа показват, че те са в еднаква степен с AWS или Paperspace GPU + или дори по-добре. Изглежда FloydHub е отстранил проблемите с I / O и е надстроен до най-новите версии TensorFlow, Keras и PyTorch, изглежда е направил чудеса за тази платформа. Сценарият Fashion MNIST понастоящем отнема 8s / epoch, докато тренира, докато Pre-Training VGG16 script сега отнема много по-малко (~ 100s / epoch). Въпреки че не съм проверил дали Paperspace също е довел до някои подобрения по същото, AWS определено не е. И така, засега FloydHub се очертава като най-бързият сред трите.

Допълнителни функции:

Както Paperspace, така и FloydHub предлагат персонализирани планове за екипи. Въпреки това свързаните функции на Floyd като централно споделяне на набори от данни / проекти, версия на различни типове задачи за лесна възпроизводимост и поддръжка за бърза работа. Floyd също така позволява едновременно изпълнение на задачи. AWS предлага мулти GPU екземпляри, докато FloydHub и Paperspace поддържат само единични GPU системи.

[Актуализация | Май 2018]: Въпреки че AWS се съсредоточи повече върху страничните приложения, благоприятстващи корпоративните и производствените системи, Paperspace и FloydHub и двамата въведоха много нови функции за подобряване на лекотата на използване и лесния достъп на GPU до широката общественост като цяло. Някои от тях са:
[FloydHub]: Слаба интеграция, благоприятстваща използването в екипите
[FloydHub]: Интерфейс за управление на задания, табло за управление на показателите
[FloydHub]: Бета версия на нова интерактивна среда (подобна на VM в облака), наречена Workspace
[Paperspace]: Сътрудничество като официален партньор за бързия курс на Джеръми Хауърд
[Paperspace]: Paperspace Gradient и API, заедно със собствен CLI, които са съответно инструменти за ефективно изпълнение на вашите задачи в облака и dekkit за автоматизиране на вашите VM / задания (подходящи за DevOps!)
С Workspace, Gradient и fast.ai сътрудничество, FloydHub и Paperspace се приближиха до предлагането на подобни функции.

Цени:

Ценообразуването вероятно е най-важният критерий за избор. Понастоящем таксуването се базира на секунда за AWS и FloydHub и при милисекунда подробност за Paperspace.

Инстанциите на AWS GPU започват от $ 0,9 / час с 30 GB свободен обем EBS по програмата Free Tier. 100GB SSD обем + еластичен IP би струвал допълнително $ 13 / месец. AWS също така предлага спот инстанции, които са много по-евтини, но силно податливи на колебания в цените и следователно не са надежден вариант.

Paperspace предлага графични процесори от серията Maxwell при $ 0,4 / час и Pascal GPU от $ 0,65 / час. 100GB SSD с публичен IP ще струва $ 7 / месец. Предлагат се и допълнителни комунални услуги.

FloydHub наскоро се отдалечи от модела на изплащане към добре дефинирани месечни планове. Планът Base Data Scientist струва $ 14 / месец за 10 часа GPU и 100 GB съхранение. Могат да бъдат закупени допълнителни предварителен графичен графичен час, започващ от $ 0,59 / час. Премия се начислява за специални случаи на GPU.

[Актуализация | Май 2018]: Ценовата структура на FloydHub се промени значително, докато тази на AWS и Paperspace остава почти същата. Paperspace все още остава най-достъпната опция.

Разгръщане:

Не се опитах да разгърна модел на нито една от тях. Floyd предоставя едноредова команда за разгръщане на вашия модел като REST API. AWS има множество асоциирани услуги за по-нататъшно подобряване на практическото ви приложение. Ще се актуализира, след като ги проуча.

Обобщение на основните аспекти в таблицата по-долу.

Сравняване на ключови аспекти на доставчиците на GPU услуги в облак
[Актуализация | Май 2018]: В горната диаграма няма много промени, с изключение на секцията Performance, където FloydHub е най-бързият сега. От предната страна на хардуер / софтуер и трите са на ниво привързаност.

Ако сте използвали някоя от тези услуги преди, моля, споделете вашия опит. Ако не сте го направили сега Би било хубаво предложенията ви да са по-долу.