Netflix to nie tylko filmy i seriale

Netflix to nie tylko filmy i seriale

Opublikowano 23.12.2019 8:16 -


Wiem, że wszyscy przywykli do tekstów, w którym pojawia się lista nowości na Netfliksie. Ja również z nich korzystam. Jednak tym razem chciałbym wspomnieć o czymś, co nie jest filmem lub serialem. Na początku grudnia 2019 roku Netflix udostępnił narzędzie dedykowane osobom, które pracują z danymi. Ważne jest to, że jest ono skierowane nie tylko do osób zajmujących się uczeniem maszynowym. Coś dla siebie znajdą także ci, których praca polega w dużej mierze na czyszczeniu informacji i ich korelowaniu. Jak nazywa się to cudowne narzędzie? Metaflow.

Na dodatek ma otwarte źródło! To nie jest drobiazg, ponieważ pozwala na prześledzenie, w jaki sposób programują ludzie pracujący w Netfliksie. Metaflow jest napisane w Pythonie, dlatego wszystkich programujących w tym języku, zachęcam do zapoznania się z kodem źródłowym opublikowanym w tym repozytorium. Myślę, że znajdzie się tam kilka dobrych praktyk, które warto podłapać.

Otwarte źródło Metaflow na pewno dostarczy wiele inspiracji osobom projektującym własnościowe narzędzia do przetwarzania danych.

W końcu nie wszyscy chcą korzystać z gotowych rozwiązań, zdaję sobie sprawę z tego, że istnieją przedsięwzięcia, których specyfika wymaga napisania autorskich rozwiązań. Może dobrym punktem wyjścia okaże się Metaflow?

A do czego to w zasadzie służy? To nie jest zbiór algorytmów, z których korzysta Netflix. Jeżeli liczyliście na to, że firma odsłoniła karty i teraz absolutnie każdy będzie mógł korzystać z ich systemu proponowania nowych produktów, to muszę Was rozczarować.

Metaflow to narzędzie pozwalające na usprawnienie pracy z danymi. Szczególnie dużą wagę położono na usprawnienie procesu rozwoju określonego rozwiązania. To nie jest tak, że jak już raz napisze się jakieś narzędzie do analizy lub opracuje mniej lub bardziej rozbudowany model wykorzystywany w uczeniu maszynowym, to praca od razu się kończy.

Droga od prototypu do produkcji potrafi być długa, bolesna i mrożąca krew w żyłach. Pojawiają się różne problemy, a jednym z najpopularniejszych jest kwestia dostępu do danych oraz sposób ich obróbki. Codzienność wielu analityków to parsowanie logów tekstowych oraz plików CSV, a także praca z bazami danych. Później przychodzi czas na implementację rozwiązania i jego utrzymanie. Rozwiązywanie problemów, monitorowanie wydajności, modyfikowanie mniejszych lub większych partii kodu. Pewnie wielu programistów powie, że to dzień, jak co dzień i na pewno bez problemu wskażą różne narzędzia, które usprawniają ich pracę.

Właśnie takim rozwiązaniem dla analityków jest Metaflow. Z pomocą tego rozwiązania można usprawnić proces pozyskiwania i obróbki danych, ich wersjonowanie, a także kontrolę wydajności zbudowanych skryptów.

Ma wbudowane wsparcie dla Amazon Web Services, ale widzę, że na GitHubie pojawiła się już prośba o wprowadzanie możliwości współpracy z Microsoft Azure.

Nawet jeżeli korzystać z innym, mniej lub bardziej podobnych, rozwiązań to warto sprawdzić, jak do procesu pracy z danymi podszedł Netflix. Może podpatrzycie coś ciekawego?

Wieści z Rozładowani.pl

Poszukujemy do DailyWeb dwóch redaktorów i korekty [Zobacz]

Plebiscyt DailyWeb na najlepszy sprzęt: DailyWebstery 2020 - [Zagłosuj]