Jakie wyzwania stoją przed uczeniem maszynowym w obszarze danych?

Znaczenie danych dla uczenia maszynowego jest dobrze znane. Zrozumienie wzorców dostępu do danych pomoże analitykom danych w określeniu odpowiedniej infrastruktury pamięci masowej dla ich projektów. Infrastruktura danych umożliwia uczenie maszynowe. Jednak po zastosowaniu uczenia maszynowego stoją przed kluczowymi wyzwaniami dotyczącymi danych, które należy rozwiązać w pierwszej kolejności: integralnością, rzadkością i jakością. 1. Integralność Integralność danych jest gwarancją dokładności i spójności danych. Łańcuch nadzoru danych jest niezbędny, aby udowodnić, że dane nie są zagrożone podczas przesyłania rurociągami i lokalizacjami. Kiedy przechwytywanie i przetwarzanie danych jest pod kontrolą, można stosunkowo łatwo zweryfikować ich integralność. Jednak pracując z innymi, trudno to zweryfikować. Podczas generowania danych nie było certyfikatu bezpieczeństwa dla danych zewnętrznych. Nie możesz mieć pewności, że rekord danych jest dokładnie taki, jakiego oczekiwałeś, ani że otrzymane dane są dokładnie takie same jak oryginalny rekord. Istnieje kilka interesujących koncepcji dotyczących danych IOT i blockchain, ale zanim koncepcja ta zostanie powszechnie przyjęta, integralność danych zależy od połączenia technologii bezpieczeństwa i strategii. Na przykład, ponieważ dane mogą być zagrożone podczas statyki lub transmisji, dane przesyłane przez sieć powinny korzystać z protokołu HTTPS i być szyfrowane, gdy są statyczne. Z drugiej strony kontrola dostępu powinna opierać się na zasadach, aby uniknąć błędów ludzkich. 2. Rzadkość W tym przypadku rzadkość dotyczy metadanych. Generalnie pola metadanych są niekompletne. Niektóre pola zostały wypełnione, inne pozostawiono puste. Jeśli dane są generowane z jednego źródła, może to wynikać z ludzkiego braku norm lub wiedzy. Jeśli jednak dane pochodzą z różnych źródeł bez standardowej definicji metadanych, każdy zbiór danych może mieć zupełnie inne pola. Dlatego po ich połączeniu wypełnione pola mogą nie odpowiadać sobie. Obecnie nie ma standardu branżowego określającego, jakie metadane należy przechwytywać. Metadane są jednak równie ważne jak same dane. Jak kojarzyć i filtrować dane, gdy dane tego samego typu są wypełnione różnymi polami metadanych? Jeśli weźmiesz za przykład boję, początkowy czujnik danych mierzy temperaturę wody co dziesięć minut, podczas gdy nowsza boja mierzy temperaturę wody co trzy minuty. Jedynym sposobem powiązania danych jest ujawnienie ich w momencie przechwytywania za pomocą metadanych. Kiedy naukowcy przeprowadzają analizy historyczne, potrzebują metadanych, aby móc odpowiednio dostosować swoje modele. 3. Jakość Wielu analityków danych chce wykorzystywać dane ze źródeł zewnętrznych. Zwykle jednak nie ma kontroli jakości ani gwarancji sposobu przechwytywania surowych danych. Czy wierzysz w dokładność danych zewnętrznych? To jest dobry przykład. Czujniki na bojach pływających w oceanie zbierają dane o temperaturze oceanu. Jeżeli jednak czujnik nie będzie w stanie zmierzyć temperatury, zarejestruje 999. Poza tym przed 2000 rokiem do zapisu liczby lat używano tylko dwóch cyfr. Jednak po 2000 r. zarejestrowana liczba zmieniła się na cztery. Dlatego musimy zrozumieć jakość danych i sposób ich przygotowania. W takim przypadku naukowcy analizujący dane z boi mogą wykorzystać średnią, średnią, minimum i maksimum do wizualizacji oryginalnych danych, wychwycić błędy w bazie danych i odpowiednio je wyczyścić. Bezpieczna współpraca nad danymi Jeśli Twoja branża potrzebuje ciągłej wymiany danych z organizacjami zewnętrznymi, najlepiej otworzyć kod źródłowy swoich danych i metaformat, ponieważ standardy te są szersze niż wiele zastrzeżonych standardów. Co więcej, możesz powołać branżowy komitet ds. otwartych standardów, aby umożliwić innym uczestnictwo i wnoszenie wkładu. Dobrym przykładem jest „otwarty cel”, „partnerstwo publiczno-prywatne na rzecz systematycznej identyfikacji celów leków i ustalania priorytetów z wykorzystaniem danych genetycznych i genomicznych człowieka”. W szczególności badania nad ekosystemem danych stały się bardzo złożone. Partnerzy wewnątrz i na zewnątrz organizacji muszą mieć szybki dostęp do danych i uprościć zarządzanie danymi. Uczenie maszynowe niesie ze sobą wiele wyzwań. Pierwszym krokiem jest rozpoczęcie projektu z właściwymi danymi i infrastrukturą. Jak zaczac? Jakość, rzadkość i integralność danych bezpośrednio wpływają na dokładność ostatecznego modelu i stanowią jedne z największych wyzwań stojących dziś przed uczeniem maszynowym. Organizacje posiadające jasne definicje danych, zasady i badające standardy danych specyficzne dla branży odniosą korzyści z projektów krótko- i długoterminowych. Jeśli jeszcze tego nie zrobiłeś, Twoja organizacja powinna najpierw zdefiniować własne zasady gromadzenia danych i format metadanych, a następnie zastosować standardową technologię zabezpieczeń. Jakość i rzadkość danych idą w parze. Następnie ustal politykę dotyczącą metadanych i upewnij się, że przechwycone dane jakościowe będą mogły zostać wykorzystane do weryfikacji efektywności danych. Wreszcie, aby zapewnić integralność danych, można je generować. Podczas stosowania certyfikatów cyfrowych należy wymuszać SSL podczas transmisji i zawsze włączyć szyfrowanie.