SAS Text Analytics to uniwersalna platforma zaspokajająca potrzeby informacyjne w organizacji do wydobywania i zarządzania informacją dostępną w różnego rodzaju dokumentach tekstowych.
Praca składa się z czterech części, w których można znaleźć następujące zagadnienia:
– niezbędną interdyscyplinarną wiedzę,
– klasyfikację używanych metod na tle innych dziedzin zajmujących się przetwarzaniem danych,
– architekturę oprogramowania SAS Text Analytics,
– sposób reprezentacji informacji zawartej w dokumencie tekstowym,
– metodę analizy semantycznej wymiarów ukrytych,
– wybór funkcji wagującej i redukcję wymiarowości macierzy częstości,
– algorytmy grupowania dokumentów tekstowych: probabilistyczne i hierarchiczne,
– sposoby zarządzania informacją w organizacji,
– klasyfikację dokumentów,
– analizę sentymentu,
– bezpośrednie porównywanie treści dokumentów za pomocą miar odległości kosinusowej i metryki Jaccarda,
– zasady wydobywania jednostek specjalnych,
– sposoby wizualizacji danych tekstowych,
– polsko-angielski słownik pojęć z dziedziny eksploracji danych tekstowych,
– zarys zagadnień dotyczących programowania w środowisku SAS: podstawy języka 4GL języka makr,
– wykaz literatury tematycznej.
Możliwości omówionych narzędzi i zaimplementowanych algorytmów zostały zilustrowane na przykładach zbiorów danych z różnych dziedzin: zbioru krótkich wypowiedzi dotyczących sportu, pogody i zwierząt, zbioru opisów radiologicznych badań diagnostycznych jamy brzusznej oraz zbioru opinii użytkowników na temat telefonów z forów użytkowników.