Projekty i tematy analizy nastrojów dla początkujących [2022]

Opublikowany: 2021-01-09

Studiujesz analizę sentymentu i chcesz sprawdzić swoją wiedzę? Jeśli tak, to trafiłeś we właściwe miejsce. W tym artykule omawiamy pomysły dotyczące projektów analizy nastrojów, dzięki którym możesz sprawdzić swoją wiedzę i zaprezentować swoje zrozumienie.

Wiemy, jak trudno jest znaleźć świetne pomysły na projekty. Wiemy też, jak korzystne jest kończenie projektów. Dzięki projektom możesz poszerzyć swoją wiedzę, ulepszyć swoje portfolio i znaleźć lepsze role.

Dołącz do najlepszego kursu uczenia maszynowego online z najlepszych uniwersytetów na świecie — studiów magisterskich, programów podyplomowych dla kadry kierowniczej i zaawansowanego programu certyfikacji w zakresie uczenia maszynowego i sztucznej inteligencji, aby przyspieszyć swoją karierę.

Więc bez zbędnych ceregieli zacznijmy.

Spis treści

Co to jest analiza nastrojów?

Analiza nastrojów to rodzaj eksploracji danych, w którym mierzysz skłonność do opinii ludzi za pomocą NLP (przetwarzania języka naturalnego), analizy tekstu i lingwistyki komputerowej. Analizy nastrojów wykonujemy głównie w publicznych recenzjach, platformach społecznościowych i podobnych witrynach. Poniżej przedstawiono główne rodzaje analizy sentymentu:

Drobnoziarnisty

Szczegółowa analiza sentymentu daje dokładne wyniki tego, co opinia publiczna jest na ten temat. Swoje wyniki sklasyfikowała w różnych kategoriach, takich jak: Bardzo Negatywna, Negatywna, Neutralna, Pozytywna, Bardzo Pozytywna.

Wykrywanie emocji

Ten rodzaj analizy sentymentu identyfikuje emocje, takie jak gniew, szczęście, smutek i inne. Wiele razy będziesz używać leksykonów do rozpoznawania emocji. Jednak leksykony mają również wady iw takich przypadkach trzeba użyć algorytmów ML.

Na podstawie aspektu

W analizie sentymentu opartej na aspektach patrzysz na aspekt tego, o czym ludzie mówią. Załóżmy, że masz recenzje smartfona, możesz chcieć zobaczyć, co ludzie mówią o jego żywotności na baterii lub rozmiarze ekranu.

Wielojęzyczny

Czasami organizacje muszą przeanalizować tekst w różnych językach. Ta forma analizy nastrojów jest sporym wyzwaniem i wymaga wiele wysiłku, ponieważ potrzeba wielu zasobów.

Analiza nastrojów ma wiele zastosowań w różnych branżach. Ponieważ pomaga to zrozumieć opinię publiczną, firmy wykorzystują analizę sentymentu do przeprowadzania badań rynkowych i ustalania, czy ich klienci lubią dany produkt (lub usługę), czy nie. Następnie, zgodnie z wynikami analizy sentymentu, organizacja może zmodyfikować odpowiedni produkt lub usługę i osiągnąć lepsze wyniki.

Podsumowując, pomaga firmom lepiej zrozumieć swoich klientów. Firmy mogą lepiej służyć swoim klientom, gdy wiedzą, gdzie są w tyle, a gdzie się wyróżniają.

W poniższych punktach omówiliśmy kilka wybitnych pomysłów na projekty analizy nastrojów, wybierz jeden zgodnie ze swoimi zainteresowaniami i wiedzą:

Pomysły na projekty analizy nastrojów

Poniżej przedstawiamy nasze projekty analizy sentymentu. Na naszej liście znajdują się projekty na wszystkich poziomach zaawansowania, dzięki czemu możesz wygodnie wybrać:

1. Analizuj recenzje produktów Amazon

Amazon to największy sklep e-commerce na świecie. Oznacza to, że ma również jeden z największych dostępnych asortymentów. Wiele razy firmy chcą zrozumieć opinię publiczną na temat ich produktu i dowiedzieć się, co jest za to odpowiedzialne. W tym celu przeprowadzają analizę sentymentu w swoich recenzjach produktów.

Pomaga im rozpoznać podstawowe problemy z ich produktami (jeśli takie istnieją). Niektóre produkty mają tysiące recenzji na Amazon, a inne mają tylko kilkaset.

Jest to jeden z najczęstszych projektów analizy sentymentu, ponieważ zapotrzebowanie na taką wiedzę jest bardzo duże. Firmy chcą, aby eksperci analizowali ich recenzje produktów w celu zbadania rynku.

Zestaw danych dla tego projektu można pobrać tutaj: Zestaw danych recenzji produktów Amazon .

Praca nad tym projektem pozwoli Ci zapoznać się z wieloma aspektami analizy sentymentu. Jeśli jesteś początkujący, możesz zacząć od małego produktu i analizować recenzje tego samego. Z drugiej strony, jeśli szukasz wyzwania, możesz wziąć popularny produkt i przeanalizować jego recenzje.

2. Zgniłe pomidory i ich recenzje

Rotten Tomatoes to witryna z recenzjami, w której znajdziesz zbiór opinii krytyków na temat filmów i programów. Możesz tam znaleźć recenzje prawie każdego programu, serialu lub dramatu. Trzeba przyznać, że jest to również świetne miejsce do pozyskiwania danych.

Możesz przeprowadzić analizę sentymentu w recenzjach prezentowanych na tej stronie w ramach projektów analizy sentymentu. Sektor rozrywkowy bardzo poważnie traktuje recenzje krytyków. Analizując recenzje krytyków, firma produkcyjna może zrozumieć, dlaczego jej konkretny tytuł odniósł sukces (lub nie powiódł się). Recenzje krytyków mają również duży wpływ na komercyjny sukces tytułu.

Dzięki analizie nastrojów możesz dowiedzieć się, jaka jest ogólna opinia krytyków na temat konkretnego filmu lub programu. Ten projekt to doskonały sposób, aby dowiedzieć się, w jaki sposób analiza nastrojów może pomóc firmom rozrywkowym, takim jak Netflix.

Zestaw danych dla tego projektu można pobrać tutaj: Zestaw danych Rotten Tomatoes .

3. Analiza nastrojów na Twitterze

Twitter to świetne miejsce do przeprowadzania analizy sentymentu. Za pośrednictwem tej platformy możesz uzyskać opinię publiczną na dowolny temat. Jest to jeden z pomysłów na projekt analizy sentymentu na średnim poziomie. Przed przystąpieniem do tego zadania powinieneś mieć pewne doświadczenie w przeprowadzaniu eksploracji opinii (inna nazwa analizy sentymentu). Ponieważ jest to popularny pomysł na projekt, omówiliśmy bardziej szczegółowo:

Warunki wstępne

Powinieneś mieć podstawową wiedzę z zakresu programowania. Możesz być zaznajomiony z Pythonem lub R (byłoby świetnie, gdybyś był zaznajomiony z obydwoma). Jednak nie jest konieczna wiedza ekspercka na temat programowania. Oprócz programowania powinieneś także wiedzieć, jak dzielić zbiory danych i korzystać z RESTful API, ponieważ będziesz musiał tutaj użyć Twitter API. Powinieneś również znać Naive Bayes Classifier, ponieważ będziemy go używać do klasyfikowania naszych danych w dalszej części projektu.

Ten projekt nie jest łatwy i zajmie trochę czasu (pobieranie danych z Twittera zajmuje godziny).

Praca nad projektem

Najpierw musisz uzyskać autoryzowane dane logowania z Twittera, aby móc korzystać z interfejsu API Twittera. Autoryzacja konta programisty na Twitterze zajmuje trochę czasu, ale gdy już to zrobisz, możesz przejść do pulpitu nawigacyjnego i „Utwórz aplikację”.

Po uzyskaniu niezbędnych poświadczeń możesz utworzyć funkcję i zbudować zestaw testowy. Twitter ma limit liczby żądań, które można wysłać za pośrednictwem swojego API, do którego dodali ten limit ze względów bezpieczeństwa. Pułap to 180 żądań w 15 minut. Możesz zachować zestaw testowy tak, aby zawierał 100 tweetów.

Po utworzeniu zestawu testowego będziesz musiał zbudować zestaw szkoleniowy przy użyciu Twitter API, co jest najtrudniejszą częścią tego projektu. Upewnij się, że zapisujesz tweety zebrane z interfejsu API w pliku CSV do wykorzystania w przyszłości.

Po przygotowaniu zestawu szkoleniowego wystarczy wstępnie przetworzyć tweety obecne w zestawach danych. Pamiętaj, emotikony, obrazy i inne elementy nietekstowe nie wpływają na polaryzację analizy nastrojów. Aby uwzględnić zdjęcia i inne elementy w analizie nastrojów, musisz użyć głębokiego uczenia. Upewnij się, że usunąłeś wszystkie zduplikowane znaki i literówki z danych. Czyszczenie danych jest niezbędne do uzyskania najlepszych możliwych wyników.

Po oczyszczeniu danych możesz użyć klasyfikatora Naive Bayes do analizy dostępnego zestawu danych. Na koniec musisz przetestować swój model i sprawdzić, czy przynosi pożądane rezultaty, czy nie.

Jak zapewne zauważyłeś, ten projekt będzie wymagał pewnego wysiłku. Jednak przeprowadzanie analizy nastrojów na Twitterze to świetny sposób na sprawdzenie swojej wiedzy na ten temat. Będzie to również świetny dodatek do Twojego portfolio (lub CV).

Przeczytaj więcej: Analiza nastrojów za pomocą Pythona: praktyczny przewodnik

4. Recenzje prac naukowych

Jeśli interesuje Cię wykorzystanie wiedzy o uczeniu maszynowym i data science do celów badawczych, ten projekt jest dla Ciebie idealny. Możesz przeprowadzić analizę sentymentu w recenzjach artykułów naukowych i zrozumieć, co czołowi eksperci sądzą na dany temat. Takie odkrycie może pomóc ci odpowiednio je zbadać.

Oto zestaw danych, dzięki któremu możesz rozpocząć pracę nad tym projektem: Zestaw danych uczenia maszynowego . Zestaw danych, który tutaj udostępniliśmy, ma N = 405 instancji. I jest przechowywany w formacie JSON. Praca nad tym projektem pozwoli Ci zapoznać się z zastosowaniami uczenia maszynowego w badaniach naukowych. Zbiór danych zawiera kilka recenzji w języku hiszpańskim, a niektóre w języku angielskim.

5. Analizuj recenzje IMDb

IMDb to strona z recenzjami rozrywki, w której ludzie zostawiają swoje opinie na temat różnych filmów i programów. Możesz również przeprowadzić analizę sentymentu na prezentowanych tam recenzjach. Podobnie jak omawiany wcześniej projekt Rotten Tomatoes, ten pomoże Ci poznać zastosowania data science i uczenia maszynowego w przemyśle rozrywkowym.

Recenzje programów i filmów pomagają firmom produkcyjnym zrozumieć, dlaczego ich tytuł się nie powiódł (lub odniósł sukces).

Zestaw danych dla tego projektu jest dość stary i mały. Ale dla początkującego jest to doskonały sposób na przetestowanie swoich umiejętności na nowym zestawie danych. Oto link do zbioru danych: IMDb przegląda zbiór danych .

6. Analizuj reputację firmy (wiadomości + media społecznościowe)

Możesz wybrać firmę, którą lubisz i przeprowadzić na niej szczegółową analizę sentymentu. Możesz również wybrać temat zyskujący popularność i uwzględnić go w analizie nastrojów, aby uzyskać dokładniejszy wynik. Tutaj możemy omówić przykład Ubera. Są jednym z najbardziej znanych startupów na świecie i mają globalną bazę klientów. Możesz przeprowadzić analizę sentymentu, aby zrozumieć opinię publiczną na temat tej firmy.

Aby poznać opinię publiczną na temat Ubera, zaczniemy od zebrania danych z odpowiednich źródeł, którymi w tym przypadku są strony Ubera na Facebooku i Twitterze. Analizując rozmowy pomiędzy tamtejszymi użytkownikami, możemy określić ogólną percepcję marki na rynku. Będziesz potrzebować kategorii, aby oddzielić różne zbiory danych. W tym przykładzie możesz użyć opcji Płatność, Usługa, Anuluj, Bezpieczeństwo i Cena.

Teraz, gdy wiemy, nad czym chcemy pracować i dokąd mamy się udać, możemy zacząć.

Analiza nastrojów na Facebooku

Najpierw zaczniemy od ich strony na Facebooku. Ma ponad 30 000 komentarzy, a po przeprowadzeniu analizy w kategoriach, o których wspomnieliśmy wcześniej (Płatność, Usługa, Anulowanie, Bezpieczeństwo i Cena), stwierdziliśmy, że większość pozytywnych komentarzy dotyczyła sekcji Cena. Natomiast kategorią o najwyższym odsetku negatywnych opinii była obsługa. Jednak przeprowadzając tę ​​analizę, pamiętaliśmy również, że komentarze na Facebooku są pełne spamu, sugestii, wiadomości i różnych innych informacji.

Do analizy sentymentu wystarczy przyjrzeć się opiniom.

Tak więc usunęliśmy wszystkie niepotrzebne kategorie i zgodnie z oczekiwaniami nasze wyniki uległy zmianie. Teraz we wszystkich sekcjach przeważały komentarze negatywne, a ich proporcje w poszczególnych kategoriach uległy zmianie. W komentarzach dotyczących cen odsetek negatywnych komentarzy wzrósł o 20%.

Dlatego tak ważne jest czyszczenie danych. Pomaga uzyskać dokładne wyniki.

Analiza nastrojów na Twitterze

W tym artykule omówiliśmy już analizę sentymentu tweetów. Dlatego zastosujemy tutaj podobne podejście i przeanalizujemy tweety ludzi, w których tagują oni Ubera lub odpowiadają na swoje tweety. Tutaj kategorią o najwyższym odsetku pozytywnych tweetów była Płatność, a na drugim miejscu było Bezpieczeństwo. Pokazuje to również, jak różne media społecznościowe dają różne wyniki.

Jednak również tutaj musielibyśmy wykonać czyszczenie danych. W tym celu usuniemy tweety z niepowiązanymi intencjami (spam, wiadomości, marketing itp.). Zauważyłbyś, jak bardzo zmienia się procent różnych kategorii.

W naszym przypadku Payment odnotował 12% spadek udziału pozytywnych tweetów, a Bezpieczeństwo stało się kategorią o najwyższym odsetku pozytywnych odpowiedzi. Poza tym Safety straciło około 2-4% udziału w pozytywnych tweetach. Dzięki tym danym możesz również dowiedzieć się, jakie są najpopularniejsze tematy wśród osób, które rozmawiają o Uberze na tych platformach.

Tak więc na Twitterze stwierdziliśmy, że najpopularniejsze kategorie to płatność, anulowanie i usługa.

Powinieneś wiedzieć, że marki bardzo poważnie traktują te dane. Pomaga im dowiedzieć się, nad jakimi problemami muszą popracować i jak mogą je rozwiązać. Te tweety to przecież opinie klientów. W takim przypadku Uber może wykorzystać wyniki tych tweetów, aby zrozumieć, które części jego usług mają wady i jak mogą je naprawić.

Analiza nastrojów wiadomości

Aby zrozumieć opinię publiczną na temat jakiejkolwiek organizacji, musisz również przeanalizować wiadomości na jej temat. W naszym przykładzie sprawdzimy artykuły o Uberze. Po przeanalizowaniu treści zawartych w tych artykułach podzielimy nasze wyniki na kategorie wymienione powyżej (Płatność, Usługa, Anulowanie, Bezpieczeństwo i Cena).

Oprócz tego będziemy również klasyfikować różne artykuły według ich popularności. Im bardziej popularny jest artykuł, tym bardziej wpłynie na opinię publiczną. Możesz zmierzyć popularność każdego artykułu na podstawie liczby udostępnień, które mają. Kolumna z wyższymi udziałami bez wątpienia byłaby bardziej popularna niż kolumna z mniejszymi udziałami.

Wyniki

W naszym przykładzie przyjrzeliśmy się Uberowi i opinii publicznej na temat tej firmy. Po przeanalizowaniu Facebooka, Twittera i wiadomości wiedzielibyśmy, czy ogólne nastroje dotyczące Ubera są pozytywne, negatywne czy neutralne.

Możesz postępować zgodnie z tym podejściem, aby tworzyć pomysły dotyczące analizy opinii na temat projektu. Możesz zacząć od małej firmy, która nie ma dużej obecności w Internecie i przeprowadza analizę sentymentu w wielu kanałach, aby zrozumieć, czy jest postrzegana pozytywnie, czy negatywnie. Jeśli chcesz zwiększyć wyzwanie, możesz je bardziej skomplikować i przeprowadzić analizę dla dużej firmy (tak jak zrobiliśmy to w naszym przykładzie).

Przeczytaj także: 4 najlepsze pomysły na projekty dotyczące analizy danych: poziom od początkującego do eksperta

Końcowe przemyślenia

Analiza nastrojów jest istotnym tematem w uczeniu maszynowym. Ma wiele zastosowań w wielu dziedzinach. Jeśli chcesz dowiedzieć się więcej na ten temat, możesz udać się na nasz blog i znaleźć wiele nowych zasobów.

Z drugiej strony, jeśli chcesz uzyskać wszechstronne i ustrukturyzowane doświadczenie uczenia się, również jeśli chcesz dowiedzieć się więcej o uczeniu maszynowym, zapoznaj się z programem Executive PG IIIT-B i upGrad w uczeniu maszynowym i sztucznej inteligencji , który jest przeznaczony do pracy specjalistów i oferuje ponad 450 godzin rygorystycznego szkolenia, ponad 30 studiów przypadków i zadań, status absolwentów IIIT-B, ponad 5 praktycznych praktycznych projektów zwieńczenia i pomoc w pracy z najlepszymi firmami.

Jakie problemy rozwiązuje analiza sentymentu?

Analiza nastrojów staje się kluczowym narzędziem monitorowania i zrozumienia nastrojów klientów, którzy dzielą się swoimi opiniami i emocjami bardziej otwarcie niż kiedykolwiek wcześniej. Marki mogą wiedzieć, co sprawia, że ​​klienci są zadowoleni lub sfrustrowani, dzięki automatycznej ocenie opinii klientów, takich jak komentarze w odpowiedziach na ankiety i dialogi w mediach społecznościowych. Dzięki temu mogą dostosowywać produkty i usługi do wymagań klientów. Na przykład wykorzystanie analizy nastrojów do zbadania ponad 4000 ankiet na temat Twojej firmy może pomóc w ustaleniu, czy klientom podobają się Twoje ceny i obsługa klienta.

Jakie są wyzwania związane z analizą sentymentu?

Nawet ludzie mają trudności z efektywną interpretacją sentymentów, co sprawia, że ​​analiza sentymentów jest jednym z najtrudniejszych zadań w nlp. Każda wypowiedź jest wypowiadana w pewnym momencie, w jakimś miejscu, przez i do niektórych ludzi i tak dalej. Wszystkie wypowiedzi są formułowane w kontekście. Ludzie wyrażają swoje negatywne postawy za pomocą pozytywnych zwrotów z ironią i sarkazmem, które mogą być trudne do rozpoznania przez roboty bez szczegółowej wiedzy o sytuacji, w której dana emocja została wyrażona. Kolejną trudnością, z którą warto się zmierzyć w analizie sentymentu, jest sposób obsługi porównań. Kolejną kwestią do pokonania w celu przeprowadzenia efektywnej analizy sentymentu jest określenie, co rozumiemy przez neutralny.

Jak możesz zwiększyć dokładność analizy sentymentu?

Podczas pracy nad problemem klasyfikacji bardzo ważne jest, aby mądrze wybrać korpusy testowe i szkoleniowe. Do działania zestawu funkcji w procesie klasyfikacji wymagana jest wiedza o domenie. W większości sytuacji związanych z nauką o danych zaleca się stosowanie metody klasyfikacji na oczyszczonych korpusach, a nie na zaszumionym korpusie. Słowa kluczowe, które pojawiają się rzadko w korpusie, zwykle nie odgrywają roli w klasyfikacji tekstu. Te rzadkie cechy można usunąć, co skutkuje lepszą wydajnością modelu. Ogólnie dobrym pomysłem jest zredukowanie terminów do ich najprostszych wersji. Lematyzacja to nazwa tej metody.