Objaśnienie systemu wyszukiwania informacji: typy, porównania i komponenty

System wyszukiwania informacji (IR) to zestaw algorytmów, które ułatwiają dopasowanie wyświetlanych dokumentów do wyszukiwanych zapytań. Mówiąc prościej, służy do sortowania i oceniania dokumentów na podstawie zapytań użytkownika. Istnieje jednolitość w odniesieniu do zapytania i tekstu w dokumencie, aby umożliwić dostęp do dokumentu.

Pozwala to również na efektywne wykorzystanie funkcji dopasowania do formalnego uszeregowania dokumentu przy użyciu ich wartości statusu pobierania (RSV). Treść dokumentu jest reprezentowana przez zbiór deskryptorów, znanych jako terminy, które należą do słownictwa V. System IR pobiera również informacje zwrotne na temat użyteczności wyświetlanych wyników, śledząc zachowanie użytkownika.

Kiedy mówimy o wyszukiwarkach, mamy na myśli takie jak Google, Yahoo i Bing wśród ogólnych wyszukiwarek. Inne wyszukiwarki to DBLP i Google Scholar.

W tym artykule przyjrzymy się różnym typom modeli IR, zaangażowanym komponentom oraz technikom używanym w pobieraniu informacji, aby zrozumieć mechanizm działania wyszukiwarek wyświetlających wyniki.

Przeczytaj także: Wynagrodzenie analityka danych w Indiach

Rodzaje modeli wyszukiwania informacji

Wyszukiwanie informacji składa się z następujących czterech kluczowych elementów:

1. D - Reprezentacja Dokumentu.
2. Q – Reprezentacja zapytań.
3. F − Ramy do dopasowania i ustalenia relacji między D i Q.
4. R (q, di) − Funkcja rankingowa, która określa podobieństwo między zapytaniem a dokumentem w celu wyświetlenia odpowiednich informacji.

Istnieją trzy typy modeli wyszukiwania informacji (IR):

1. Klasyczny model IR — jest zaprojektowany na podstawie podstawowych pojęć matematycznych i jest najszerzej stosowanym modelem IR. Z łatwością można wdrożyć klasyczne modele wyszukiwania informacji. Jego przykładami są modele IR w przestrzeni wektorowej, logiczne i probabilistyczne. W systemie tym pobieranie informacji zależy od dokumentów zawierających zdefiniowany zestaw zapytań. Nie ma żadnego rankingu ani stopniowania. Różne klasyczne modele IR uwzględniają w swoich modelach reprezentację dokumentu, reprezentację zapytania i funkcję pobierania/dopasowywania.

2. Nieklasyczny model IR — różnią się od klasycznych modeli tym, że są zbudowane na logice zdań. Przykłady nieklasycznych modeli IR obejmują logikę informacyjną, teorię sytuacji i modele interakcji.

3. Alternatywny model IR — opierają się na zasadach klasycznego modelu IR i są ulepszane w celu stworzenia bardziej funkcjonalnych modeli, takich jak model skupień, alternatywny model mnogościowy model zbioru rozmytego, model utajonego indeksowania semantycznego (LSI), alternatywne modele algebraiczne, uogólniony model przestrzeni wektorowej itp.

Przyjrzyjmy się bardziej szczegółowo najbardziej rozpowszechnionym klasycznym modelom podczerwieni opartym na podobieństwach:

1. Model Boolean — Ten model wymagał przetłumaczenia informacji na wyrażenie Boolean i zapytania Boolean. Ta ostatnia służy do określenia informacji potrzebnych do zapewnienia prawidłowego dopasowania, gdy wyrażenie logiczne okaże się prawdziwe. Wykorzystuje operacje logiczne AND, OR, NOT, aby utworzyć kombinację wielu terminów na podstawie tego, o co pyta użytkownik.

2. Model przestrzeni wektorowej — ten model pobiera dokumenty i zapytania oznaczone jako wektory i pobiera dokumenty w zależności od ich podobieństwa. Może to skutkować dwoma typami wektorów, które są następnie używane do oceniania wyników wyszukiwania

• Binarny w Boolean VSM.
• Ważone w niebinarnym VSM.

3. Model rozkładu prawdopodobieństwa — w tym modelu dokumenty są traktowane jako rozkłady terminów, a zapytania są dopasowywane na podstawie podobieństwa tych reprezentacji. Jest to możliwe dzięki entropii lub obliczeniu prawdopodobnej użyteczności dokumentu. Są to dwa rodzaje:

• Model rozkładu prawdopodobieństwa oparty na podobieństwie
• Model rozkładu prawdopodobieństwa na podstawie oczekiwanej użyteczności

4. Modele probabilistyczne — Model probabilistyczny jest dość prosty i wykorzystuje ranking prawdopodobieństwa do wyświetlenia wyników. Mówiąc prościej, dokumenty są klasyfikowane na podstawie prawdopodobieństwa ich trafności dla wyszukiwanego zapytania.

Zamówienie: nauka o danych a analiza danych

Składniki modelu wyszukiwania informacji

Oto wymagania wstępne dla modelu IR:

1. Zautomatyzowany lub obsługiwany ręcznie system indeksowania używany do indeksowania i wyszukiwania technik i procedur.
2. Zbiór dokumentów w jednym z następujących formatów: tekst, obraz lub multimedia.
3. Zestaw zapytań, które służą jako dane wejściowe do systemu za pośrednictwem człowieka lub maszyny.
4. Miernik oceny służący do pomiaru lub oceny skuteczności systemu (na przykład precyzja i przypomnienie). Na przykład, aby upewnić się, jak przydatne są informacje wyświetlane użytkownikowi.

Różne elementy modelu wyszukiwania informacji obejmują:

Krok 1

Krok 2

Krok 3

Krok 4

Różnica między wyszukiwaniem informacji a wyszukiwaniem danych

Systemy Data Retrieval bezpośrednio pobierają dane z systemów zarządzania bazami danych, takich jak ODBMS, identyfikując słowa kluczowe w zapytaniach dostarczonych przez użytkowników i dopasowując je do dokumentów w bazie danych.

Podczas gdy system wyszukiwania informacji w DBMS to zestaw algorytmów lub programów, które obejmują przechowywanie, wyszukiwanie, ocenę reprezentacji dokumentów i zapytań, zwłaszcza tekstowych, w celu wyświetlania wyników w oparciu o podobieństwo.

Wniosek

To prowadzi nas do końca artykułu. Mamy nadzieję, że informacje okazały się pomocne. Jeśli szukasz więcej wiedzy na temat koncepcji Data Science, powinieneś zapoznać się z pierwszym indyjskim certyfikowanym przez NASSCOM programem Executive PG in Data Science od IITB na upGrad.