Algorytm wykryje fake newsy na podstawie stylu

Nad algorytmem, który na podstawie cech stylistycznych tekstu informacyjnego wykryje, czy jest on fałszywy lub zmanipulowany, pracuje dr inż. Piotr Przybyła z PAN. Jego zespół chce w ten sposób nie tylko wykrywać fake newsy, ale też boty w mediach społecznościowych.

Algorytmy, które wykrywają zmanipulowane lub szkodliwe treści, nie są nowością. Korzystają z nich na przykład media społecznościowe, takie jak Facebook czy Twitter. Jednak wielkie korporacje niechętnie dzielą się informacjami, na jakiej zasadzie one pracują.

Brakuje w tej kwestii transparentności z ich strony – uważa dr inż. Piotr Przybyła z Instytutu Podstaw Informatyki PAN.

Zespół pod jego kierownictwem zajął się budową algorytmu, który jest w dużej mierze nowatorski, bo do tej pory naukowcy skupiali się na analizie prawdziwości faktów podanych w treści. Przybyła stwierdził, że warto przyjrzeć się stylowi tekstów udostępnianych online, w formie artykułów newsowych i postów w mediach społecznościowych.

Chcemy sprawdzić, jaka będzie wydajność oceny wiarygodności dokumentu na podstawie cech czysto stylistycznych – dodał.

Podkreśla, że jego celem jest stworzenie takiego algorytmu, który nie tylko wykryje fake newsy (które są najbardziej jaskrawym przykładem zmanipulowanych treści), ale też innych technik propagandowych i botów.

W jaki sposób powstaje algorytm opracowywany przez badacza?

Najpierw jego zespół zebrał dużą bazę anglojęzycznych tekstów (ok. 100 tys.), które pochodzą m.in. od organizacji zajmujących się weryfikacją faktów (tzw. organizacje fact-checkingowe). Jednocześnie algorytm otrzymał informacje o tym, jakich cech użyć do rozróżniania tekstów wiarygodnych i niewiarygodnych.

Nasz model uczenia maszynowego w pewnym sensie uczy się sam – podajemy mu dane wejściowe z określonym etykietowaniem oraz cechy, które opisują te dane. Następnie do algorytmu należy podjęcie decyzji dotyczącej powiązania cech z wiarygodnością – opisuje.

Jako największą trudność naukowiec wskazuje kontrolę tego procesu. Może być tak, że pomimo naszych starań algorytm będzie się kierował przesłankami, którymi wolelibyśmy, by się nie kierował – dodaje.

Wskazuje, że jako treści wiarygodne określono na przykład informacje BBC.

Ale nie chcielibyśmy, by nasz algorytm uznawał za prawdziwe tylko takie newsy, które napisane są w stylistyce tego konkretnego brytyjskiego nadawcy – mówi.

Dr Przybyła wskazuje, że wiele tekstów niewiarygodnych w anglojęzycznych mediach dotyczy polaryzacji politycznej w USA. W wielu z nich pojawiają się nazwiska prezydentów Donalda Trumpa i Baracka Obamy. Dlatego, aby algorytm działał lepiej i nie był do takich słów „uprzedzony”, Przybyła usunął je z tekstów przekazanych algorytmowi. Liczy, że w ten sposób dane przekazane do dalszej analizy będą bardziej zobiektywizowane – algorytm otrzyma informacje, że np. zdanie składa się z przymiotnika, rzeczownika, przysłówka, czasownika i w ten sposób będzie ślepy na informacje, które badacze chcą odfiltrować, bo zaburzają pracę algorytmu.

Naukowcy sami narzucili algorytmowi kategorie słów, które ma on uwzględniać, po to, aby łatwiej dało się kontrolować jego działanie.

Zaobserwowano trzy główne stylistyczne kategorie informacji niewiarygodnych. Po pierwsze to słowa opisujące osąd i dotyczące wartości i celów moralnych. Po drugie to słowa opisujące władzę, szacunek i wywieranie wpływu. Trzecia grupa to słowa silnie nacechowane emocjami – zarówno pozytywnymi, jak i negatywnymi.

Z kolei wiarygodne teksty powołują się na inne źródła i przedstawiają liczne dane.

Oczywiście to bardzo duże uproszczenie, bo w sumie wyróżniliśmy ponad 900 cech, którymi kieruje się nasz algorytm – dodaje.

Przybyła skupił się na testowaniu metody dla języka angielskiego, bo jest on znany wszystkim badaczom zajmującym się tą dziedziną. Łatwiejszy jest też dostęp do dużej liczby dobrze opracowanych i sprawdzonych danych, co usprawnia naszą pracę – zauważa. Dopiero w dalszej kolejności – gdy założenia modelu okażą się słuszne – będzie można stworzyć analogiczny algorytm dla innych języków, w tym polskiego.

Algorytm radzi sobie już w 80-90 proc., ale taka skuteczność nie jest dla badacza zadowalająca.

Dlatego dalej trwają pracę nad jego udoskonalaniem. Kolejnym etapem projektu będzie testowanie jego działania na użytkownikach internetu. Naukowcy chcą sprawdzić, jak będzie on wpływał na postrzeganie wiarygodności treści przez człowieka.

Zdaniem dr. Przybyły nie warto łączyć tego algorytmu z innymi, tak aby powstał „superalgorytm”.

Użytkownik musi wiedzieć, na jakiej podstawie maszyna podejmuje decyzje. To musi być transparentne. Gdy nie będzie, wtedy może nie mieć do niej zaufania – zaznacza.

Przybyła jest przeciwny zautomatyzowaniu działania algorytmu – na przykład w postaci odcinania użytkownika od treści uznanych przez niego za fałszywe. Taką decyzję powinien podjąć jednak sam człowiek – podkreśla.

Projekt dr. Przybyły HOMADOS jest sfinansowany przez Narodową Agencję Wymiany Akademickiej w ramach „Polskich Powrotów”.

Źródło: naukawpolsce.pap.pl / Szymon Zdziebłowski / ekr