Monitor Polski - rok 2025 poz. 1071

Wykorzystanie dużych modeli językowych

6 poziom Polskiej Ramy Kwalifikacji

Syntetyczna charakterystyka efektów uczenia się

Osoba posiadająca kwalifikację wolnorynkową "Wykorzystanie dużych modeli językowych" jest przygotowana do samodzielnego i efektywnego wykorzystywania dużych modeli językowych LLM (Large Language Model). Rozumie zasady działania, w tym ograniczenia, dużych modeli językowych, zna proces tokenizacji, uczenia nienadzorowanego i trenowania dużych modeli językowych oraz potrafi dostosowywać wstępnie trenowane duże modele językowe do konkretnych zadań. Stosuje techniki inżynierii instrukcji (prompt engineering) do optymalizacji wyników. Ocenia jakość generowanych tekstów i dostosowuje parametry dużych modeli językowych. Automatyzuje zadania związane z przetwarzaniem języka naturalnego oraz integruje duże modele językowe z istniejącymi narzędziami. Identyfikuje i minimalizuje zagrożenia związane z ochroną danych. Jest gotowa do przeciwdziałania dyskryminacji i uprzedzeniom w generowanych tekstach oraz do przestrzegania zasad ochrony praw autorskich.

Zestaw 1. Podstawy wykorzystywania dużych modeli językowych

Poszczególne efekty uczenia się

Kryteria weryfikacji ich osiągnięcia

Wyjaśnia pojęcie dużego modelu językowego

- definiuje pojęcie dużego modelu językowego,

- omawia zasady i zastosowanie dużych modeli językowych.

Omawia korzyści płynące ze stosowania dużych modeli językowych w różnych dziedzinach

- wskazuje dziedziny, w których duże modele językowe są stosowane do osiągnięcia lepszych wyników,

- omawia zastosowanie dużych modeli językowych w praktyce, ilustrując korzyści płynące z ich wykorzystania.

Opisuje proces trenowania dużych modeli językowych

- opisuje pojęcia związane z tworzeniem dużych modeli językowych (np. tokenizacja, uczenie nienadzorowane, uczenie nadzorowane, modele sekwencyjne),

- opisuje etapy trenowania dużych modeli językowych (np. zbieranie i przygotowywanie danych, wybór architektury modelu, trenowanie modelu, walidacja i testowanie, optymalizacja, wdrażanie, monitorowanie i aktualizacja),

- omawia proces strojenia hiperparametrów dużych modeli językowych.

Wykorzystuje gotowe duże modele językowe do generowania tekstu na podstawie zestawu danych

- prezentuje sposób instalacji i konfiguracji najczęściej stosowanych bibliotek (np. GPT - Generative Pre-trained Transformer, BART - Bidirectional and Auto-Regressive Transformers) oraz związanych z nimi narzędzi,

- przygotowuje dane wejściowe do generowania tekstu w języku naturalnym za pomocą dużych modeli językowych,

- uruchamia duży model językowy.

Zestaw 2. Wykorzystanie dużych modeli językowych w ramach zadania lub domeny

Poszczególne efekty uczenia się

Kryteria weryfikacji ich osiągnięcia

Wykorzystuje wstępnie trenowane duże modele językowe

- przedstawia proces dostosowania dużych modeli językowych do konkretnego zadania lub konkretnej domeny,

- dostosowuje duży model językowy do wskazanego zadania lub wskazanej domeny,

- generuje tekst przy użyciu dużego modelu językowego dostosowanego do tego zadania lub do tej domeny.

Wykorzystuje techniki inżynierii instrukcji (prompt engineering) do efektywnego zastosowania dużych modeli językowych

- wyjaśnia pojęcie inżynierii instrukcji (prompt engineering),

- omawia, jak instrukcja (prompt) wpływa na wyniki generowane przez duże modele językowe,

- tworzy efektywną instrukcję (prompt),

- analizuje jakość i użyteczność wyników generowanych przez duży model językowy przy użyciu różnych instrukcji (promptów) i strategii,

- wykorzystuje inżynierię instrukcji (prompt engineering) w kontekście zastosowań dużych modeli językowych (np. analiza tekstu, generowanie treści, automatyzacja zadań).

Ocenia jakość dużego modelu językowego na podstawie wygenerowanych tekstów

- wyjaśnia, jakie metryki automatyczne i manualne są stosowane do oceny jakości wygenerowanych tekstów,

- wyjaśnia, jak interpretować wyniki metryk automatycznych i manualnych stosowanych do oceny jakości wygenerowanych tekstów,

- stosuje metryki automatyczne i manualne do oceny jakości wygenerowanych tekstów,

- interpretuje wyniki zastosowania metryk automatycznych i manualnych do oceny jakości wygenerowanych tekstów.

Dostosowuje parametry dużych modeli językowych w celu uzyskania lepszych wyników

- omawia kluczowe parametry dużego modelu językowego (np. temperatura, wielkość okna kontekstowego),

- konfiguruje parametry dużych modeli językowych w celu poprawy jakości generowanych tekstów.

Zestaw 3. Wykorzystywanie dużych modeli językowych w środowisku pracy

Poszczególne efekty uczenia się

Kryteria weryfikacji ich osiągnięcia

Wyjaśnia, w jaki sposób duże modele językowe mogą wspomagać proces analizy zbiorów danych tekstowych i formułowanie wniosków

- omawia, jak duże modele językowe mogą ułatwić analizę zbiorów danych tekstowych i pozyskiwanie istotnych informacji,

- omawia zastosowanie dużych modeli językowych w analizie zbiorów danych tekstowych (np. w badaniu sentymentu, ekstrakcji informacji, klasyfikacji tekstów),

- demonstruje, jak wykorzystać duże modele językowe do analizy zbiorów danych tekstowych i formułowania wniosków.

Wykorzystuje duże modele językowe do automatyzacji zadań związanych z analizą tekstu i przetwarzaniem języka naturalnego

- omawia proces integracji dużych modeli językowych z istniejącymi narzędziami w celu automatyzacji zadań związanych z analizą tekstu,

- demonstruje, jak używać dużych modeli językowych do automatyzacji różnych zadań przetwarzania języka naturalnego (np. tłumaczenie, podsumowywanie, generowanie odpowiedzi na pytania).

Rozpoznaje zastosowania dużych modeli językowych w różnych branżach

- opisuje zastosowanie dużych modeli językowych w różnych branżach,

- omawia korzyści i zagrożenia wynikające z zastosowania dużych modeli językowych w różnych branżach.

Zestaw 4. Etyka i odpowiedzialność w wykorzystywaniu dużych modeli językowych

Poszczególne efekty uczenia się

Kryteria weryfikacji ich osiągnięcia

Charakteryzuje zagrożenia związane z wykorzystaniem dużych modeli językowych i możliwe działania mające na celu minimalizowanie tych zagrożeń

- identyfikuje potencjalne zagrożenia związane z wykorzystaniem dużych modeli językowych (np. naruszenie prywatności, nieodpowiednie generowanie treści, dezinformacja, halucynacje),

- wskazuje metody minimalizowania zagrożeń związanych z wykorzystaniem dużych modeli językowych.

Charakteryzuje zasady ochrony danych osobowych w kontekście dużych modeli językowych

- identyfikuje potencjalne zagrożenia związane z wykorzystaniem dużych modeli językowych w kontekście ochrony danych osobowych,

- opisuje, jak duże modele językowe mogą wpłynąć na prywatność danych osobowych.

Ocenia wpływ dużych modeli językowych na bezpieczeństwo danych instytucjonalnych

- identyfikuje możliwości naruszeń zasad ochrony danych instytucjonalnych,

- wyjaśnia, jak zasady ochrony danych instytucjonalnych wpływają na wykorzystywanie dużych modeli językowych.

Identyfikuje zagrożenia związane z dyskryminacją i uprzedzeniami możliwe przy wykorzystywaniu dużych modeli językowych

- wskazuje, w jaki sposób dane treningowe wpływają na generowanie treści dyskryminujących lub wyrażających uprzedzenia,

- wyjaśnia, jak zidentyfikować treści dyskryminujące lub wyrażające uprzedzenia i redukować występowanie tych treści w dużych modelach językowych.

Opisuje zasady przestrzegania praw autorskich w kontekście wykorzystywania dużych modeli językowych

- wskazuje, w jaki sposób wykorzystywanie dużych modeli językowych może prowadzić do naruszenia praw autorskich,

- rozpoznaje sytuacje, w których wynik działania dużego modelu językowego może naruszyć prawa autorskie,

- wskazuje metody zapobiegania naruszeniom praw autorskich podczas wykorzystywania dużych modeli językowych.

1. Etap weryfikacji

1.1. Metody

Weryfikacja efektów uczenia się jest podzielona na dwie części - teoretyczną i praktyczną.

W części teoretycznej wykorzystuje się metodę testu wiedzy (do weryfikacji zagadnień teoretycznych ze wszystkich zestawów efektów uczenia się). W części praktycznej wykorzystuje się metodę obserwacji, która może być uzupełniona wywiadem swobodnym (rozmową z komisją walidacyjną). W części praktycznej może być również wykorzystana metoda analizy dowodów i deklaracji.

1.2. Zasoby kadrowe

W procesie weryfikacji efektów uczenia się bierze udział komisja walidacyjna, która przeprowadza część praktyczną walidacji. Komisja walidacyjna składa się z co najmniej dwóch osób, w tym przewodniczącego komisji walidacyjnej.

Przewodniczący komisji walidacyjnej posiada dyplom ukończenia studiów drugiego stopnia lub jednolitych studiów magisterskich, których program kształcenia zapewniał uzyskanie wiedzy i umiejętności z zakresu sztucznej inteligencji. Kluczowy jest merytoryczny związek ukończonych studiów z takimi dziedzinami jak uczenie maszynowe, przetwarzanie języka naturalnego, widzenie komputerowe, systemy ekspertowe czy analiza dużych zbiorów danych. Dopuszcza się również ukończone studia podyplomowe lub udokumentowany dorobek naukowy w zakresie związanym z zagadnieniami AI (Artificial Intelligence) lub co najmniej 5 lat udokumentowanego doświadczenia w pracy nad projektami związanymi z zagadnieniami AI w roli managera, programisty lub analityka.

Członek komisji walidacyjnej, który nie jest przewodniczącym komisji walidacyjnej, posiada dyplom ukończenia studiów pierwszego stopnia lub jednolitych studiów magisterskich, których program kształcenia zapewniał uzyskanie wiedzy i umiejętności z zakresu sztucznej inteligencji. Kluczowy jest merytoryczny związek ukończonych studiów z takimi dziedzinami jak uczenie maszynowe, przetwarzanie języka naturalnego, widzenie komputerowe, systemy ekspertowe czy analiza dużych zbiorów danych. Dopuszcza się również ukończone studia podyplomowe lub udokumentowany dorobek naukowy w zakresie związanym z zagadnieniami AI (Artificial Intelligence) lub co najmniej 3 lata udokumentowanego doświadczenia w pracy nad projektami związanymi z zagadnieniami AI w roli managera, programisty lub analityka.

Instytucja przeprowadzająca walidację zapewnia doradcę walidacyjnego. Doradca walidacyjny posiada wiedzę w zakresie znajomości założeń Zintegrowanego Systemu Kwalifikacji.

1.3. Sposób organizacji walidacji oraz warunki organizacyjne i materialne

Walidacja może być prowadzona stacjonarnie, zdalnie albo hybrydowo.

Instytucja prowadząca walidację zapewnia:

- do przeprowadzenia testu wiedzy w systemie teleinformatycznym stanowisko komputerowe (jedno stanowisko dla jednego kandydata) wyposażone w przeglądarkę internetową z dostępem do internetu oraz stolik i krzesło,

- do przeprowadzenia praktycznej części walidacji dostęp do:

• komputera z dostępem do internetu - dla każdego kandydata,

• minimum dwóch dużych modeli językowych (jeden komercyjny, który odpowiada komercyjnej licencji najbardziej popularnych dużych modeli językowych, drugi oparty o otwartą licencję (open source)),

• narzędzi do obsługi dużych modeli językowych umożliwiających uruchomienie dużego modelu językowego opartego o otwartą licencję (open source).

Instytucja prowadząca walidację zapewnia bezstronną i niezależną procedurę odwoławczą, w ramach której kandydat ma możliwość odwołania się od decyzji dotyczących spełnienia wymogów formalnych, od wyników egzaminów, a także od decyzji kończącej walidację.

Walidacja może być prowadzona zdalnie albo hybrydowo, pod warunkiem zapewnienia przez instytucję prowadzącą walidację dostępu do:

- minimum dwóch dużych modeli językowych (jeden komercyjny, który odpowiada komercyjnej licencji najbardziej popularnych dużych modeli językowych, drugi oparty o otwartą licencję (open source)),

- narzędzi do obsługi dużych modeli językowych umożliwiających uruchomienie dużego modelu językowego opartego o otwartą licencję (open source),

- narzędzi zapewniających wiarygodne sprawdzenie, czy osoba ubiegająca się o nadanie kwalifikacji wolnorynkowej osiągnęła wyodrębnioną część albo całość efektów uczenia się.

W przypadku zdalnego prowadzenia walidacji komisja walidacyjna zatwierdza warunki przystąpienia do walidacji w oparciu o warunki techniczne dające gwarancję samodzielnej realizacji zadań przez kandydata, w szczególności możliwość stałej obserwacji kandydata z użyciem systemu teleinformatycznego zapewniającego wiarygodne sprawdzenie, czy osoba ubiegająca się o nadanie kwalifikacji wolnorynkowej osiągnęła wyodrębnioną część lub całość efektów uczenia się wymaganych dla tej kwalifikacji. Narzędzia i metody stosowane w walidacji prowadzonej zdalnie powinny w szczególności umożliwiać identyfikację osoby przystępującej do walidacji, zapewniać samodzielność pracy tej osoby i gwarantować zabezpieczenie przebiegu walidacji przed ingerencją osób trzecich.

2. Etap identyfikowania i dokumentowania efektów uczenia się

Nie określa się wymagań dotyczących etapów identyfikowania i dokumentowania efektów uczenia się.

Brak warunków

Brak innych, poza pozytywnym wynikiem walidacji, warunków uzyskania kwalifikacji wolnorynkowej

Bezterminowo

Nie rzadziej niż raz na 10 lat