Краткое описание

Курс включает 8 лекций и 8 семинаров, каждое занятие длится около 1.5 часов. В рамках курса мы изучим ключевые концепции обработки естественного языка (NLP), начиная с токенизации и векторного представления слов. Затем мы перейдем к изучению архитектуры трансформера и попробуем написать код этой модели с нуля. В завершение, мы рассмотрим современные большие языковые модели (LLM) и подходы к их обучению.

Лекции будут проводиться раз в две недели. В эти же дни будут проходить семинары, на которых будут разбираться технические примеры в Jupyter-ноутбуках по материалу, изученному на лекции. В остальные дни будут организованы консультации, где можно будет задать теоретические вопросы или уточнить детали по домашним заданиям.

Отчетность по курсу

Для успешного завершения курса необходимо выполнить три домашних задания, которые будут включать как практические упражнения, так и теоретические вопросы. Для выполнения заданий достаточно будет использовать такие платформы, как Google Colaboratory или Kaggle.

Финальная шкала оценок будет определена ближе к концу семестра и будет зависеть от общих результатов группы по итогам всех заданий. Задания можно сдавать после дедлайна до конца курса, однако в этом случае оценка за задание будет снижена.

Это еще обсуждается, но возможно, в конце курса будет проведен теоретический экзамен с вопросами по материалам лекций, который также повлияет на итоговую оценку за курс. Точная информация будет предоставлена позже в телеграм-канале курса.

Записи занятий

Материалы занятий