پردازش متن (Natural Language Processing)

داده‌های ساخت‌نیافته و به طور خاص متن، تصاویر و ویدیوها حاوی حجم بالایی از اطلاعات هستند. با این حال به دلیل پیچیدگی ذ‌اتی پردازش و تجزیه و تحلیل این داده‌ها، افراد غالباً از صرف زمان و تلاش زیاد روی مجموعه داده‌های ساخت‌نیافته که در حکم کاوش معدن طلا هستند اجتناب می‌کنند.

پردازش زبان طبیعی (NLP) به بهره‌گیری از ابزارها، تکنیک‌ها و الگوریتم‌ها برای پردازش و درک داده‌های طبیعی مبتنی بر زبان مربوط است که معمولاً در قالب‌های ساخت‌نیافته‌ای مانند متن، سخنرانی و غیره وجود دارند.

حوزه‌ای تخصصی در علوم رایانه و هوش مصنوعی محسوب می‌شود که ریشه در زبانشناسی محاسباتی دارد. دغدغه اصلی این حوزه از علوم، طراحی و ساخت برنامه و سیستم‌هایی است که امکان تعامل بین ماشین‌ها و زبان‌های طبیعی را فراهم سازند و در طی زمان برای استفاده انسان تکامل پیدا کنند. از این رو در اغلب موارد این حوزه علمی به عنوان یک زمینه کم‌عمق و سطحی برای تحقیق نگریسته می‌شود و افراد تمایل دارند که بیشتر روی یادگیری ماشین و یادگیری آماری تمرکز کنند.

در این دوره به بررسی 4 موضوع زیر می پردازیم:

1) Tokenization

2) Word embedding

3) Deep (RNN, LSTM, GRU)

4) Transformers (BERT)

بعد از آموزش مطالب تئوری هر موضوع، تمام موارد آموزش داده شده را به صورت عملی در یک پروژه پیاده سازی می کنیم. 

زبان برنامه نویسی مورد استفاده: Python

لینک دسترسی به پروژه اول (Tokenization):

https://github.com/GolaraRFI/persian-tokenizers

لینک دسترسی به پروژه دوم (Word Embedding):

https://github.com/GolaraRFI/persian-embedding

لینک دسترسی به پروژه سوم (Sentiment analysis):

https://github.com/GolaraRFI/sentiment-analysis

لینک دسترسی به پروژه چهارم (NER):

https://github.com/GolaraRFI/NER