yunita.sari
13 posts
Ada yang pernah tau tragedi pelemparan pie (pieing) kepada Bill Gates di Brussels pada tahun 1998? Hmm..kita tidak akan membahas tentang kejadian ini, tetapi kita yang akan kita bahas kali ini adalah machine translation dengan menggunakan attention!
Mari belajar beberapa bahasa terlebih dahulu:
ID: Dia (laki-laki) melempar saya dengan sebuah pie.
ENG: He hit me with a pie.
FR: il a m’ entarté
Kita akan mengambil Bahasa Inggris dan Perancis untuk contoh dalam Machine Translation yang akan kita bahas kali ini.
Gambar 1. Ilustrasi arsitektur yang menghasilkan ELMo (https://www.analyticsvidhya.com/blog/2019/03/learn-to-use-elmo-to-extract-features-from-text/)
Ada yang tau tentang Elmo? mungkin hampir semua sudah mengetahui salah satu karakter dari Sesame Street yang berwarna merah ini. Tapi dalam artikel ini, kita tidak akan membahas Elmo yang lucu itu, tetapi ELMo yang merupakan salah satu contextual embedding. Menurut paper yang mempropose tentang ELMo yaitu Deep Contextualized Word Representation (https://aclanthology.org/N18-1202/), ELMo mempunyai 2 kelebihan yaitu: (1) ELMo mampu memodelkan complex characteristic dari penggunaan sebuah kata (misal syntactic atau semantic) dan yang ke (2) ELMo mampu memodelkan variasi penggunaan karateristik pada poin 1 (misal polisemi). Lalu bagaimana sebetulnya ELMo dihasilkan? Gambar 1 memperlihatkan ilustrasi dari arsitektur yang menghasilkan ELMo Arsitektur tersebut terdiri dari 2 layer Bidirectional LSTM. Secara garis besar, ELMo dihasilkan dengan langkah sebagai berikut: Arsitektur ELMo menggunakan character-level CNN untuk merepresentasikan tiap kata pada input ke dalam raw word vector. Vector ini berfungsi sebagai input untuk layer pertama pada Bidirectional LSTM Forward pass pada BiLSTM mengandung informasi sebuah kata dan kata sebelumnya . Sebaliknya, Backward pass mengandung informasi sebuah kata dan kata setelahnya. Kedua informasi ini akan membentuk intermediate word vectors yang menjadi input untuk layer BiLSTM berikutnya. ELMo kemudian dibentuk dari weighted sum dari raw word vector dan 2 intermediate word vector
Pada tutorial bagian ke-2, akan dijelaskan bagaimana cara melakukan training, membuat model machine learning untuk emotion detection dan memprediksi tweet yang belum mempunyai label emosi.
Emotion Detection merupakan salah satu task untuk mengidentifikasi emosi yang ada pada teks dokumen. Pada kesempatan ini, kita akan belajar mengenali emosi yang ada pada tweet. Dataset yang digunakan berasal dari WASSA-2017 Shared Task on Emotion Detection. Dataset ini sebetulnya digunakan untuk mengindetifikasi intensitas tiap-tiap emosi dalam skala 0-1, namun pada artikel ini akan dibahas bagaimana mengidentifikasi kelas emosi pada tiap tweet. Ada 4 kelas yaitu: anger, fear, joy dan sadness. Pada part yang pertama, akan dibahas mengenai data exploration dan text processing terlebih dahulu, sebelum nantinya pada part 2 akan dibahas cara merepresentasikan data text dan juga mengidentifikasi kelas emosi dengan menggunakan machine learning.
Pernah membaca berita dengan headline yang bombastis semacam “Sungguh ajaib”, “tidak disangka!” dan kata-kata lain yang serupa? Jika iya, maka anda sedang membaca berita dengan clickbait headline! Apa itu clickbait? Menurut wikipedia.id, clickbait diartikan sebagai berikut “Umpan klik (clickbait) adalah suatu istilah peyoratif yang merujuk kepada konten web yang ditujukan untuk mendapatkan penghasilan iklan daring, terutama dengan mengorbankan kualitas atau akurasi, dengan bergantung kepada tajuk sensasional atau keluku (thumbnail) yang menarik mata guna mengundang klik-tayang (click-through) dan mendorong penerusan bahan tersebut melalui jejaring sosial daring. Tajuk umpan klik umumnya bertujuan untuk mengeksploitasi “kesenjangan keingintahuan” (curiosity gap) dengan hanya memberi informasi yang cukup membuat pembaca penasaran ingin tahu, tetapi tidak cukup untuk memenuhi rasa ingin tahu tersebut tanpa mengklik pada tautan atau pranala yang diberikan.”