You may also like
Ada yang pernah tau tragedi pelemparan pie (pieing) kepada Bill Gates di Brussels pada tahun 1998? Hmm..kita tidak akan membahas tentang kejadian ini, tetapi kita yang akan kita bahas kali ini adalah machine translation dengan menggunakan attention!
Mari belajar beberapa bahasa terlebih dahulu:
ID: Dia (laki-laki) melempar saya dengan sebuah pie.
ENG: He hit me with a pie.
FR: il a m’ entarté
Kita akan mengambil Bahasa Inggris dan Perancis untuk contoh dalam Machine Translation yang akan kita bahas kali ini.
Pernah membaca berita dengan headline yang bombastis semacam “Sungguh ajaib”, “tidak disangka!” dan kata-kata lain yang serupa? Jika iya, maka anda sedang membaca berita dengan clickbait headline! Apa itu clickbait? Menurut wikipedia.id, clickbait diartikan sebagai berikut “Umpan klik (clickbait) adalah suatu istilah peyoratif yang merujuk kepada konten web yang ditujukan untuk mendapatkan penghasilan iklan daring, terutama dengan mengorbankan kualitas atau akurasi, dengan bergantung kepada tajuk sensasional atau keluku (thumbnail) yang menarik mata guna mengundang klik-tayang (click-through) dan mendorong penerusan bahan tersebut melalui jejaring sosial daring. Tajuk umpan klik umumnya bertujuan untuk mengeksploitasi “kesenjangan keingintahuan” (curiosity gap) dengan hanya memberi informasi yang cukup membuat pembaca penasaran ingin tahu, tetapi tidak cukup untuk memenuhi rasa ingin tahu tersebut tanpa mengklik pada tautan atau pranala yang diberikan.”
Gambar 1. Ilustrasi arsitektur yang menghasilkan ELMo (https://www.analyticsvidhya.com/blog/2019/03/learn-to-use-elmo-to-extract-features-from-text/)
Ada yang tau tentang Elmo? mungkin hampir semua sudah mengetahui salah satu karakter dari Sesame Street yang berwarna merah ini. Tapi dalam artikel ini, kita tidak akan membahas Elmo yang lucu itu, tetapi ELMo yang merupakan salah satu contextual embedding. Menurut paper yang mempropose tentang ELMo yaitu Deep Contextualized Word Representation (https://aclanthology.org/N18-1202/), ELMo mempunyai 2 kelebihan yaitu: (1) ELMo mampu memodelkan complex characteristic dari penggunaan sebuah kata (misal syntactic atau semantic) dan yang ke (2) ELMo mampu memodelkan variasi penggunaan karateristik pada poin 1 (misal polisemi). Lalu bagaimana sebetulnya ELMo dihasilkan? Gambar 1 memperlihatkan ilustrasi dari arsitektur yang menghasilkan ELMo Arsitektur tersebut terdiri dari 2 layer Bidirectional LSTM. Secara garis besar, ELMo dihasilkan dengan langkah sebagai berikut: Arsitektur ELMo menggunakan character-level CNN untuk merepresentasikan tiap kata pada input ke dalam raw word vector. Vector ini berfungsi sebagai input untuk layer pertama pada Bidirectional LSTM Forward pass pada BiLSTM mengandung informasi sebuah kata dan kata sebelumnya . Sebaliknya, Backward pass mengandung informasi sebuah kata dan kata setelahnya. Kedua informasi ini akan membentuk intermediate word vectors yang menjadi input untuk layer BiLSTM berikutnya. ELMo kemudian dibentuk dari weighted sum dari raw word vector dan 2 intermediate word vector
Photography Debra Hurford Brown (c) J.K. Rowling 2018
Para penggemar Harry Potter pasti tidak asing dengan nama Joanne K. Rowling, penulis asal Inggris kelahiran 31 Juli 1965. Setelah sukses dengan 7 series novel Harry Potter, J.K. Rowling juga menuliskan beberapa judul novel lainnya. Tapi pernahkah kalian mendengar novel dengan judul The Cuckoo’s Calling? Novel bergenre crime fiction ini dipublikasikan pada tahun 2013 oleh Robert Galbraith. Mungkin yang sudah pernah membaca The Cuckoo’s Calling akan menemukan setting dan gaya bahasa yang mirip dengan novel Harry Potter.