Natural Language Processing

APA ITU NLP?

Natural Language Processing/NLP adalah suatu aplikasi (program) dalam bidang AI yang dapat mengartikan suatu bahasa baik bahasa tulisan maupun bahasa lisan atau memproses masukan yang berupa bahasa menjadi suatu informasi atau pengetahuan.

PENDEKATAN NATURAL LANGUAGE PROCESSING

• Pendekatan simbolik

Pendekatan simbolik menggunakan pendekatan yang berdasarkan pada aturan dan leksikon yang dikembangkan manusia. Artinya, sistem menerima aturan bicara dalam bahasa tertentu yang diwujudkan dan direkam oleh pakar linguistik untuk diikuti.

• Pendekatan statistik

Pendekatan statistik didasarkan pada contoh fenomena linguistik yang dapat diamati dan berulang. Sistem mengenali tema berulang melalui analisis matematis. Setelah mengidentifikasi tren dalam sampel teks yang besar, sistem komputer dapat mengembangkan aturan linguistiknya sendiri yang akan digunakan untuk menganalisis input bahasa yang digunakan.

• Pendekatan koneksi

Hal ini dimulai dengan menggunakan aturan bahasa secara umum dan menyesuaikannya dengan aplikasi spesifik dari input yang berasal dari pendekatan statistik.Pendekatan koneksi merupakan pendekatan yang menggabungkan pendekatan simbolik dan pendekatan statistik.

TEKNIK YANG DIGUNAKAN DALAM NLP

• Syntax

Syntax mengacu pada susunan kata-kata dalam sebuah kalimat sehingga tampak masuk akal secara tata bahasa. NLP menggunakan analisis syntax untuk menerapkan aturan tata bahasa pada kumpulan kata yang ditemukannya.

Ada beberapa teknik syntax yang bisa digunakan.

1. Lemmatization, melakukan pengurangan berbagai bentuk kata yang berubah menjadi satu bentuk untuk memudahkan analisis.
2. Segmentasi morfologis, melibatkan pembagian kata menjadi unit-unit individu atau morfem.
3. Segmentasi kata, membagi sebagian besar teks berkelanjutan menjadi unit-unit berbeda.
4. Penandaan part-of-speech, dengan mengidentifikasi bagian dari ucapan untuk setiap kata.
5. Parsing, dengan melakukan analisis tata bahasa untuk kalimat yang disediakan.
6. Pemutusan kalimat, dengan menempatkan batas kalimat pada sepotong teks besar.
7. Stemming, memotong kata-kata yang diubah ke bentuk akarnya.

• Semantics

Semantics mengacu pada makna yang disampaikan oleh sebuah teks. Ini merupakan aspek yang paling sulit dianalisis dalam natural language processing dan belum sepenuhnya dipelajari. 

Analisis ini melibatkan penerapan algoritma komputer untuk memahami arti dan interpretasi kata-kata dan bagaimana kalimat disusun.

Berikut beberapa teknik semantics yang umum digunakan dalam NLP.

1. Named entity recognition (NER), melibatkan penentuan bagian-bagian teks yang dapat diidentifikasi dan dikategorikan ke dalam grup tertentu. Contohnya nama orang dan nama tempat.
2. Disambiguasi arti kata, melibatkan pemberian makna pada kata berdasarkan konteksnya.
3. Natural language generation, melibatkan penggunaan database untuk mendapatkan maksud semantik dari teks dan mengubahnya menjadi bahasa manusia.

MASALAH DALAM NLP

Beberapa masalah yang dihadapi dalam pemrosesan bahasa alami antara lain adalah :

1. Suatu kalimat sering kali tidak lengkap, artinya tidak memberi informasi yang jelas atau lengkap
2. Satu kalimat dapat memiliki lebih dari satu pengertian dalam konteks yang berbeda
3. Tidak ada program pemroses bahasa alami yang cukup lengkap karena bahasa selalu berkembang, kosa kata selalu bertambah.
4. Bisa terdapat lebih dari satu cara (lebih dari satu kalimat) untuk mengungkapkan hal(maksud) yang sama.

PEMBAGIAN NLP

Masalah pemrosesan bahasa alami dibagi menjadi dua bagian besar, yaitu :

• Pemrosesan Naskah Tertulis,menggunkan pengetahuan tentang leksikal, sintax, dan semantik 
• Pemrosesan Bahasa Lisan,menggunakan semua pengetahuan dari pemrosesan naskah tertulis ditambah pengetahuan tentang phonology.

TAHAPAN PROSES NLP

Untuk memproses bahasa alami diperlukan 5 langkah sebagai berikut : 

1. Analisis Morpology 

Pada tahap ini dilakukan analisa untuk setiap kata dan komponen yang dimiliki tiap kata termasuk token non kata seperti spasi, tanda baca, tanda pemisah. 

2. Analisis Sintax 

Pada tahap ini sederetan kata disusun kedalam struktur yang memperlihatkan bagaimana hubungan satu kata dengan kata lainnya. Deretan kata akan ditolak bila tidak memenuhi aturan penyusunan kata yang ada

3. Analisis semantik 

Pada tahap ini struktur deretan kata yang sudah terbentuk akan diberi arti. Dengan kata lain pemetaan dibuat antara struktur sintax dengan object yang berhubungan.

4. Penyatuan Arah (konteks) 

Pada tahap ini arti dari suatu kalimat disesuaikan dengan kalimat-kalimat lain, karena arti dari suatu kalimat biasanya berhubungan dengan kalimat sebelumnya dan kalimat sesudahnya.

 

5. Analisis Pragmatis 

Struktur yang terbentuk menghasilkan interpretasi ulang dari apa yang sudah dikatakan atau ditulis sebelumnya dengan arti yang sebenarnya.