Natural Language Processing

APA ITU NLP?

Natural Language Processing/NLP adalah suatu aplikasi (program) dalam bidang AI yang dapat mengartikan suatu bahasa baik bahasa tulisan maupun bahasa lisan atau memproses masukan yang berupa bahasa menjadi suatu informasi atau pengetahuan.

PENDEKATAN NATURAL LANGUAGE PROCESSING

• Pendekatan simbolik

Pendekatan simbolik menggunakan pendekatan yang berdasarkan pada aturan dan leksikon yang dikembangkan manusia. Artinya, sistem menerima aturan bicara dalam bahasa tertentu yang diwujudkan dan direkam oleh pakar linguistik untuk diikuti.

• Pendekatan statistik

Pendekatan statistik didasarkan pada contoh fenomena linguistik yang dapat diamati dan berulang. Sistem mengenali tema berulang melalui analisis matematis. Setelah mengidentifikasi tren dalam sampel teks yang besar, sistem komputer dapat mengembangkan aturan linguistiknya sendiri yang akan digunakan untuk menganalisis input bahasa yang digunakan.

• Pendekatan koneksi

Hal ini dimulai dengan menggunakan aturan bahasa secara umum dan menyesuaikannya dengan aplikasi spesifik dari input yang berasal dari pendekatan statistik.Pendekatan koneksi merupakan pendekatan yang menggabungkan pendekatan simbolik dan pendekatan statistik.

TEKNIK YANG DIGUNAKAN DALAM NLP

• Syntax

Syntax mengacu pada susunan kata-kata dalam sebuah kalimat sehingga tampak masuk akal secara tata bahasa. NLP menggunakan analisis syntax untuk menerapkan aturan tata bahasa pada kumpulan kata yang ditemukannya.

Ada beberapa teknik syntax yang bisa digunakan.

1. Lemmatization, melakukan pengurangan berbagai bentuk kata yang berubah menjadi satu bentuk untuk memudahkan analisis.
2. Segmentasi morfologis, melibatkan pembagian kata menjadi unit-unit individu atau morfem.
3. Segmentasi kata, membagi sebagian besar teks berkelanjutan menjadi unit-unit berbeda.
4. Penandaan part-of-speech, dengan mengidentifikasi bagian dari ucapan untuk setiap kata.
5. Parsing, dengan melakukan analisis tata bahasa untuk kalimat yang disediakan.
6. Pemutusan kalimat, dengan menempatkan batas kalimat pada sepotong teks besar.
7. Stemming, memotong kata-kata yang diubah ke bentuk akarnya.

• Semantics

Semantics mengacu pada makna yang disampaikan oleh sebuah teks. Ini merupakan aspek yang paling sulit dianalisis dalam natural language processing dan belum sepenuhnya dipelajari. 

Analisis ini melibatkan penerapan algoritma komputer untuk memahami arti dan interpretasi kata-kata dan bagaimana kalimat disusun.

Berikut beberapa teknik semantics yang umum digunakan dalam NLP.

1. Named entity recognition (NER), melibatkan penentuan bagian-bagian teks yang dapat diidentifikasi dan dikategorikan ke dalam grup tertentu. Contohnya nama orang dan nama tempat.
2. Disambiguasi arti kata, melibatkan pemberian makna pada kata berdasarkan konteksnya.
3. Natural language generation, melibatkan penggunaan database untuk mendapatkan maksud semantik dari teks dan mengubahnya menjadi bahasa manusia.

MASALAH DALAM NLP

Beberapa masalah yang dihadapi dalam pemrosesan bahasa alami antara lain adalah :

1. Suatu kalimat sering kali tidak lengkap, artinya tidak memberi informasi yang jelas atau lengkap
2. Satu kalimat dapat memiliki lebih dari satu pengertian dalam konteks yang berbeda
3. Tidak ada program pemroses bahasa alami yang cukup lengkap karena bahasa selalu berkembang, kosa kata selalu bertambah.
4. Bisa terdapat lebih dari satu cara (lebih dari satu kalimat) untuk mengungkapkan hal(maksud) yang sama.

PEMBAGIAN NLP

Masalah pemrosesan bahasa alami dibagi menjadi dua bagian besar, yaitu :

• Pemrosesan Naskah Tertulis,menggunkan pengetahuan tentang leksikal, sintax, dan semantik 
• Pemrosesan Bahasa Lisan,menggunakan semua pengetahuan dari pemrosesan naskah tertulis ditambah pengetahuan tentang phonology.

TAHAPAN PROSES NLP

Untuk memproses bahasa alami diperlukan 5 langkah sebagai berikut : 

1. Analisis Morpology 

Pada tahap ini dilakukan analisa untuk setiap kata dan komponen yang dimiliki tiap kata termasuk token non kata seperti spasi, tanda baca, tanda pemisah. 

2. Analisis Sintax 

Pada tahap ini sederetan kata disusun kedalam struktur yang memperlihatkan bagaimana hubungan satu kata dengan kata lainnya. Deretan kata akan ditolak bila tidak memenuhi aturan penyusunan kata yang ada

3. Analisis semantik 

Pada tahap ini struktur deretan kata yang sudah terbentuk akan diberi arti. Dengan kata lain pemetaan dibuat antara struktur sintax dengan object yang berhubungan.

4. Penyatuan Arah (konteks) 

Pada tahap ini arti dari suatu kalimat disesuaikan dengan kalimat-kalimat lain, karena arti dari suatu kalimat biasanya berhubungan dengan kalimat sebelumnya dan kalimat sesudahnya.

 

5. Analisis Pragmatis 

Struktur yang terbentuk menghasilkan interpretasi ulang dari apa yang sudah dikatakan atau ditulis sebelumnya dengan arti yang sebenarnya.

VISION AI

ARTIFICIAL INTELLIGENCE

Secara sederhana, AI merupakan program yang memungkinkan komputer untuk berpikir cerdas seperti atau lebih dari manusia. Dengan AI, komputer dapat berpikir, melakukan analisis, mengambil keputusan, hingga memecahkan masalah selayaknya manusia.

KONSEP VISION

Vision merupakan suatu aplikasi komputer, dimana didalamnya dapat mencakup navigasi robot, tugas manufaktur yang rumit, analisis citra satelit, pemrosesan citra medis, dsb. Vision (visi) dapat diartikan sebagai suatu cara/teknik untuk mentransfer sebuah citra menjadi informasi yang lebih berguna. 

Citra (image) adalah apa yang ditangkap oleh suatu alat perekam gambar seperti kamera foto atau video. 

TUGAS UTAMA VISION

1. Signal Processing (pemrosesan sinyal)

Mempertajam citra, baik untuk penglihatan manusia maupun sebagai input untuk proses yang lainnya. 

2. Measurement Analysis (analisis ukuran) 

Untuk citra yang berisi object tunggal, menentukan perluasan dua dimensi dari object yang digambarkan.

3. Pattern Recognition (pengenalan pola) 

Untuk citra berisi object tunggal, mengklasifikasi object kedalam kategori dari beberapa kemungkinan yang ada.

4. Image Understanding (memahami citra) 

Untuk citra yang berisi banyak object, mendapatkan lokasi object dalam citra, mengklasifikasikannya, dan membentuk gambar model tiga dimensi.

MASALAH YANG DIHADAPI

Dari semua tugas pengolahan citra, pemahaman citra adalah yang paling sulit, sehingga menjadi pembahasan pada banyak studi tentang AI. Beberapa masalah yang dihadapi dalam pengolahan citra adalah : 

1. Suatu citra adalah dua dimensi (2-D), sementara semua object didunia ini adalah tiga dimensi (3-D), sehingga sebagian informasi akan hilang pada saat kita merekam object (3-D) ke dalam citra (2-D).
2. Suatu citra mungkin berisi beberapa object, dan tiap object dapat terdiri dari beberapa bagian lagi.
3. Nilai dari tiap pixel dipengaruhi oleh banyak fenomena yang berbeda, seperti warna object, sumber cahaya, sudut pengambilan gambar, jarak kamera dari object, polusi udara dsb. Dan sangat sulit untuk menghindari pengaruh tsb terhadap object.

VISION AI DAN PENERAPANNYA

• Industri

Di ranah industri, adopsi teknologi AI menunjukkan tren yang terus meningkat. Penerapan Vision AI di industri menawarkan beberapa manfaat berikut:

1.  Pemrosesan lebih cepat,

2. Keandalan,

3. Akurasi,

4. Penerapan yang luas, dan

5. Efisiensi biaya.

Meski gaung Vision AI belum terdengar luas seperti chatbot, pengembangan dan adopsi teknologi ini menjanjikan bagi beberapa industri, mulai dari retail hingga manufaktur.

• Keuangan

Proses know your customer (KYC) merupakan salah satu prosedur yang wajib dilakukan oleh para penyedia layanan keuangan dalam menjaring nasabah. Dengan mengetahui identitas konsumen, penyedia layanan keuangan bisa memantau aktivitas keuangan nasabah dan mencegah terjadinya transaksi mencurigakan.

Kini, AI memberikan sumbangsih terhadap proses KYC lewat jalur digital dengan mempercepat waktu verifikasi data. Riset dari Ernst and Young, menyebutkan peran AI mampu mengurangi waktu dari yang awalnya 18 menit menjadi kurang dari 1 menit saja.

• Retail

Di industri retail, pelacakan produk yang dijual di toko-toko pengecer umumnya dilakukan secara manual; personel diterjunkan untuk berkeliling toko—menghitung, mencatat stok produk, dan melaporkannya ke perusahaan untuk analisis lebih dalam.

Penerapan Vision AI memungkinkan proses ini berlangsung secara lebih cepat dan akurat. Pengguna hanya perlu memotret rak produk dengan smartphone, mengunggahnya ke aplikasi, dan aplikasi akan membantu menganalisisnya. Hasil analisis akan menjadi insight yang berguna bagi perusahaan.

Salah satu startup yang telah mengembangkan teknologi ini adalah Trax, startup asal Singapura yang baru-baru ini bergabung ke dalam daftar unicorn.

• Kesehatan

Implementasi Vision AI di ranah kesehatan telah dikembangkan untuk beberapa hal, mulai dari mengoptimalkan diagnosis hingga memperkirakan darah yang hilang saat mengalami luka.

Adalah Gauss Surgical, perusahaan AI yang mengembangkan Triton OR, sebuah tool yang membantu memantau darah yang hilang selama operasi Caesar berlangsung. Aplikasi yang dipasang pada iPad ini memperkirakan darah yang hilang dengan menganalisis spons operasi dan tabung suction. Hasil analisis ini membantu dokter untuk mengambil keputusan atas tindakan selanjutnya, untuk proses persalinan yang lebih aman.

• Pertanian

Di ranah pertanian, penerapan Vision AI dapat membantu melakukan manajemen pertanian dan menilai kualitas hasil pertanian dengan cara:

1. Mendeteksi penyakit pada tanaman,
2. Membantu memantau pertumbuhan dan mengidentifikasi sifat fenotipe tanaman,
3. Mengklasifikasikan dan menyortir tanaman berdasarkan kualitas,

SlantRange merupakan salah satu perusahaan yang melirik bidang ini. Menggunakan kamera drone, perusahaan yang bermitra dengan Microsoft ini memadukan sistem kecerdasan yang terdiri dari sensor, prosesor, perangkat penyimpanan, jaringan, serta perangkat lunak analisis kecerdasan buatan untuk mengukur dan memantau kondisi tanaman.

• Manufaktur

Salah satu pemanfaatan Vision AI di industri manufaktur adalah meningkatkan produktivitas lewat quality control. Contohnya, di bidang tekstil. Beberapa perusahaan teknologi telah mengembangkan Vision AI untuk mendeteksi kerusakan pada kain.

Langkah ini juga dilakukan oleh para peneliti di Hong Kong Polytechnic University. Lewat proyek WiseEye, AI mampu mendeteksi hingga 40 cacat kain umum dengan resolusi akurasi 0,1 mm per piksel.

KIPRAH VISION AI DI INDONESIA

AI merupakan teknologi yang masih baru bagi sejumlah negara berkembang, termasuk Indonesia. Namun, ekosistem teknologi dan startup yang berkembang pesat turut mendukung geliat positif pengembangan AI di Indonesia.

Sejalan dengan misi Indonesia mewujudkan industri 4.0, negara ini telah melahirkan sejumlah startup AI. Di bidang Vision AI, pengembangan berbasis teknologi ini dimanfaatkan dalam berbagai keperluan, mulai dari sektor publik hingga sektor komersial.

Di Indonesia, Nodeflux hadir untuk mengembangkan Vision AI sebagai solusi di berbagai sektor, baik pemerintah maupun swasta. Berdiri sejak tahun 2016, Nodeflux telah mengimplementasikan teknologinya secara nasional dan berpartisipasi dalam event internasional Asian Games 2018 lalu.

Pada September 2019, Nodeflux melakukan penandatanganan MoU bersama Pemerintah Provinsi DKI Jakarta sebagai wujud kontribusinya mendukung implementasi smart city berbasis AI. Kerja sama ini mencakup beberapa pilar dari pembangunan kota pintar, seperti:

• Smart mobility — optimalisasi pemanfaatan transportasi publik dan kendaraan pribadi di wilayah DKI Jakarta,
• Smart governance — pengoptimalan penyelenggaraan pemerintahan dalam rangka transparansi penerimaan pemerintah Provinsi DKI Jakarta,
• Smart living — memaksimalkan infrastruktur pemerintah dalam fungsi pengawasan terhadap volume air secara berkala dalam rangka pencegahan bencana banjir di wilayah DKI Jakarta, dan
• Smart tourism — optimalisasi infrastruktur pemerintah dalam mengelola data dan informasi terkait kunjungan tempat wisata.

Sebagai satu-satunya perusahaan indonesia yang berfokus dalam pengembangan Vision AI, Nodeflux telah tercatat resmi menjadi official global partner NVIDIA-Metropolis Software Partner Program (Nvidia-MSPP), sejak Desember 2018 lalu.

Tak hanya itu, kiprah Nodeflux dalam pengembangan teknologi milik bangsa, juga telah membuatnya bergabung sebagai satu-satunya perusahaan Vision AI di Indonesia yang terdaftar dalam National of Institute and Standards Technology (NIST) yang terkemuka dari Amerika Serikat dalam pengembangan teknologi untuk face recognition.

LOGIC & LEARNING METHOD

 LOGIKA DALAM AI

Logika dalam AI digunakan sebagai suatu cara untuk menyampaikan fakta. Penyajian logika secara formal diperlukan karena akan menjadi suatu cara yang sangat disarankan untuk menurunkan/menjabarkan pengetahuan baru. Dengan logika formal kita dapat menyimpulkan bahwa suatu pernyataan baru adalah benar dengan membuktikan bahwa pernyataan itu diturunkan dari pernyataan-pernyataan lain yang sudah diketahui kebenarannya.

Contoh : 

Jika : Matahari terbit dari Timur (benar) 

Maka : Tidak mungkin matahari terbit dari Barat (benar)

SEJARAH LOGIKA

• Ahli logika pertama yang dikenal : Aristotle (384-322 BC), filsuf dan ahli ilmu alam Yunani. Aristotle telah mengembangkan banyak teori yang dikenal dengan syllogistic atau classical logic. Syllogistic pada dasarnya bertransaksi dengan penurunan kebenaran (atau yang bersifat salah) dari argumen seorang filsuf.
• Symbolic logic dimulai dengan G.W. Leibniz (1646- 1717), tetapi dilupakan setelah ia meninggal, kemudian seluruh hal-hal tersebut dicakup kembali oleh : George Boole (1815-1864) dan logikanya dikenal dengan Boolean Logic. Symbolic Logic berinteraksi dengan konsep abstraksi ke dalam simbol-simbol dan interkoneksi simbol-simbol oleh operator tertentu.

Logika adalah bentuk representasi pengetahuan yang paling tua. Proses logika adalah proses membentuk kesimpulan atau menarik suatu inferensi berdasarkan fakta yang telah ada. Input dari proses logika berupa premis atau fakta-fakta yang diakui kebenarannya sehingga dengan melakukan penalaran pada proses logika dapat dibentuk suatu inferensi atau kesimpulan yang benar juga.

PROPOTIONAL LOGIC

Propotional logic digunakan sebagai cara menyajikan pengetahuan singkat/sederhana yang diperlukan dlm AI. Dengan propotional logic kita akan dengan mudah menyajikan fakta dunia nyata sebagai proposisi logika yang disebut wellformed formulas (wff).

Contoh penyajian propotional logic :

 it is raining : RAINING 

   it is sunny : SUNNY 

   if it is raining, then it is not sunny 

            RAINING → ┐SUNNY 

Socrates is a man    : SOCRATESMAN 

Plato is a man         : PLATOMAN 

ditulis dengan cara yg lebih simple :

                                 MAN(SOCRATES) 

                                 MAN(PLATO)

Proposisi : P dan Q yang direpresentasikan sebagai ekspresi logika dengan menggunakan logical connectives dalam suatu tabel kebenaran, berikut ini :

WELL FORMED FORMULA

Berdasarkan tabel kebenaran di atas kita dapat membentuk wff berdasarkan pada aturan :

• Jika P adalah sebuah wff maka not P (┐P) juga suatu wff
• Jika P dan Q adalah dua wff, maka berikut ini juga wff : 
• ┐ P 
• P ⋀ Q 
• P ⋁ Q 
• P → Q 
• P ↔ Q 

Contoh pembentukan wff 

Jika diberikan 2 pernyataan bernilai benar 

P : Hari Hujan 

Q : Jalanan basah 

Maka wff yang dapat dibentuk (benar) al: 

Hari tidak hujan atau jalanan basah 

Hari hujan dan jalanan basah 

Jika hujan maka jalanan basah 

Jika tidak hujan maka jalanan basah 

Jalanan basah jika dan hanya jika hujan 

Dan pernyataan berikut adalah salah : 

Jika hujan maka jalanan tidak basah 

Hujan dan jalanan tidak basah

LEARNING METHOD 

Definisi Learning Machine adalah suatu aplikasi dalam AI yang memiliki kemampuan beradaptasi dengan dunia luar dan dapat memanfaatkan informasi dari dunia luar untuk menambah pengetahuan dan meningkatkan kemampuannya. Kata mesin digunakan untuk membedakan dengan manusia (mahluk hidup) yang secara alami memiliki kemampuan belajar.

Rote Learning 

Metode learning ini menggunakan hasil penelusuran atau hasil perhitungan sebelumnya yang tersimpan dalam cache memori komputer untuk menentukan strategi ke langkah berikutnya. 

Metode ini memiliki kemampuan untuk :

• Mengorganisir penyimpanan informasi adalah lebih cepat mengambil nilai yang sudah tersimpan daripada menghitung ulang
• Generalisasi,hal ini akan mencegah terlalu besarnya informasi atau nilai yang disimpan

Learning by Taking Advice 

Metode learning ini menggunakan advice tingkat tinggi (dalam bahasa manusia) untuk menghasilkan suatu aturan operasional. Advice mana yang akan digunakan dari sekian banyak yang ada diproses/dipilih menggunkan operatoroperator seperti : analisis kasus, pencocokan, dsb.

Learning from example 

Metode ini menggunakan semua contoh dari kasus-kasus yang pernah diselesaikan atau data contoh yang dimasukkan ke sistem. Hal terpenting dari metode ini klasifikasi, untuk memilah atau mengklasifikasi contoh menjadi contoh posistif dan contoh negatif. Hasil dari metode ini adalah suatu deskripsi konsep. Metode ini menggunakan Algoritma search untuk mengeliminasi contoh dan menghasilkan pohon keputusan.

Learning in Problem Solving 

Metode ini berusaha untuk memperbaiki pemecahan masalah dari pemecahan masalah yang sudah ada atau sudah pernah diaplikasikan. Metode ini menggunakan solusi dari contoh masalah sebagai masukan dan akan menghasilkan penemuan cara baru untuk menyelesaikan masalah secara lebih efisien. Metode ini menggunakan heuristic search seperti : generalisasi, learning berdasarkan penjelasan dan pertimbangan yang menyeluruh.

Discovery 

Metode ini berusaha untuk menemukan pengetahuanpengetahuan baru yang belum terungkap sebelumnya. Metode ini menggunakan heuristic search yang berdasarkan kepada analogy, ketertarikan (minat) atau bahkan suatu misteri. Hasil atau keluaran dari metode ini cendrung tidak diketahui atau sulit diperkirakan, karena biasanya berdasarkan informasi atau pengetahuan yang minim.