Data Ware House dan Data Mining

Data where house adalah

Data where house


Data Minig

Lanjut Baca

Mendeley untuk Membuat Daftar Pustaka

Sekarang ini beberapa karya ilmiah yang kita baca masih sering kali menjumpai penulisan daftar pustaka yang kurang rapi dan bagus. Daftar pustaka merupakan sebuah link informasi yang digunakan untuk merujuk sebuah tulisan ke tulisan aslinya, sehingga dibutuhkan informasi yang baik dalam hal ini "referensi daftar isi". Hal semacam ini bisa disebabkan karena penulis kurang paham struktur pembuatan daftar isi dan minimnya informasi yang didapatkan (kasus jika mengambil sumber dari Internet yang tidak terpercaya). Untuk mengatasi masalah tersebut, sebenarnya sudah banyak sekali aplikasi yang bisa dimanfaatkan untuk membantu pembuatan daftar pusataka.

Pada kesempatan kali ini saya akan berbagi pengetahuan tentang aplikasi untuk membantu dalam membuat daftar pustaka. Aplikasi yang saya bahas adalah Mendeley. Mendeley merupakan aplikasi untuk meembuat daftar pustaka yang sifatnya online. Kenapa mendeley? Karena menurut saya mendeley sangat simple dalam penggunaanya. Dalam menginputkan referensi mendeley hanya membutuhkan file referensi tanpa harus mengetik ulang, disisi lain kita juga bisa membaca ulang referensi yang sudah di inputkan tanpa harus mencari keberadaan file yang terkadang lupa ditaruh dimana. Mendeley juga memiliki Plugin Web Importer, sehingga bisa mengimport informasi dari sebuah halaman web.

Langkah menggunakan Mendeley

1. Download mendeley di https://www.mendeley.com/
2. Setelah proses installasi selesai buka aplikasi Mendeley
3. Jika installasi sudah sukses makan akan muncul seperti dibawah ini pada menu bar pada Ms. Word atau LibreOffice Writers
4. Masuk ke Mendeley dan Lihat Tab diatas ada Add Files, Folders, Related .... dan Sync
5. Tambahkan Folders supaya referensi tidak bercampur dengan yang lain
6. Buat nama folders, misalkan "SentimentAnalysis"
7. Add Files => Cari file yang akan di gunakan untuk referensi dengan eks .pdf
8. Langkah selanjutnya buka Ms. Word atau Libreoffice Writer dan mulailah menulis artikel atau naskah.
9. Jika ingin melakukan sitasi pada tulisan yang dibuat maka klik "Insert Citation" seperti pada point 3. Setelah selesai pindah baris dan "Insert Bibliography dan hasilnya akan seperti dibawah ini.

4 Metode Input Referensi

1. Add Files yang berarti akan memilih satu persatu referensi
2. Add Folder yang berarti akan memilih semua referensi yang terdapat pada folder
3. Batch Folder
4. Add Entry Manual yang berarti menginputkan sendiri referensinya (biasanya yang berasal dari website online), namun di dalamnya terdapat kolom-kolom yang membantu untuk mengisi informasi yang dibutuhkan.

Format Citation

Dalam pembuatan referensi terdapat banyak style yang berbeda (beda paper atau penerbit terkadang berbeda pula stylenya). Hal ini bisa kita atasi dengan memilih style yang teleh ditentukan dengan cara sebagai berikut:

=> Pada Tab VIEW masuk ke Citation Style dan pilih style yang akan digunakan.

Sekian artikel yang bisa saya buat, artikel ini sekedar share untuk teman-teman dan sebagai pengingat untuk saya. Semoga bermanfaat.

Lanjut Baca

Seleksi Fitur

Seleksi Fitur atau yang sering dikenal dengan Feature Selection pada proses penambangan data (Data Mining) merupakan sebuah proses yang cukup krusial. kenapa disebut cukup krusial?.... sebab pemilihan fitur yang tidak sesuai akan mengakibatkan perolehan nilai akurasi menjadi menurun. Proses seleksi fitur bekerja dengan memilih fitur-fitur yang relevan dan menghilangkan fitur yang tidak relevan dalam sebuah proses analisis. Seperti yang terlihat pada gambar, awalnya fitur yang dimiliki adalah 1000 setelah dilakukan proses seleksi fitur maka fitur berkurang dan menjadi 500 fitur yang relevan.

Proses seleksi fitur dapat dilakukan dengan berbagai metode, sehingga perlu mencobanya untuk mengetahui metode mana yang memiliki kecocokan dengan data yang digunakan. Dalam penggunaan seleksi fitur terdapat teknik yang sering digunakan yaitu ranking selection dan subset selection.

Rangking Selection merupakan sebuah fitur yang bekerja dengan memberikan rangking pada fitur-fitur dan mengabaikan fitur yang tidak memiliki relevansi. Proses rangking selection menentukan besarnya tingkat perangkingan secara independent antara fitur-fitur yang digunakan.

Subset Selection merupakan sebuah teknik seleksi yang menggunakan suatu set fitur yang diangap sebagai optimal feature. terdapat beberapa teknik yang dapat difunakan  pada proses subset selection yaitu filter, wrapper, dan embeded.

• Fitur Seleksi Filter merupakan sebuah teknik seleksi fitur yang menggunakan Intrinsic Statistical Properties dari sebuah data. Metode ini memanfaatkan salah satu dari filter yang ada, seperti Individua Merit, Fhiser, Kullback-Leiber, dll. Kelemahan dari teknik ini adalah akurasi yang didapatkan tidak begitu baik, namun memiliki waktu komoputasi yang cepat,

• Fitur Seleksi Wrapper merupakan sebuah teknik seleksi fitur yang melakukan pemilihan dan pemodelan secara bersamaan. Seleksi fitur pada tipe ini harus dilakukan pemilihan subset sebelum menentukan subset dengan rangking terbaik. Metode yang sering digunakan pada teknik ini seperti Algoritme Genetika, Greedy Search, Hill Climbing, dll.

• Fitur Seleksi Embeded merupakan sebuah fitur yang bekerja dengan memanfaatkan suatu pembelajaran dari machine learning untuk proses seleksi fitur. Teknik ini akan secara otomatis menghilangkan fitur yang dianggap kurang penting atau berpengaruh. Metode yang sering digunakan dalam teknik ini adalah Ramdom Forests, J48, dll.

Lanjut Baca

Mengenal R Software Analisis

Mengganalisis Menggunakan Software R

Beberapa tahun terakhir ini, proses analisis terhadap data sangat digemari. Penyebab terjadinya proses tersebut dikarenakan data yang tersedia sangat banyak dan beragam, sehingga membutuhkan teknik atau metode untuk membantu menganalisisnya, karena intuisi manusia sudah tidak mampu untuk melakukan pekerjaan tersebut.

Momentum yang terjadi sekarang ini adalah gabungan dari pihak akademisi dan pihak industri yang mengankat bahasa pemrograman R untuk membantu proses penambangan seperti proses statistik komputasi, visualisasi dan ilmu data. Di seluruh dunia, para ilmuwan menggunakan R untuk memecahkan masalah seperti data statistik yang berjumlah jutaan yang dirasakan menantang, masalah-masalah yang menantang tersebut meliputi masalah komputasi biologi unntuk pemasaran kuantitatif. R sekarang ini telah menjadi bahasa yang popular untuk data mining yang telah digunakan untuk menganalisis berbagai bidan seperti keuangan, analisis data seperti di Google, Facebook, LinkedIn, Website lainya.

Teknik analisis data sesuai dengan kepentingan anda

R adalah sebuah teknik yang bisa digunakan untuk memanipulasi data, memodelkan data, dan grafik ke dalam data yang lebih modern atau mudah dipahami. Teknik yang digunakan seperti model prediktif (klasifikasi) seperti dalam ulasan ilmu data mining.

Membuat visualisasi data yang cantik

Perlu diketahui bukan hanya pacar saja yang visualisasinya bisa cantik, namun data juga bisa dimanipulasi supaya data menjadi cantik. Tapi jangan pacaran dengan data ya. Bagian dari data yang kompleks dengan diagram dan grafik adalah hal penting yang dilakukan dalam proses analisis data. Dengan menggunakan R hasil yang diperoleh jauh melampaui bar chart dan teknik traditional. Menggunakan R pekerjaan seperti menaarik makna dari sebuah data multidimensi dengann graik multi-panel, 3D permukaan dan banyak lagi.Hasil yang ditampilkan oleh R seperti charting dapat ditampilkan dalam banyak infograpichs yang sangat menakjubkan.

Hasil yang lebih baik dan cepat

Menggunakan R dapat membantu proses analisis data menjadi lebih baik, karena R dirancang secara tegas untuk analisis data. Tingkat pemrograman R menjadikan R lebih cepat melakukan analisis terhadap data daripada program statistik yang lain.

R adalah proyek open source yang sedang berkembang, R didukung oleh komunitas lebih dari 2 juta pengguna dan ribuan pengembang. Kesimpulan yang bisa kita ambil adalah R dapat menjadi sebuah tools pilihan dalam melakukan proses mining data.

Sekian dulu sobat, semoga bermanfaat.

Lanjut Baca

Cara Melakukan Data Preprocessing

Cara Melakukan Data Preprocessing

Data mining atau penambangan data membutuhkan beberapa proses, salah satunya adalah proses preprosessing. Loh, kenapa kok data perlu dilakukan preprosesing atau proses pembersihan data? Oke, kita analogikan kita memiliki umbi, jika kita akan memakannya maka kita harus mengupas, kemudian dicuci, baru direbus dan bisa dimakan.

Nah data yang akan kita olah sebenarnya masih kotor, haha… bukan kotor karena kuman atau debu, tapi dari noisy atau gangguan data yang tidak berguna. Penyebabnya adalah juga bukan karena hama wereng atau ulat, hehe… penyebabnya antara lain adalah Incomplete (kekurangan nilai-nilai yang terkandung dalam atribute atau bahkan atributenya sendiri kurang), Noisy (nilai yang ada bersifat menyimpang atau tidak sesuai dengan yang diharapkan), Inconsisten (data yang tidak cocok menurut kode atau nama) karena kualitas data yang baik yang memerlukan kekonsistenan karena memerlukan integrasi yang cukup tinggi.

Apakah sobat semua sudah tahu, hal yang sangat menarik untuk kita perhatikan dalam pemrosesan data mining ini? Oke, mari kita list.

1. Accuracy (keakuratan)
2. Completeness (lengkap)
3. Timeliness (ketepatan waktu)
4. Value added  (nilai tambah)
5. Interpretability (interpretability)
6. Accessibility (aksesbilitas)
7. Contextual (kontekstual)
8. Representational (menampilkan)

Nah, kita harus memperhatikan bagian bagian itu semua sobat, karena itu sangat penting bangetttt..

Tidak lupa teknik yang sering digunakan dalam preprosesing data antaralain sebagai berikut sob,

Data cleaning (menghilangkan nilai dari data yang tidak sesuai, memperbaiki dan memeriksa data agar menjadi data yang bersifat konsisten)

Data integrasi ( mengintegrasikan data dari sumber yang berbeda seperti DB atau file agar sesuai dengan keinginan)

Data transformation ( normalisasi data )

Data reduksi (mengkompres data atau membuat ukuran data menjadi lebih kecil namun menghasilkan hasil yang sama)

Data diskretisasi (data ini adalah seperti data reduksi, namun data yang dimiliki tingkat kepentigan sendiri seperti data numerik)

Lanjut Baca

Belajar Menggenal Weka Lebih Dalam

WEKA

Selamat siang kawan, kali ini saya akan membahas WEKA. Apa seh WEKA? Weka adalah tools atau aplikasi data mining, kenapa WEKA? Simple sekali jawabnya, karena saya tahunya weka, heee…

okey, lanjut.
WEKA berasal dari Selandia Baru (New Zealand) yang dikembangkan oleh Universitas Waikato. Weka adalah tools yang cukup tangguh dan mumpuni, kenapa? Karena weka memiliki koleksi berbagai macam jenis algoritma machine learning yang digunakan untuk melakukan generalisasi atau formulasi dari dataset atau sample data.

Yah, meskipun weka cukup unggul di dalam variasi algoritma yang dikumpulkan, namum tetap saja peran user masih number one, kenapa demikian? Itu semua karena secanggih apapun weka jika masukan datanya tidak sesuai dengan format, maka weka tidak akan bisa melakukan proses learning. Pada data mining peran data sangatlah penting, sebab keakuratan hasil dari proses ditentukan dari dataset atau inputan yang baik. Seperti apa inputan yang baik itu? Inputan bisa dikatakan baik jika sudah tidak memiliki data noise.

Weka mengenal dua format, yaitu CSV dan arff, yang pertama adalah CSV. Apakah sudah pada tau CSV itu apa? Hm…. Wah, ternyata yang tahu sudah banyak ya. Okelah saya ulas kembali CSV (Comma Dellimited) "kalau di exel" adalah format yang sering diminati para peneliti karena setiap record data dipisahkan dengan dengan koma (,) atau titik koma (;) yang bisa dibuka mengguanakan text editor seperti notepad, wordpad, exel. Sedangkan ARFF adalah format yang dimengerti oleh machine learning weka untuk proses tahap selanjutnya, kenapa demikian? Karena memang format itu yang dimengerti, hehe…

Weka mengenal 4 jenis tipe data yatu numeric, nominal spesification, string dan date [<date-format>]. Sudahkah kalian tau maksudnya? Oke kita bahas, yang pertama adalah numeric, tipe numeric adalah untuk merepresentasikan bilangan bulat atau real. Yang kedua adalah nominal, bilangan yang paling sederhana digunakan untuk merepresentasikan angka yang hanya diartikan sebagai label dan tidak menunjukan suatu tingkatan apapun. Yang ketiga adalah string, sudah pasti pada tahu tipe ini, tipe ini adalah diperuntukan merepresentasikan data dengan tipe string atau kata, kemudia tipe ke empat yaitu date, dalam ilmu pemrograman date adalah penanggalan, jujur saja tipe ini belum pernah saya sentuh, atau kalaupun sudah pernah mungkin saya tidak sadar.

Eng ing eng…. Daripada kepanjangan kurang menarik atau kurang jelas, mending langsung praktek saja. Coba lihat kesini deh ya, heh…. Pengoperasian weka

Okey, sedikit dari saya. Semoga yang sedikit ini menjadi amal yang tidak pernah putus, edisi mencari pahala. 

Lanjut Baca

Belajar Memahami Proses N-Gram

N-Gram......

Pertama kali mendengarnya, terdengar asing ditelinga saya dan saya berfikir, kok namanya seperti timbangan ya, hehe...   Namun lama kelamaan menjadi tuntutan bagi saya. Sesuatu yang mau tidak mau harus saya pelajari untuk mendukung studi saya.hehe....

N-Gram adalah sebuah proses pemecah kata yang tergolong popular. N dalam n-gram bisa diberi nilai secara acak sesuai dengan keinginan pengguna. Bobot pada N akan digunakan untuk memecah sebuah kalimat menjadi kecil-kecil sesuai dengan pemberian bobot pada N. Pada gambar diatas adalah proses N-Gram dengan jumlah N sebanyak 3 (Trigram).

Proses pemberian bobot pada N-Gram sangatlah bervariatif tergantung pada data yang akan diproses, bobot pada N juga akan mempengaruhi keakuratan pada hasil learning, jadi memilih bobot yang tepat adalah sebuah proses yang bisa dikatakan sulit. Karena salah memberikan bobot hasil yang didapat tidak akan sesuai harapan, bahkan mendekati harapan.

Pemrosesan n-gram
Pada pemrosesan n-gram akan diberikan contoh dengan kata "aku sayang kamu", maka akan diproses sebagai berikut:

Bobot	Hasil
Unigram	a, k, u, s, a, y, a, n, g, k, a, m, u
Bigram	ak, ku, us, sa, ay, ya, an, ng, gk, ka, am, mu
rigram	aku, kus, usa, say, aya, yan, ang, ngk, gka, kam, amu
Dst….

Dari hasil yang didapat akan dilakukan proses pembobotan dari frekuensi kemunculannya, semakin besar kemunculan suatu kata maka tingkat similarity terhadap dokumen akan semakin baik.

Lanjut Baca

Pengertian Sederhana Tentang Data Mining

Hai sobat pembaca yang budiman, dalam benak sobat sekalian pasti pernah bertanya, Apa itu Data Mining? Apa kegunaan Data Mining? Bagaimana Proses penggalian data dalam Data Mining?hehe....
Saya pernah mendapatkan tugas tersebut dan saya tertarik untuk meneliti.

Data Mining sering dikenal dengan sebutan penambangan data, terkadang juga sering disangkut pautkan dengan data warehouse yang sebernarnya berbeda.

Data mining merupakan sebuah proses ekstraksi data untuk menarik sebuah pola dari data yang memiliki jumlah sangat besar. Pola yang ditarik dalam proses data mining haruslah memiliki kriteria menarik. Sebuah pola yang di dapatkan dari proses mining bisa dikatakan menarik karena belum diketahui sebelumnya, implisit dan berguna.

Data mining ada karena terlalu banyaknya data yang tersedia seperti basis data perusahaan,e-commerce, data saham, data bioinformatika. Namun tidak tahu harus diapakan data tersebut, data yang dikumpulkan jarang sekali dilihat, mungkin karena data terlalu panjang dan membosankan. Sehingga sering kali keputusan-keputusan yang dibuat berdasarkan data dibuat tidak lagi berdasarkan data, namun lebih cenderung dari pemikiran atau intuisi dari para pembuat keputusan.

Data Mining bekerja dengan menarik sebuah pola.
Langkah-langkah dalam penarikan pola data mining harus melewati beberapa proses yaitu Pembersihan data (menghapus data noise), Integrasi data (menggabungkan sumber data), Pemilihan data (menentukan data relevan), Transformasi Data (mentransformasi data kedalam format yang diperlukan) Evaluasi pola (mengevaluasi pola yang diperoleh), Penyajian pola (merepresentasikan pola kepada pengguna).

Data Mining sering digunakan untuk menyelesaikan masalah seperti pengklasifikasian, clustering, association rule, dll. Sebagai contoh adalah sentiment analisis yang bisa digunakan untuk memprediksi pasar, prediksi wakil rakyat, presiden, ketertarikan, dll. Proses yang dilakukan tidak semudah yang dibayangkan, terdapat beberapa proses untuk bisa mendapatkan hasil yang baik seperti preprocessing, learning dataset, dll.


Semoga bermanfaat.

Lanjut Baca