Pentaho sering menggunakan file text sebagai masukan untuk baragam proyek ETL nya.
antara lain file text .csv atau data text berupa tabel dengan ukuran width yang sudah ditentukan
Praktik membaca file .csv
"Propinsi","Ibu Kota","Populasi"
"Aceh","Banda Aceh",223446
"Sumatera Utara","Medan",2097610
"Sumatera Barat","Padang",833562
"Riau","Pekanbaru",897767
"Jambi","Jambi",531857
"Sumatera Selatan","Palembang",1455284
"Bengkulu","Bengkulu",308544
"Lampung","Bandar Lampung",881801
"Kepulauan Bangka Belitung","Pangkal Pinang",174000
"Kepulauan Riau","Tanjung Pinang",192493
+Buat New File ->Transformation
pada bagian group input pilih Text file Input klik 2x lalu pilih browse arahkan ke file .csv
Pengaturan :
FileType=csv
Separtaor =, =>menyesuaikan dengan dokumen yang hendak di buka
Enclosure=pengapit string terkadang pengapit data atau string bisa juga kutip 1 '
Header=aktifkan karena pada dokumenpun terdapat header
No empty row=maka baris kosong akan diabaikan...
Jalankan perintah
Ouh...Mudah banget yaaaaa....lanjut....
Praktik membaca file fixed atau.txt
Propinsi Ibu Kota Populasi
Jakarta Jakarta 8839247
Yogyakarta Yogyakarta 511744
Jawa Barat Bandung 2288570
Jawa Tengah Semarang 1352869
Jawa Timur Surabaya 2611506
Banten Serang 501562
Caranya sama hanya pengaturan di atsu fixed fileType nya....
hanya saja untuk pengaturan meteran jarak antar field haris disetting manual...geser-geser......
dan.....Mudah......
Minggu, 08 Januari 2017
Sabtu, 07 Januari 2017
Praktik Penggunaan Variabel Pentaho
Meneruskan dari aplikasi sebelumnya...
Masuk ke group general -> drag and drop ->Set Variables letakkan pada job Hob antara Start dan Msgbox....
lalu klik dua kali dan konfigure sesuai gambar sbb:
Perintah msgbox ${namanya} adalah perintah menarik data variabel untuk di tampilkan pada msgbox
Pentaho Installasi
Pentaho Community Edition atau Pentaho BI Suite adalah produk dari Pentaho yang sudah terintegrasi dengan kemampuan reporting, dashboard, data mining, workflow, dan ETL
Berikut adalah beberapa tools yang ada pada Pentaho dan wajib dipelajari:
+Pentaho BI Server
Produk ini adalah kumpulan dari aplikasi BI yang bersifat opensource yang berjalan di atas platform Java. Di dalam produk inilah, reporting, dashboard dan data analysist ditampilkan setelah melalui tahapan desain.
+Pentaho Data Integration Pentaho Data Integration atau Kettle
Adalah tools yang memiliki kemampuan extract, transform, dan load (ETL) pada multi platform database. Script dari disain dapat disimpan dalam bentuk file ataupun repository. Selain itu, pada tools ini terdapat cukup banyak ‘steps’ untuk mengatur workflow control (JOB), dan data workflow (Transformation).
+Pentaho Analysis/Mondrian OLAP Engine
Tools ini mempunyai fungsi untuk melakukan OLAP, eksekusi MDX query, star schema, dan sebagainya.
Selain itu, tampilan datanya didukung dengan fungsi drill down dan charting dari hasil query.
+Pentaho Report Designer Tools
berbasis desktop ini berperan sebagai desain report yang hasilnya dapat dikirimkan ke Pentaho BI Server. Dengan tools ini, kita bisa mendesain report sesuai dengan kebutuhan.
+Pentaho CDF (Community Dashboard Framework) CDF adalah framework untuk membangun dashboard di atas Pentaho BI Server.
+Plugin Saiku for Data Analysis Saiku adalah plugin yang dapat diinstal di Pentaho BI Server yang berguna untuk analisis data. Saiku mempunyai kelebihan dibandingkan dengan data analisis bawaan pentaho, yaitu lebih user friendly dalam penggunaannya dan lebih baik tampilannya.
Download Installasi
Download Modul
Di dalam folder pentaho BI Server tersebut terdapat dua folder :
administration-console, dan biserver-ce.
Administrator console adalah bagian yang menangani hal-hal administrasi Pentaho (datasource, penjadwalan dan lainnya).
Sedangkan biserver-ce adalah bagian yang menangani aplikasi BI itu sendiri sebagai platformnya.
Untuk menjalankan administration-console, masuk ke folder adminsitration console lalu jalankan start-pac.bat (untuk OS Windows) atau jalankan startpac.sh (untuk OS Linux).
Sebelumnya jalankan set-pentaho-env.bat atau setpentaho-env.sh untuk konfigurasi environment secara otomatis.
Lalu buka browser dengan alamat http://localhost:8099, dengan username : admin dan password : password. Maka muncul tampilan dari administration-console.
Untuk menjalankan BI Server, masuk ke folder biserver-ce lalu jalankan startpentaho.bat atau start-pentaho.sh dengan sebelumnya menjalankan setpentaho-env.bat atau set-pentaho-env.sh. Setelah itu, buka browser dengan alamat http://localhost:8080. Maka akan muncul halaman dari Pentaho User Console.
Lebih mudah jika kita atur konfigurasi environmentnya dengan cara klik 2x set-pentaho-env.bat
lalu untuk versi sebelumnya bisa gunakan Spoon.bat untuk menjalankan....
Spoon adalah Aplikasi GUI untuk merancang atau menjalankan job/transformation.
perbedaan antara Job dan transformation hanya pada tab design...
pada ruang kerja untuk job isi dari design adalah kumpulan job entry yang dipisahkan ke dalam beberapa group (misal group general,mail, file management, condition dst...).Sedang design pada tranformation isinya adlah kumpulan step yang juga dipisahkan ke dalam beberapa group.
Tab View berisi job entry yang saat ini digunakan oleh job yang sedang kita setting.Sedang View pada Transformation berisi step step saat ini yang sedang digunakan....
LATIHAN 1
membuat hello world
FIle-New Job ->(CTRL+ALT+N)->secara default Spoon akan menghasilkan file baru Job 1
+Pada group general->drag and drop ->job entry start
+Pada group utility ->drag and drop ->job entry Display Msgbox Info lalu klok dua kali dan kasih pesan....
+simpan lalu jalankan....
Hasilnya.....Tadaaaaaaaaaaaa
Wah mudah yaaaaaaaaa...lanjuttttttttt...:-)
REFF:
http://holowczak.com/installing-pentaho-community-edition-business-analytics-tools/4/
Pentaho oh Pentaho
Pentaho adalah kumpulan aplikasi Business Intelligence yang bersifat free open source software (FOSS) dan berjalan di atas platform Java.
Aplikasi-aplikasi Pentaho dikembangkan oleh Pentaho corp yang berpusat di Orlanda, Amerika Serikat.
Selain sifatnya gratis dan adopsi yang semakin hari semakin luas, dukungan Pentaho bisa didapatkan dari Pentaho corp dalam bentuk Service Level Agreement (SLA) dan dipaketkan dalam versi Enterprise Edition yang sifatnya annual subscription atau perlu kontrak tahunan. Selain itu jika Anda tetap menggunakan community edition yang gratis, maka bisa mendapatkan support dari banyak system integrator Pentaho di seluruh dunia termasuk komunitas d form-forum....
Apa saja kumpulan aplikasi Pentaho ?
Pentaho sebenarnya merupakan kumpulan aplikasi yang terdiri sebagai berikut :
1. Pentaho Reporting
- Merupakan aplikasi perancangan Ad Hoc Report di Pentaho.
- Engine reporting yang bisa di-embed di aplikasi Java.
- Multi Platform.
- Dapat mengambil source dari berbagai relational engine. Lihat link berikut untuk database relasional yang didukung oleh Pentaho Reporting.
- Dapat mengambil source OLAP yang didukung driver OLAP4J seperti Mondrian, SQL Server Analysis Service, PALO Molap, SAP BW, dan lainnya.
- Memiliki kemampuan mengambil source Pentaho Data Integration step. Ini menjadikan source yang dapat diambil hampir menjadi tidak terbatas.
- Dilengkapi designer yang intuitif dan koleksi chart yang lengkap untuk keperluan analisa.
- Output dalam format Format PDF, Excel, HTML dan CSV.
2. Pentaho Analysis / Mondrian OLAP Server
- OLAP server open source terpopuler dan digunakan di berbagai produk BI open source (Pentaho dan Jasper).
- Multi Platform.
- Mondrian merupakan tipe ROLAP (Relational OLAP) dimana semua perintah data query diterjemahkan via SQL dan ditujukan kepada datamart.
- Mendukung datamart dengan rancangan multi dimensional Star Schema maupun Snowflake Schema.
- Mendukung query MDX (Multidimensional Expression) sebagai standar industri.
- Didukung oleh beberapa aplikasi interface baik web based maupun desktop seperti JPivot, Pentaho Reporting, Pentaho Analysis Tools, dan Pentaho Analyzer.
- Semua interface di atas memiliki kemampuan drill down / roll up serta drill through untuk melihat detil penyusun sel-sel nilai analisis.
3. Pentaho Data Integration / Kettle
- Utilitas ETL (Extract, Transform and Load) open source paling populer.
- Designer GUI yang intuitif dan sangat mudah digunakan.
- Multi Platform.
- Script ETL dapat disimpan dalam bentuk filesystem maupun repository.
- Mendukung multi pipelining sehingga load balance maupun optimasi pekerjaan data warehouse dapat dilakukan dengan mudah.
- Mendukung clustering (master-slave) engine ETL
- Terdiri atas lebih dari 200 steps yang mencakup job (workflow kontrol) dan transformation (data worfklow).
- Mendukung Apache Virtual Filesystem (Apache VFS) sehingga filesystem seperti HTTP Webdav, FTP, SFTP, dan lain sebagainya dapat dengan mudah diakses dengan konfigurasi yang minimal.
4. Pentaho Data Mining / Weka
- Utilitas data mining yang sangat populer dan digunakan untuk predictive analysis
- Multi Platform.
- Mendukung data sumber / source berformat ARFF (Attribute-Relation File Format), XRRF (XML attribute Relation File Format), CSV (Comma Separated Value), maupun table / view dari relasional database.
- Mendukung standar PMML (Predictive Model Markup Language).
- Mendukung data nominal dan numerik (continue maupun discrete).
- Mendukung algoritma yang cukup banyak untuk operasi dasar data mining seperti Classification, Clustering dan Association. Algoritma tersebut diantaranya adalah J48, M5P, SimpleCart, SimpleKMeans, Apriori, dsbnya.
- Utilitas grafis yang membantu pengolahan dan pemahaman data mulai dari preprocessing, data visualization dalam bentuk plot maupun curve, tree visualization, dsbnya.
5. Pentaho BI Server / Platform
- Server BI yang berjalan sebagai web application portal yang terdiri dari layanan web service, workflow pada space JVM (Java Virtual Machine), dan sebagai user interface untuk laporan operasional maupun analisis.
- Multi Platform.
- Workflow berupa integrasi dari produk Pentaho yang telah disebutkan sebelumnya (Pentaho Data Integration, Pentaho Reporting, dan Pentaho Analysis) dalam bentuk solution.
- Scheduler berjalan di atas platform BI ini untuk melakukan proses batching, misalkan mengirim laporan dalam bentuk PDF ataupun Excel secara periodik.
- Script JSP (Java Server Pages) dapat dengan mudah diintegrasikan ke dalam platform.
- User dapat memiliki space sendiri untuk menyimpan report dan tipe solution lainnya.
- Ad hoc report yang bisa digunakan untuk membuat rancangan report on the fly tanpa keterlibatan IT.
Download Tutorial
Reff:
http://www.lp2maray.com
http://nurichsan.blog.unsoed.ac.id/2010/11/20/apa-itu-pentaho/
Langganan:
Postingan (Atom)















