ETL [warehouse] - MySQL

pict

Okey kali ini saya akan menulis tentang hal yang berkaitan dengan masalah IT, yah sesuai bidang saya lah, mahasiswa IT, saya menemui kasus yang diharuskan untuk memindahkan isi dari tabel ke tabel yang lain namun berbeda database.

Okey kita misalkan saja saya punya tabel dengan nama tbl_bahan di database dengan nama db_oltp dengan struktur tabel seperti dibawah:

CREATE TABLE `tbl_bahan` ( `id_bahan` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT, `nama_bahan` VARCHAR(30) NOT NULL, `keterangan` TEXT NULL, PRIMARY KEY (`id_bahan`) ) COLLATE='latin1_swedish_ci' ENGINE=InnoDB;

Nah akan dipindahkan pada tabel dengan nama tabel dim_bahan pada database db_olap, sedangkan struktur tabel data dim_bahan adalah sebagai berikut:

CREATE TABLE `dim_bahan` ( `id_bahan` INT(10) NOT NULL DEFAULT '0', `nama_bahan` VARCHAR(50) NULL DEFAULT NULL, PRIMARY KEY (`id_bahan`) ) COLLATE='latin1_swedish_ci' ENGINE=MyISAM;

Dengan kondisi dimana id_bahan yang telah dipindahkan tidak boleh dipindahkan kembali, dan sewaktu-waktu harus mampu memindahkan kembali data yang ada dari tabel tbl_bahan ke dim_bahan.

Kasus ini kalo di data warehouse namanya proses ETL, dimana saya akan memindahkan data dari database OLTP ke database OLAP, hanya saya lebih menekankan pada proses loading-nya. Saya akan menggunakan stored procedure untuk menangani fungsi buat ETLnya biar gak lebih mudah, untuk penjelasan mengenai store procedure silahkan googling sendiri :p.

Nah aturan dari proses ETL adalah data tidak boleh bernilai ganda, disini yang digunakan sebagai validator kegandaannya adalah id_bahan. Oke langsung saja kita lihat hasil dari prosedur etl_bahan

CREATE DEFINER=`root`@`localhost` PROCEDURE `etl_bahan`() LANGUAGE SQL NOT DETERMINISTIC CONTAINS SQL SQL SECURITY DEFINER COMMENT '' BEGIN -- variable DECLARE vid_bahan INT; DECLARE vnama_bahan VARCHAR(50); DECLARE v_count INT; -- cursor DECLARE done INT DEFAULT 0; DECLARE cur1 CURSOR FOR SELECT b.id_bahan, b.nama_bahan FROM db_oltp.tbl_bahan b; DECLARE CONTINUE HANDLER FOR NOT FOUND SET DONE = 1; OPEN cur1; detail_loop:LOOP FETCH cur1 INTO vid_bahan, vnama_bahan; SET v_count = 0; IF done = 1 THEN LEAVE detail_loop; END IF; SELECT COUNT(*) INTO v_count FROM db_olap.dim_bahan b WHERE b.id_bahan = vid_bahan; IF v_count = 0 THEN INSERT INTO `db_olap`.`dim_bahan` (`id_bahan` ,`nama_bahan`) VALUES (vid_bahan, vnama_bahan); END IF; END LOOP detail_loop; CLOSE cur1; END

Okey santai, ini merupakan source code penuhnya, nah mari kita kaji:

1. code dimulai dari begin di line 7 dan diakhiri hingga end di line 37.
2. vid_bahan, vnama_bahan merupakan variable penampung sementara yang ntar buat proses insert ke dim_bahan. v_count merupakan variable yang digunakan sebagai validasi, jika nilai dari v_count 0 berarti boleh di insert.
3. Line 14 - 18 kalo di store procedure namanya cursor, digunakan untuk menampung data dari proses select tabel tbl_bahan.
4. Inti dari prosesnya dimulai dari line 18 - 36 yaitu proses insert data ke dim_bahan, pada line 30 dilakukan pengecekan jika v_count nilainya 0 maka insert, jika salah maka gagal insert.

Okey demikian proses ETL secara sederhana, memindakhan data dari database 1 ke database yang lain. Semoga bermanfaat.
Terima Kasih

by @d_sasmita
CFC