Materi 4

DISAIN MULTIMEDIA DASAR

REPRESENTASI DATA
MULTIMEDIA:
VIDEO DAN KOMPRESI

MULTIMEDIA Sistem Informasi UNRIYO

Media Representation

• Text
• Image
• Audio
• Video
• Animation

MULTIMEDIA Sistem Informasi UNRIYO

Image representation

• Digital image is a 2-d array of pixels

• Pixel is represented by bits in “color”
space
– RGB (Red-Green-Blue) in CRT
• additive color
– CMY(Cyan-Magenta-Yellow) in printing
• subtractive color
– YUV for black-white/color TV
• luminance/chrominance
1/6/06
MULTIMEDIA Sistem Informasi UNRIYO 3
How we get digital video frames?

• synthesis (usually by computer program)

• sampling (an analog video signal)

MULTIMEDIA
Type of Color Video Signal

Component video --each primary is sent as a separate

video signal.
• RGB atau luminance-chrominance (mis: YIQ, YUV).
• Reproduksi warna terbaik
• Membutuhkan bandwidth dan sinkronisasi dari 3
komponen
Composite video -- color (chrominance) and luminance
signals are mixed into a single carrier wave.

S-Video (Separated video, e.g., in S-VHS) -- a compromise

between component analog video and the composite
video. It uses two lines, one for luminance and another
for composite chrominance signal.

MULTIMEDIA
Tabel Warna
Indeks Warna Indeks Warna Indeks Warna Merah Hijau Biru
0 0 0 0 0 0
1 5 5 5 5 5
Monochrome, 127 127 127 127 127
1 bpp 153 153 153 153 153
191 191 191 191 191
255 255 255 255 255
Greyscale, 8 Custom RGB Colour, 24 bpp
bpp Colour, 8 bpp

• Tabel Warna adalah kode yang memetakan indeks dengan warna tertentu
• Setiap sample gambar (pixel) berisi sebuah indek (terdiri dari bi-bit) dari
Tabel Warna
• Semakin banyak bit per indeks, semakin kaya warna yang dimungkinkan,
namun semakin boros bit digunakan per gambar

MULTIMEDIA
Additive Color RGB

Magenta
White

Blue

Red

Cyan
Yellow Green

MULTIMEDIA
Hue-Saturation-Brightnes

A. Saturation B. Hue C. Brightness D. All hues

MULTIMEDIA
Video representation

• Video is a sequence of images

– displayed at a certain rate

1/6/06
MULTIMEDIA 9
Sinyal Video Digital
Time Time
Index Index
1 L

N x M pixel /
frame

B bit/pixel

N x M x L x B bits video file

MULTIMEDIA
OBJEK: VIDEO

• Line Video Feed

• Videodisc: CAV, CLV
• Videotape: VHS, 88mm, Betacam
• Digital Video
• DVD
• Hypervideo

• Standar Video Analog: NTSC, PAL, SECAM dan HDTV

• Standar Video Digital: SIF, CIF, QCIF, QSIF
• Format File Video: AVI, MOV, MPEG, DAT, RM, SW, DLL

MULTIMEDIA
Format Video Analog (Televisi)

• NTSC (National Television Standards Committee):

– 525 baris, 60 Hz refresh rate.
– 720 pixel per baris
– Digunakan di Amerika, Korea, Jepang, dan Canada.
– Frame rate 30 fps
– Menggunakan format YIQ
• PAL (Phase Alternate Line):
– 625 baris, 50 Hz refresh rate
– 720 pixel per baris
– Digunakan di sebagian besar Eropa Barat.
– Frame rate: 25 fps
– Menggunakan format YUV.

MULTIMEDIA
• SECAM (Sequintial Colour and Memory System)
Séquentiel couleur avec mémoire
– Digunakan di Perancis, Rusia, dan Eropa timur
– Berdasarkan frequency modulation dengan 25 Hz
refresh rate dan 625 baris.
• HDTV (High Definition TV)
– Standar televisi baru dengan gambar layar lebar,
lebih jernih dan suara kualitas CD Auido.
– Aspek ratio 16:9 dibandingkan dengan sistem lain
4:3.
– Resolusi terdiri dari 1125 (1080 baris aktif) baris

MULTIMEDIA
Interlace Scan

• Adalah metode untuk menampilkan image/gambar

dalam rasterscanned display device seperti CRT televisi
analog, yang ditampilkan bergantian antara garis ganjil
dan genap secara cepat untuk setiap frame.
• Refresh rate yang disarankan untuk metode interlaced
adalah antara 50-80Hz.
• Interlace digunakan di sistem televisi analog: NTSC,
PAL, SECAM

MULTIMEDIA
Progressive Scan

• Adalah metode untuk menampilkan,

menyimpan, dan memancarkan gambar
dimana setiap baris untuk setiap frame
digambar secara berurutan. Biasa
digunakan pada CRT monitor komputer.

MULTIMEDIA
Mode Interlacing dan Consecutive

• Mode Progressive/Consecutive (non interlacing)

• Mode Interlacing

MULTIMEDIA
MULTIMEDIA
Video Digital

• Video digital disimpan dalam media

penyimpanan random (mis: magnetic/
optical disk).
• Sedangkan video analog  penyimpanan
sekuensial, (mis: magnetic disc/kaset
video.
• waktu akses yang cepat dalam mengakses
bagian manapun dari video.
• Mudah dalam proses edit

MULTIMEDIA
Video Digital

• Kualitas: sinyal analog dari video analog akan

mengalami penurunan kualitas secara perlahan
karena pengaruh kondisi atmosfer. Sedangkan
video digital kualitasnya dapat diturunkan
menggunakan teknik kompresi.
• Transmisi dan distribusi mudah karena dengan
proses kompresi, maka video digital dapat
disimpan dalam CD, ditampilkan pada web, dan
ditransmisikan melalui jaringan.
• Video Digital biasanya menggunakan
Component Color

MULTIMEDIA
Representasi Visual

• Tujuan utamanya adalah agar orang yang

melihat merasa berada di scene (lokasi)
atau ikut berpartisipasi dalam kejadian
yang ditampilkan.
• Suatu gambar harus dapat menyampaikan
informasi spatial dan temporal dari suatu
scene.
• Spatial  dimensi 2D (lebarxtinggi)
• Temporal  dimensi waktu

MULTIMEDIA Teknik Elektro Unibraw

Representasi Visual

1. Vertical Detail dan Viewing Distance.

• Aspek rasio adalah perbandingan lebar
dan tinggi, yaitu 4:3. Tinggi gambar
digunakan untuk menentukan jarak
pandang dengan menghitung rasio
viewing distance (D) dengan tinggi
gambar (H) -> D/H.
• Setiap detail image pada video
ditampilkan dalam pixel-pixel.

MULTIMEDIA
2. Horizontal Detail dan Picture Width. Lebar
gambar pada TV konvensional = 4/3 x tinggi
gambar.
3. Total Detail Content
Resolusi vertikal = jumlah elemen pada tinggi
gambar
Resolusi horizontal = jumlah elemen pada
lebar gambar x aspek rasio.
Total pixel = pixel horizontal x pixel vertikal.

MULTIMEDIA
Karakteristik Spasial

MULTIMEDIA
4. Perception of Depth. Dalam pandangan /
penglihatan natural, kedalaman gambar
tergantung pada sudut pemisah antara gambar
yang diterima oleh kedua mata. Pada layar
flat, persepsi kedalaman suatu benda
berdasarkan subject benda yang tampak.
5. Warna Gambar berwarna dihasilkan dengan
mencampur 3 warna primer RGB (merah,
hijau, biru).

MULTIMEDIA
Properti warna pada sistem broadcast:
• LUMINANCE
– Brightness = jumlah energi yang menstimulasi mata
grayscale (hitam/putih).
• CHROMINANCE adalah informasi warna.
– Hue (warna) = warna yang ditangkap mata
(frekuensi)
– Saturation = color strength (vividness) / intensitas
warna.
– Cb = komponen U dan
Cr = komponen V pada sistem YUV

MULTIMEDIA
6. Continuity of Motion. Mata manusia melihat
gambar sebagai suatu gerakan kontinyu jika
gambar-gambar tersebut kecepatannya lebih
besar dari 15 frame/det. Untuk video motion
biasanya 30 frame/detik, sedangkan movies
biasanya 24 frame/detik.
7. Flicker. Untuk menghindari terjadinya flicker
diperlukan kecepatan minimal melakukan
refresh 50 cycles/s.

MULTIMEDIA
Transmisi

• Sistem broadcast menggunakan channel

yang sama untuk mentransmisikan
gambar berwarna maupun hitam putih.
• Untuk gambar berwarna sinyal video
dibagi menjadi 2 sinyal, 1 untuk
luminance dan 2 untuk chrominance.
Sehingga sinyal Y, Cb, Cr harus
ditransmisikan bersama-sama (composite
video signal)

MULTIMEDIA
RGB -> YUV

• Dalam sistem PAL, digunakan parameter U (Cb) dan V

(Cr)
• Konversi
– Y = 0.299 R + 0.587 G + 0.114 B (luminance)
– U = 0.492 (B – Y) (chrominance) atau
• U = – 0.148 R – 0.289 G + 0.437 B
– V = 0.877 (R – Y) (chrominance) atau
• V = 0.615 R – 0.515 G – 0.100 B
Lumi-
• Inversi RED nance
– : R = Y + 1.14 V RGB to Chromi-
GREEN
– : G = Y – 0.394 U – 0.581 V Y C1 C2 nance 1
BLUE
– : B = Y + 2.032 U
Chromi-
nance 2

MULTIMEDIA
RGB -> YIQ

• Dalam sistem NTSC, digunakan parameter I, singkatan

dari in-phase (Cb) dan Q, singkatan dari quadrature (Cr)
• Konversi
– Y = 0.299 R + 0.587 G + 0.114 B
– I = 0.74 (R – Y) – 0.27 (B – Y)
– Q = 0.48 (R – Y) + 0.41 (B – Y)
• atau
– I = 0.596 R – 0.274 G – 0.322 B
– Q = 0.211 R – 0.523 G + 0.311 B
• Inversi
– R = Y + 0.956 I + 0.621 Q
– G = Y – 0.272 I – 0.649 Q
– B = Y – 1.106 I + 1.703 Q

MULTIMEDIA
RGB-SECAM Color Converter

• Konversi
– : Y = 0.299 R + 0.587 G + 0.114 B
– : Db = – 0.450 R – 0.833 G + 1.333 B
– : Dr = – 1.333 R + 1.116 G – 0.217 B
• Inversi
– : R = Y – 0.526 Dr
– : G = Y – 0.129 Db + 0.268 Dr
– : B = Y + 0.665 Db

MULTIMEDIA
DIGITAL VIDEO FORMAT

• CCIR-601/625 (Eropa)
- jumlah garis 625 (aktif 576)
- jumlah frame per detik 25
- jumlah pixel per garis 720

• CCIR-601/525 (USA)
- jumlah garis 525 (aktif 480)
- jumlah frame per detik 30
- jumlah pixel per garis 720

 total pixel per detik = 10.368.000  bit rate = 165,888,000 bit/s

 bandwidth total = 216 Mbit/s

MULTIMEDIA
DIGITAL VIDEO FORMAT
• CCIR-601  untuk kualitas broadcats

MULTIMEDIA
DIGITAL VIDEO FORMAT
SIF (Source Input Format)
• Eropa: 360 pixel/garis, 288 garis per gambar, 25 gambar perdetik
• USA : 360 pixel/garis, 240 garis per gambar, 30 gambar per detik
• Scanning : progressive
• Pola sampling 4:2:0

CCIR-601 SIF

MULTIMEDIA
DIGITAL VIDEO FORMAT
CIF (Common Intermediate Format)
• Eropa/USA: 360 pixel/garis, 288 garis per frame, 30 frameperdetik
• Scanning : progressive
• Pola sampling 4:2:0

QSIF, QCIF
• untuk aplikasi video over mobile networks, video telephony 
kurangi rate  Eropa : 15, 10 dan 7,5 frame/s  USA 12,5 dan
8,3 frame/s
• Resolusi spatial dikurangi setengahnya untuk tiap arah 
Quarter-SIF (QSIF) dan Quarter-CIF (QCIF)

Sub-QCIF
• 128 pixel x 96 pixel, 5 frame/sec, 4:2:0  ukuran image standar
paling kecil

MULTIMEDIA
MULTIMEDIA
Digital Video Compression

• CCIR-601 untuk broadcast tv.

• MPEG-4 untuk video online
• MPEG-2 untuk DVD dan SVCD
• MPEG-1 untuk VCD

MULTIMEDIA
• Software for editing digital video

• Apple QuickTime
• Adobe Premiere
• Strata Videoshop
• Video Action Pro
• TrueSpace 3D
• Ulead Video Editor

MULTIMEDIA
Software Video Digital Player

• QuickTime,
• Windows Media Player,
• ZoomPlayer,
• DivXPro,
• RealOne Player,
• Xing Mpeg Player,
• PowerDVD

MULTIMEDIA Teknik Elektro Unibra

Format File Video

• asf Advanced Systems Format

• asx Microsoft ASF Redirector File
• avi Audio Video Interleave File
• mov Apple QuickTime Movie
• movie QuickTime Movie No
• mp4 MPEG-4 Video File
• mpe MPEG Movie File
• mpeg Moving Picture Experts Group Video File
• mpg Moving Picture Experts Group File
• qt Apple QuickTime Movie
• rm Real Media

MULTIMEDIA
3g2 3GPP Multimedia File
3gp 3GPP Multimedia File
3gp2 3GPP Multimedia File
3gpp 3GPP Multimedia File
3mm 3D Movie Maker Movie
avs Application Visualization
System Format
byu Brigham Young University
Movie
dir Macromedia Director Movie
dv Digital Video File
dvr-ms Microsoft Digital Video
Recording
dxrProtected Macromedia
Director Movie
Fla Macromedia Flash Animation
Flc FLIC Animation
Fli FLIC Animation
Flv Flash Video
Flx FLIC Animation
Gl GRASP Animation
Grasp GRASP Animation
Ifo DVD-Video Disc Information
Ivf Intel Video Format
ivsInternet Streaming Video

MULTIMEDIA
.lsf Streaming Media Format
.lsx Streaming Media Shortcut
.m1v MPEG-1 Video File
.m4e MPEG-4 Video File
.m4u MPEG-4 Playlist
.mkv Matroska Audio/Video File
.moov Apple QuickTime Movie
.mpv2 MPEG-2 Video Stream
MULTIMEDIA
.mvc Movie Collector Catalog
.nvc NeroVision Express Project
.omf Open Media Framework
.prx Windows Media Profile
.mpeg Moving Picture Experts
Group Video File
.qtch QuickTime Cache File
.rmvb RealVideo Variable Bit
Rate
.rp RealPix Clip
.rts RealPlayer Streaming Media
Tugas

• Membuat paper tentang format file digital

(audio/image/video), judul berbeda untuk setiap mhs
• Sistematika:
– Sekilas Sejarah, Perkembangan & Pencipta
– Kajian Teknis: Diagram Blok, Prinsip Kerja, Teknik Kompresi,
dll
– Aplikasi: Penerapan atau penggunaan format file tersebut
– Tools utk editing dan Player
– Daftar Pustaka/Referensi, Sertakan Contoh File
• Format: 10-20 halaman A4, format sesuai aturan
• Deadline: 1 bulan

MULTIMEDIA
KOMPRESI DATA

MULTIMEDIA
Introduction to JPEG

• Joint Photographic Experts Group (JPEG)

– ISO standard (1992)
– widely used (.jpeg, .jpe, .jpg; C/R: 10~20)
• The family of JPEGs
– lossless JPEG: prediction-based compression
– lossy JPEG: DCT-based compression
– M-JPEG: motion JPEG
– JPEG2000: discrete wavelet transform; new!

MULTIMEDIA
JPEG compression guidelines
– Brightness vs color sensitivity
• RGB => YUV/YIQ
• chroma subsampling (4:2:0)
– Spatial correlation among nearby pixels
• slice an image into 8x8 blocks (bad for text)
– Remove redundancy in frequency domain
• discrete cosine transform (DCT)
• coarse quantization for high freq coefficients

MULTIMEDIA Teknik Elektro Unibraw

Kompresi JPEG

1. Konversi RGB -> YUV dan subsample U,V

2. Membagi YUV menjadi blok 8x8 pixel
3. Mengkompresi setiap blok dalam 4 proses:
– DCT=Discrete Cosine Transform: memisahkan
frekuensi. Low frequency values to top left corner
– quantise (divide all values): small values ==> 0
• zig-zag scan of blocks: get most significant values first
– run-length encoding: remove zeros from list
– Huffman coding: values => short symbols

MULTIMEDIA Teknik Elektro Unibraw

Blok Diagram JPEG

Fig. 2(a) JPEG Encoder Block Diagram

Fig. 2(b) JPEG Decoder Block Diagram

MULTIMEDIA Teknik Elektro Unibraw

Block Transforms

MULTIMEDIA Teknik Elektro Unibraw

DCT Block Based Coding

• Dlm praktek, DCT diaplikasikan ke blok-blok pixel dari

citra
• Ukuran blok tipikal 8 x 8 atau 16 x 16
• Koefisien-koefisien dari blok kemudian dikuantisasi dan
dikodekan secara terpisah
• Memungkinkan kuantisasi secara variabel utk
mengeksploitir variasi dari frequency content dari citra
• Citra terdiri dari daerah-daerah (region) dg
karakteristik frekuensi berbeda
• Krnnya, utk mendpkan energy compaction yg baik –
aplikasikan DCT ke region-region terpisah
• Kita tdk tahu region-region secara pasti, krnnya
gunakan blok-blok sederhana

MULTIMEDIA Teknik Elektro Unibraw

DCT Block Codec

MULTIMEDIA Teknik Elektro Unibraw

Pemilihan Ukuran Blok

• Pemilihan ukuran blok penting

• Terlalu besar – mencakup lebih dari satu region dg
karakteristik frekuensi berbeda
• Terlalu kecil – kompresi kurang
• 8 x 8 atau 16 x 16 kompromi yg umum digunakan

MULTIMEDIA Teknik Elektro Unibraw

Contoh DCT

• Blok citra 8 x 8:

• Koefisien DCT:

MULTIMEDIA Teknik Elektro Unibraw

Contoh Transform Encoding: Lossy

MULTIMEDIA Teknik Elektro Unibraw

Thresholding dan Quantization

• Koef-koef DCT pd tiap-tiap blok di-threshold

• Hanya yg di atas threshold dipertahankan
• Lainnya pengaruhnya kecil
• Koefisien yg ada dikuantisasi
• Kuantisasi bervariasi dg frekuensi
• Frekuensi tinggi tdk begitu penting – kuantisasi kasar

MULTIMEDIA Teknik Elektro Unibraw

Quantization Matrix

• Thresholding dan quantization dilakukan dg

menggunakan quantization matrix
• Tiap koefisien dibagi dg elemen QM (T(k,l)) dan
dibulatkan:

•
• Element T(k,l) adalah integer
• Merepresentasikan ukuran step kuantisasi

MULTIMEDIA Teknik Elektro Unibraw

Contoh Kuantisasi

MULTIMEDIA Teknik Elektro Unibraw

Contoh Hasil Rekonstruksi dari Transformasi

MULTIMEDIA Teknik Elektro Unibraw

The JPEG Compression

• JPEG compression example

Quantization
2-D DCT

Entropy
Coder

MULTIMEDIA
Huffman Coding

Panjang nol Kategori Amplitudo Panjang kode Kode Word

0 1 2 00
0 2 2 01
0 3 3 100
0 4 4 1011
0 5 5 11010
0 6 6 111000
0 7 7 1111000

1 1 4 1100
1 2 6 111001
1 3 7 1111001
1 4 9 111110110

2 1 5 11011
2 2 8 11111000

3 1 6 111010
3 2 9 111110111

4 1 6 111011
5 1 7 1111010
6 1 7 1111011
7 1 8 11111001
8 1 8 11111010
9 1 9 111111000
10 1 9 111111001

End of Block (EOB) 4 1010

MULTIMEDIA Teknik Elektro Unibraw