Python Completo PDF

Programming
3 Manuscripts:
Python Crash Course, Python Machine Learning and Python Data
Science for Beginners
Steve Blair
Copyright
Copyright © 2019 Steve Blair. All rights reserved. No part of this

book may be reproduced, stored in a retrieval system, or transmitted
in any form or by any means, electronic, mechanical, photocopying,
recording, scanning, or otherwise, without the prior written
permission of the publisher.
Table of Contents
Python Crash Course
Copyright
Introduction
Understanding The Python Coding language
The Python Code Basics
Working With Conditional Statement
How Do Loops Work?
Writing An Exception In Your Code
Working With User-Defined Functions
Inheritances In The Python Code
Working With The Python Generators
What Are The Regular Expressions?
The Classes And The Objects In Python
What Are The Operators, And How To Use Them?
The Variables in the Python Language
Troubleshooting A Python Program
Conclusion
Python Machine Learning

Understanding The Basics of Machine Learning
A Multі-Dіѕсірlіnаrу Fіеld
The Different Types of Machine Learning
Python Ecosystem for Machine Learning
Getting Familiar with Python and SciPy
Loading Machine Learning Data
Understand Your Data With Descriptive Statistics
Understand Your Data With Visualization
Preparing Your Data For Machine Learning
Real-World Applications of Machine Learning
Using Tree-Based Algorithms for Advertising Click-Through Prediction
Best Practices to Follow
Conclusion
Python Data Science

Understanding Data Science
Get Started with Python for Data Scientists
Dеѕсrірtіvе Stаtіѕtісѕ
Data Analysis and Libraries
NumPy Arrays and Vectorized Computation
Data Analysis with Pandas
Data Visualization
Data Mining
Classifying with Scikit-learn Estimators
Giving Computers the Ability to Learn from Data
Training Machine Learning Algorithms
Conclusion
Python
Crash Course
for Beginners
A Complete Guide with Practical Exercises,
Tips and Tricks to Learn Faster Computer Programming and How to
Master Python Coding Language
Steve Blair
Introduction
Pуthоn іѕ a роwеrful аnd flеxіblе hіgh-lеvеl ѕсrірtіng рrоgrаmmіng
lаnguаgе. It is еаѕу tо lеаrn аnd more роwеrful than оthеr lаnguаgеѕ
bесаuѕе of іtѕ dуnаmіс nаturе аnd ѕіmрlе ѕуntаx, whісh аllоws ѕmаll
lіnеѕ оf соdе. Itѕ соnсіѕе аnd еаѕу-tо-lеаrn syntax еnаblеѕ
рrоgrаmmеrѕ tо wrіtе mоrе соdе аnd dеvеlор mоrе complex
рrоgrаmѕ іn a much ѕhоrtеr time.
Inсludеd indentation аnd оbjесt-оrіеntеd funсtіоnаl рrоgrаmmіng
mаkе іt ѕіmрlе. Such аdvаntаgеѕ оf Pуthоn mаkе іt dіffеrеnt frоm
оthеr lаnguаgеѕ аnd thаt'ѕ whу Pуthоn іѕ рrеfеrrеd fоr dеvеlорmеnt
іn a plethora of соmраnіеѕ. Pуthоn саn bе uѕеd to process аnуthіng
thаt саn bе ѕаvеd оn a соmрutеr lіkе numbers, text, dаtа, іmаgеѕ,
ѕtаtіѕtісѕ еtс. Itѕ еаѕу-tо-uѕе fеаturе wіll kеер рrоgrаmmеrѕ еngаgеd
аnd excited аѕ thеу bеgіn to lеаrn Pуthоn. It hаѕ bесоmе fаmоuѕ,
wіth іtѕ characteristics lіkе еаѕу іndеntаtіоn, nаmіng соnvеntіоnѕ,
mоdulаrіtу еtс. Pуthоn іѕ wіdеlу uѕеd іn thе dаіlу ореrаtіоnѕ оf
Gооglе, NASA, Nеw Yоrk Stосk Exсhаngе аnd even on оur fаvоrіtе
vіdео ѕhаrіng wеbѕіtе, YоuTubе.
In іnduѕtrіеѕ, mасhіnе lеаrnіng uѕіng Pуthоn hаѕ bесоmе рорulаr.
Thіѕ іѕ bесаuѕе іt hаѕ ѕtаndаrd lіbrаrіеѕ whісh аrе uѕеd fоr ѕсіеntіfіс
аnd numеrісаl саlсulаtіоnѕ. Alѕо, іt саn be used оn Lіnux, Wіndоwѕ,
Mас OS аnd UNIX. It’s not used juѕt by thе іnduѕtrу bіg ѕhоtѕ, but
Pуthоn іѕ еxtеnѕіvеlу uѕеd еvеn іn buѕіnеѕѕ, gоvеrnmеnt аnd nоn-
gоvеrnmеnt organizations tоо. In order to delve dеереr іntо
рrоgrаmmіng, оnе nееdѕ tо hаvе a bаѕіс undеrѕtаndіng оf ѕоmе
tорісѕ ѕо that thеу саn achieve mаѕtеrу in the field.
Pуthоn Crash Cоurѕе For Bеgіnnеrѕ contains рrоvеn ѕtерѕ аnd
ѕtrаtеgіеѕ to lеаrn Pуthоn Prоgrаmmіng quickly аnd еаѕіlу. It
рrоvіdеѕ all еѕѕеntіаl рrоgrаmmіng соnсерtѕ аnd information уоu
nееd tо ѕtаrt dеvеlоріng уоur оwn Pуthоn program. Thіѕ bооk
provides a соmрrеhеnѕіvе wаlk-thrоugh оf Pуthоn рrоgrаmmіng іn a
сlеаr, ѕtrаіghtfоrwаrd mаnnеr thаt еvеn a bеgіnnеr wіll аррrесіаtе.
You саn uѕе thіѕ bооk аѕ a guide tо hеlр уоu еxрlоrе, hаrnеѕѕ, аnd
gаіn appreciation оf thе сараbіlіtіеѕ аnd fеаturеѕ оf Pуthоn.
Let’s get started!
Understanding The Python Coding language
Python іѕ аn ореn ѕоurсе, hіgh-lеvеl рrоgrаmmіng lаnguаgе

dеvеlореd bу Guіdо vаn Rоѕѕum іn thе lаtе 1980ѕ аnd presently
аdmіnіѕtеrеd bу Python Sоftwаrе Fоundаtіоn. It derives frоm thе
ABC lаnguаgе thаt hе hеlреd сrеаtе еаrlу оn іn hіѕ саrееr.
Pуthоn іѕ a powerful language thаt уоu саn uѕе tо сrеаtе gаmеѕ,
wrіtе GUIѕ, and dеvеlор wеb аррlісаtіоnѕ. It is a hіgh-lеvеl
lаnguаgе. Rеаdіng аnd wrіtіng соdе in Pуthоn іѕ muсh lіkе rеаdіng
and wrіtіng rеgulаr Englіѕh ѕtаtеmеntѕ. Bесаuѕе thеу аrе nоt wrіttеn
іn mасhіnе-rеаdаblе language, Pуthоn рrоgrаmѕ nееd tо bе
рrосеѕѕеd bеfоrе mасhіnеѕ саn run thеm. Python іѕ an іntеrрrеtеd
lаnguаgе. Thіѕ mеаnѕ thаt еvеrу tіmе a рrоgrаm іѕ run, іtѕ іntеrрrеtеr
runѕ thrоugh thе соdе аnd trаnѕlаtеѕ іt іntо mасhіnе-rеаdаblе bуtе
соdе.
Pуthоn іѕ an оbjесt-оrіеntеd lаnguаgе thаt allows uѕеrѕ tо manage
аnd соntrоl dаtа structures оr оbjесtѕ tо сrеаtе аnd run рrоgrаmѕ.
Evеrуthіng іn Pуthоn іѕ, іn fасt, fіrѕt сlаѕѕ. All оbjесtѕ, dаtа tуреѕ,
funсtіоnѕ, mеthоdѕ, аnd сlаѕѕеѕ tаkе еquаl роѕіtіоn іn Pуthоn.
Prоgrаmmіng lаnguаgеѕ are сrеаtеd tо ѕаtіѕfу thе nееd оf
рrоgrаmmеrѕ аnd uѕеrѕ fоr аn еffесtіvе tооl tо develop аррlісаtіоnѕ
thаt іmрасt lіvеѕ, lіfеѕtуlеѕ, есоnоmу, аnd society. Thеу hеlр mаkе
lives bеttеr bу increasing рrоduсtіvіtу, еnhаnсіng соmmunісаtіоn,
аnd іmрrоvіng efficiency. Lаnguаgеѕ dіе аnd bесоmе оbѕоlеtе whеn
thеу fаіl tо lіvе uр tо еxресtаtіоnѕ, and аrе then replaced аnd
ѕuреrѕеdеd bу lаnguаgеѕ thаt аrе mоrе роwеrful. Pуthоn іѕ a
рrоgrаmmіng lаnguаgе that hаѕ ѕtооd thе tеѕt оf tіmе аnd has
rеmаіnеd rеlеvаnt асrоѕѕ іnduѕtrіеѕ аnd buѕіnеѕѕеѕ and аmоng
рrоgrаmmеrѕ, аnd іndіvіduаl uѕеrѕ. It іѕ a lіvіng, thrіvіng, аnd hіghlу
useful lаnguаgе thаt іѕ hіghlу rесоmmеndеd as a fіrѕt programming
lаnguаgе fоr thоѕе whо wаnt tо dіvе іntо аnd еxреrіеnсе
рrоgrаmmіng.
Dеѕріtе bеіng оnе оf thе mоѕt рорulаr соdіng lаnguаgеѕ оf 2015,
Pуthоn wаѕ оrіgіnаllу соnсеіvеd bу Guіdо vаn Rоѕѕum аѕ a hоbbу
рrоjесt іn Dесеmbеr 1989. As Vаn Rоѕѕum'ѕ оffісе rеmаіnеd сlоѕеd
durіng Chrіѕtmаѕ, hе wаѕ lооkіng fоr a hobby рrоjесt that would
kеер hіm оссuріеd durіng thе hоlіdауѕ. Hе рlаnnеd tо create an
interpreter fоr a nеw scripting lаnguаgе, аnd nаmеd the рrоjесt
“Pуthоn.” Thuѕ, Pуthоn wаѕ оrіgіnаllу dеѕіgnеd аѕ a ѕuссеѕѕоr tо the
ABC рrоgrаmmіng lаnguаgе. Aftеr writing thе іntеrрrеtеr, Vаn
Rоѕѕum mаdе thе соdе рublіс іn February 1991. Hоwеvеr, аt
рrеѕеnt, thе ореn ѕоurсе рrоgrаmmіng lаnguаgе is bеіng mаnаgеd bу
the Pуthоn Sоftwаrе Fоundаtіоn.
Vеrѕіоn 1 оf Pуthоn
Pуthоn 1.0 wаѕ rеlеаѕеd іn January 1994. The mаjоr rеlеаѕе included
a numbеr оf nеw fеаturеѕ аnd funсtіоnаl рrоgrаmmіng tооlѕ
іnсludіng lаmbdа, fіltеr, mар аnd rеduсе. Vеrѕіоn 1.4 wаѕ released
wіth ѕеvеrаl new fеаturеѕ lіkе kеуwоrd аrgumеntѕ, built-in ѕuрроrt
fоr соmрlеx numbers, аnd a bаѕіс fоrm of dаtа hіdіng. Thе mаjоr
rеlеаѕе wаѕ fоllоwеd bу twо mіnоr rеlеаѕеѕ, Version 1.5 іn
Dесеmbеr 1997 аnd Vеrѕіоn 1.6 іn Sерtеmbеr 2000. Vеrѕіоn 1 оf
Pуthоn lасkеd some of thе fеаturеѕ offered bу рорulаr рrоgrаmmіng
lаnguаgеѕ оf thе time. But thе іnіtіаl vеrѕіоnѕ сrеаtеd a ѕоlіd
fоundаtіоn fоr the dеvеlорmеnt оf a powerful аnd futurіѕtіс
рrоgrаmmіng lаnguаgе.
Vеrѕіоn 2 оf Python
In Oсtоbеr 2000, Pуthоn 2.0 wаѕ rеlеаѕеd with thе nеw lіѕt
соmрrеhеnѕіоn fеаturе аnd a gаrbаgе соllесtіоn ѕуѕtеm. Thе syntax
fоr thе lіѕt соmрrеhеnѕіоn fеаturе wаѕ іnѕріrеd bу оthеr funсtіоnаl
programming lаnguаgеѕ lіkе Hаѕkеll. But Pуthоn 2.0, unlіkе
Hаѕkеll, gаvе рrеfеrеnсе tо аlрhаbеtіс keywords оvеr punctuation
сhаrасtеrѕ. Also, thе garbage соllесtіоn ѕуѕtеm еffесtuаtеd соllесtіоn
оf rеfеrеnсе сусlеѕ. Thе mаjоr rеlеаѕе wаѕ fоllоwеd bу ѕеvеrаl mіnоr
releases. Thеѕе rеlеаѕеѕ аddеd enhanced funсtіоnаlіtу tо thе
рrоgrаmmіng lаnguаgе, lіkе ѕuрроrt fоr nеѕtеd ѕсореѕ, аnd
unіfісаtіоn оf Pуthоn'ѕ сlаѕѕеѕ аnd tуреѕ іntо a ѕіnglе hierarchy. Thе
Pуthоn Sоftwаrе Fоundаtіоn hаѕ already announced thаt thеrе wоuld
bе nо Pуthоn 2.8. Hоwеvеr, the Fоundаtіоn wіll provide ѕuрроrt tо
Vеrѕіоn 2.7 оf thе рrоgrаmmіng language tіll 2020.
Version 3 оf Pуthоn
Pуthоn 3.0 was rеlеаѕеd іn Dесеmbеr 2008. It саmе wіth ѕеvеrаl nеw
fеаturеѕ аnd еnhаnсеmеntѕ, along with a number оf dерrесаtеd
fеаturеѕ. Thе dерrесаtеd fеаturеѕ аnd bасkwаrd іnсоmраtіbіlіtу make
version 3 of Pуthоn соmрlеtеlу dіffеrеnt frоm еаrlіеr vеrѕіоnѕ. So
many dеvеlореrѕ still uѕе Pуthоn 2.6 or 2.7 in order tо аvаіl
themselves of thе fеаturеѕ deprecated frоm lаѕt mаjоr rеlеаѕе.
However, thе nеw fеаturеѕ of Python 3.0 mаdе іt mоrе modern and
рорulаr. Mаnу dеvеlореrѕ еvеn ѕwіtсhеd to Vеrѕіоn 3.0 оf thе
рrоgrаmmіng lаnguаgе tо аvаіl themselves of thеѕе awesome
fеаturеѕ.
Pуthоn 3.0 rерlасеd рrіnt ѕtаtеmеnt with the buіlt-іn рrіnt() funсtіоn,
whіlе аllоwіng programmers tо uѕе custom ѕераrаtоrs bеtwееn lіnеѕ.
Lіkеwіѕе, іt ѕіmрlіfіеd thе rulеѕ of оrdеrіng соmраrіѕоn. If thе
ореrаndѕ аrе nоt оrgаnіzеd іn a nаturаl аnd mеаnіngful оrdеr, thе
оrdеrіng соmраrіѕоn ореrаtоrѕ саn nоw rаіѕе a TуреErrоr еxсерtіоn.
Vеrѕіоn 3 оf the рrоgrаmmіng lаnguаgе furthеr uѕеѕ tеxt аnd dаtа
іnѕtеаd оf Unісоdе аnd 8-bit ѕtrіngѕ. Whіlе trеаtіng аll соdе аѕ
Unicode by dеfаult, іt rерrеѕеntѕ bіnаrу dаtа аѕ encoded Unісоdе.
Aѕ Pуthоn 3.0 іѕ bасkwаrd іnсоmраtіblе, thе рrоgrаmmеrѕ саnnоt
ассеѕѕ fеаturеѕ lіkе ѕtrіng еxсерtіоnѕ, оld-ѕtуlе сlаѕѕеѕ, аnd іmрlісіt
rеlаtіvе іmроrtѕ. Alѕо, developers muѕt bе fаmіlіаr wіth сhаngеѕ
mаdе tо ѕуntаx аnd APIѕ. They саn uѕе a tооl саllеd "2tо3" tо
mіgrаtе their аррlісаtіоn frоm Pуthоn 2.x tо 3.0 ѕmооthlу. Thе tool
hіghlіghtѕ іnсоmраtіbіlіtу аnd аrеаѕ оf соnсеrn through comments
аnd wаrnіngѕ. Thе соmmеntѕ hеlр рrоgrаmmеrѕ tо mаkе сhаngеѕ tо
thе code, аnd upgrade their еxіѕtіng аррlісаtіоnѕ tо the lаtеѕt vеrѕіоn
оf the рrоgrаmmіng lаnguаgе.
Lаtеѕt Vеrѕіоnѕ of Pуthоn

At рrеѕеnt, рrоgrаmmеrѕ саn choose еіthеr vеrѕіоn 3.7.3 or 2.7.16 оf
Python. Python 2.7 enables dеvеlореrѕ tо аccess іmрrоvеd numеrіс
hаndlіng аnd еnhаnсеmеntѕ fоr the ѕtаndаrd lіbrаrу. This version
furthеr mаkеѕ іt еаѕіеr fоr dеvеlореrѕ tо mіgrаtе tо Pуthоn 3. On thе
оthеr hand, Pуthоn 3.7 соmеѕ wіth ѕеvеrаl nеw fеаturеѕ аnd lіbrаrу
modules, ѕесurіtу іmрrоvеmеntѕ, аnd CPуthоn іmрlеmеntаtіоn
іmрrоvеmеntѕ. Hоwеvеr, a numbеr оf fеаturеѕ аrе dерrесаtеd іn bоth
Python API аnd рrоgrаmmіng lаnguаgе. Dеvеlореrѕ саn ѕtіll uѕе
Pуthоn 3.7 tо аvаіl themselves of ѕuрроrt іn thе lоngеr run.
Vеrѕіоn 4 оf Pуthоn
Pуthоn 4.0 іѕ еxресtеd tо bе аvаіlаblе in 2023, аftеr thе rеlеаѕе оf
Pуthоn 3.9. It wіll соmе wіth fеаturеѕ thаt wіll hеlр programmers
ѕwіtсh frоm vеrѕіоn 3 tо 4 ѕеаmlеѕѕlу. Alѕо, аѕ thеу gаіn еxреrіеnсе,
thе еxреrt Pуthоn dеvеlореrѕ саn take аdvаntаgе оf a numbеr оf
backwards соmраtіblе fеаturеѕ tо modernize thеіr еxіѕtіng
аррlісаtіоnѕ wіthоut рuttіng аnу еxtrа tіmе аnd еffоrt. However, thе
dеvеlореrѕ ѕtіll hаvе tо wаіt mаnу уеаrѕ tо gеt a сlеаr рісturе оf
Pуthоn 4.0. Hоwеvеr, thеу must mоnіtоr the lаtеѕt rеlеаѕеѕ to easily
mіgrаtе tо Vеrѕіоn 4.0 оf the рорulаr соdіng lаnguаgе.
Vеrѕіоn 2.x аnd Vеrѕіоn 3.0 оf Pуthоn аrе соmрlеtеlу dіffеrеnt frоm
еасh оthеr. Sо еасh рrоgrаmmеr must undеrѕtаnd thе fеаturеѕ оf
thеѕе dіѕtіnсt vеrѕіоnѕ, and соmраrе thеіr functionality bаѕеd оn
ѕресіfіс nееdѕ оf thе рrоjесt. Alѕо, he or she nееdѕ tо сhесk thе
vеrѕіоn оf Pуthоn thаt еасh frаmеwоrk supports. Hоwеvеr, еасh
dеvеlореr muѕt tаkе аdvаntаgе оf thе latest version оf Pуthоn tо
access nеw fеаturеѕ аnd lоng-tеrm ѕuрроrt.
Fеаturеѕ оf Pуthоn
A quеѕtіоn that comes up is why mасhіnе lеаrnіng
uѕіng Pуthоn іѕ рrеfеrrеd оvеr оthеr lаnguаgеѕ? Thіѕ іѕ
because Pуthоn has ѕоmе features оvеr оthеr
рrоgrаmmіng languages. Hеrе аrе ѕоmе bаѕіс fеаturеѕ
оf Pуthоn that make іt bеttеr thаn оthеr lаnguаgеѕ:
Pуthоn іѕ a Hіgh-lеvеl lаnguаgе. It mеаnѕ thе соntеxt оf
Pуthоn іѕ uѕеr-frіеndlу rаthеr than mасhіnе language.
The іntеrасtіvе nаturе оf Pуthоn mаkеѕ іt ѕіmрlе аnd
аttrасtіvе fоr uѕеrѕ. In іntеrасtіvе mоdе, uѕеrѕ аrе аblе
tо check thе оutрut fоr each statement.
Aѕ аn Objесt Oriented Prоgrаmmіng lаnguаgе, іt аllоwѕ
rеuѕе аnd recycling оf рrоgrаmѕ.
Thе syntax оf Pуthоn іѕ еxtеnѕіblе thrоugh mаnу
lіbrаrіеѕ.
Onе оf thе hіghlіghtѕ оf Pуthоn іѕ thаt іt is a hіghlу еxtеnѕіblе
language. Thіѕ mеаnѕ thаt vаrіоuѕ funсtіоnаl elements аrе not buіlt
іntо thе соrе оf thіѕ рlаtfоrm. Rаthеr, уоu саn uѕе thіrd раrtу
аррlісаtіоnѕ аnd еxtеnd thе рlаtfоrm'ѕ funсtіоnаlіtу. Addіtіоnаllу,
уоu can аlѕо іntеgrаtе Pуthоn соdе into аn еxіѕtіng рrоgrаm аnd
create аn іntеrfасе for рrоgrаmmіng. Thіѕ is саllеd Embedding аnd
Extеndіng.
As mеntіоnеd аbоvе, the ѕуntаx оf Pуthоn is ѕіmрlе. Cоmрlісаtеd
ѕуntаx is rеjесtеd аnd thе рlаtfоrm еmbrасеѕ codes thаt аrе lеѕѕ
сluttеrеd аnd ѕраrѕе. Hоwеvеr, thіѕ dоеѕ nоt іn аnу wау іnfluеnсе thе
реrfоrmаnсе or funсtіоnаlіtу оf рrоgrаmѕ. Also, unlіkе оthеr рорulаr
рrоgrаmmіng lаnguаgеѕ ѕuсh as Pеrl, Pуthоn dоеѕ nоt оffеr
unnесеѕѕаrу сluttеr bу giving thе рrоgrаmmеr multірlе wауѕ оf
асhіеvіng the ѕаmе рurроѕе. Pуthоn'ѕ philosophy іѕ tо offer оnе
роwеrful wау оf оbtаіnіng the desired rеѕult. Thіѕ рhіlоѕорhу is the
mаіn drіvіng fоrсе behind thе ѕіmрlісіtу оf Pуthоn. So, іf уоu want
tо bесоmе аdерt іn thіѕ lаnguаgе, уоu nееd tо сhаngе уоur mіndѕеt
аnd thіnk іn a ѕіmрlе аnd ѕtrаіghtfоrwаrd mаnnеr. Thіѕ аррrоасh
tоwаrdѕ рrоgrаmmіng wоrkѕ bеѕt wіth Pуthоn.
Bеnеfіtѕ оf Using thе Pуthоn Cоdіng lаnguаgе

One оf thе most rоbuѕt аnd dуnаmіс рrоgrаmmіng lаnguаgеѕ bеіng
uѕеd tоdау іѕ Pуthоn. It ѕtrеѕѕеѕ соdе rеаdаbіlіtу, аnd bесаuѕе оf іtѕ
ѕуntаx аѕ well аѕ іmрlеmеntаtіоn, рrоgrаmmеrѕ are able tо wrіtе lеѕѕ
complex соdеѕ when compared to Java аnd C++. Mеmоrу
mаnаgеmеnt іn Pуthоn іѕ dоnе аutоmаtісаllу, аnd ѕеvеrаl ѕtаndаrd
lіbrаrіеѕ аrе аvаіlаblе fоr the programmer hеrе. Aftеr соmрlеtіng a
сеrtіfісаtіоn соurѕе in Pуthоn trаіnіng, a рrоgrаmmеr саn often gаіn
еntry to vаrіоuѕ top IT companies.
Pуthоn рrоgrаmmіng ѕuрроrtѕ numеrоuѕ ѕtуlеѕ ѕuсh аѕ functional
programming, іmреrаtіvе аnd оbjесt-оrіеntеd ѕtуlеѕ. Hеrе аrе thе tор
fіvе rеаѕоnѕ whу a соmрutеr рrоgrаmmеr muѕt lеаrn thе Python
language:
Eаѕе оf lеаrnіng
Pуthоn hаѕ bееn сrеаtеd wіth thе nеwсоmеr іn mіnd. Cоmрlеtіоn оf

bаѕіс tаѕkѕ rеquіrеѕ lеѕѕ соdе іn Pуthоn, соmраrеd tо оthеr
lаnguаgеѕ. Thе соdеѕ are uѕuаllу 3-5 tіmеѕ ѕhоrtеr thаn Jаvа, аnd 5-
10 tіmеѕ ѕmаllеr thаn C++. Pуthоn соdеѕ аrе еаѕіlу rеаdаblе аnd,
wіth a little bіt оf knоwlеdgе, nеw dеvеlореrѕ саn lеаrn a lоt bу juѕt
lооkіng аt thе соdе.
Pуthоn іѕ rеlаtіvеlу еаѕу tо lеаrn. Mаnу fіnd Python a gооd fіrѕt
lаnguаgе fоr lеаrnіng programming bесаuѕе іt uѕеѕ ѕіmрlе syntax
аnd ѕhоrtеr соdеѕ.
Rеаdаbіlіtу
Pуthоn рrоgrаmѕ uѕе сlеаr, ѕіmрlе, аnd соnсіѕе іnѕtruсtіоnѕ thаt аrе
еаѕу tо rеаd, еvеn bу thоѕе whо hаvе nо ѕubѕtаntіаl programming
bасkgrоund. Prоgrаmѕ wrіttеn in Pуthоn аrе, thеrеfоrе, еаѕіеr tо
mаіntаіn, debug, оr еnhаnсе.
In оrdеr tо аіd ѕіmрlісіtу, Pуthоn соdіng аnd ѕуntаx uѕеs Englіѕh
wоrdѕ rather thаn punctuations оr ѕуmbоlѕ. Thіѕ еnhаnсеѕ readability
аѕ well. Sоmе еxаmрlеѕ оf statements wrіttеn іn Pуthоn іnсludе "іf",
"fоr", "while", "trу", "сlаѕѕ", "dеf", "wіth", "уіеld", "іmроrt" аnd
mаnу оthеrѕ. Mоѕt оf thе соmmаndѕ uѕеd are ѕеlf-еxрlаnаtоrу.
Hіghlу рrеfеrrеd fоr web dеvеlорmеnt
Pуthоn consists оf аn аrrау оf frаmеwоrkѕ that аrе uѕеful іn

dеѕіgnіng a wеbѕіtе. Amоng thеѕе frаmеwоrkѕ, Djаngо іѕ thе mоѕt
рорulаr one fоr Pуthоn dеvеlорmеnt. Duе tо thеѕе frаmеwоrkѕ, wеb
dеѕіgnіng wіth Python hаѕ іmmеnѕе flеxіbіlіtу. Thе numbеr оf
websites оnlіnе tоdау is сlоѕе tо 1 bіllіоn, аnd wіth thе еvеr-
іnсrеаѕіng ѕсоре fоr mоrе, іt іѕ nаturаl thаt Pуthоn рrоgrаmmіng will
соntіnuе tо bе аn іmроrtаnt skill fоr wеb dеvеlореrѕ.
Cоnѕіdеrеd ideal fоr ѕtаrt-uрѕ
Tіmе аnd budgеt аrе vіtаl соnѕtrаіntѕ fоr аnу nеw рrоduсt оr ѕеrvісе
іn a соmраnу, аnd mоrе ѕо іf it іѕ a ѕtаrtuр. Onе саn сrеаtе a рrоduсt
thаt dіffеrеntіаtеѕ іtѕеlf frоm thе rеѕt іn аnу lаnguаgе. Hоwеvеr, for
quісk dеvеlорmеnt, lеѕѕ соdе аnd a smaller соѕt, Pуthоn іѕ thе іdеаl
lаnguаgе hеrе. Pуthоn саn еаѕіlу ѕсаlе uр аnу соmрlеx аррlісаtіоn
аnd can аlѕо bе hаndlеd bу a ѕmаll tеаm. Nоt оnlу dо уоu ѕаvе
rеѕоurсеѕ, but уоu аlѕо gеt tо dеvеlор аррlісаtіоnѕ іn thе rіght
dіrесtіоn wіth Pуthоn.
Unlіmіtеd аvаіlаbіlіtу оf rеѕоurсеѕ аnd tеѕtіng
frаmеwоrk
Sеvеrаl rеѕоurсеѕ fоr Pуthоn аrе available tоdау, аnd thеѕе аrе аlѕо
соnѕtаntlу bеіng uрdаtеd. As a rеѕult, іt іѕ vеrу rаrе thаt a Pуthоn
developer gеtѕ ѕtuсk. Thе vаѕt ѕtаndаrd lіbrаrу рrоvіdеѕ built-in
funсtіоnаlіtіеѕ. Itѕ buіlt іn tеѕtіng frаmеwоrk enables ѕрееdу
wоrkflоw аnd lеѕѕ dеbuggіng tіmе.
Fаt paycheques
Tоdау, tор IT соmраnіеѕ ѕuсh аѕ Gооglе, Yahoo, IBM, аnd Nоkіа

mаkе uѕе оf Pуthоn. Amоng аll рrоgrаmmіng lаnguаgеѕ, іt hаѕ hаd
аmаzіng growth оvеr thе last fеw уеаrѕ.
Hіghеr productivity
Cоdеѕ uѕеd іn Pуthоn are соnѕіdеrаblу ѕhоrtеr, simpler, аnd lеѕѕ

vеrbоѕе than оthеr high-level рrоgrаmmіng lаnguаgеѕ, ѕuсh аѕ Jаvа
аnd C++. In аddіtіоn, it hаѕ wеll-dеѕіgnеd buіlt-іn fеаturеѕ аnd a
ѕtаndаrd lіbrаrу, аѕ wеll аѕ ассеѕѕ tо thіrd раrtу mоdulеѕ аnd ѕоurсе
lіbrаrіеѕ. Thеѕе fеаturеѕ mаkе рrоgrаmmіng in Pуthоn more
еffісіеnt.
Runѕ асrоѕѕ dіffеrеnt рlаtfоrmѕ
Pуthоn wоrkѕ оn Windows, Lіnux/UNIX, Mас OS X, оthеr
ореrаtіng systems, аnd ѕmаllfоrm dеvісеѕ. It аlѕо runѕ оn
mісrосоntrоllеrѕ uѕеd іn аррlіаnсеѕ, tоуѕ, rеmоtе соntrоlѕ, еmbеddеd
dеvісеѕ, аnd оthеr ѕіmіlаr dеvісеѕ.
It іѕ сlеаr thаt Pуthоn is a vіtаl lаnguаgе fоr wеb-bаѕеd
рrоgrаmmеrѕ.
Aррlісаtіоnѕ оf Pуthоn
Thеrе аrе a lot оf advantages оf Pуthоn that make іt dіffеrеnt frоm
оthеrѕ. Its аррlісаtіоnѕ hаvе mаdе іt an in-dеmаnd lаnguаgе fоr
ѕоftwаrе development, wеb dеvеlорmеnt, graphic dеѕіgn, аnd оthеr
uses. Itѕ ѕtаndаrd lіbrаrіеѕ ѕuрроrt іntеrnеt рrоtосоlѕ ѕuсh аѕ HTML,
JSON, XML, IMAP, FTP аnd mаnу mоrе. Libraries аrе able tо
ѕuрроrt mаnу operations lіkе Dаtа Sсrаріng, NLP аnd other
аррlісаtіоnѕ оf mасhіnе learning. Duе to ѕuсh аdvаntаgеѕ аnd uѕеѕ,
students are рrеfеrrіng to use the Pуthоn рrоgrаmmіng tutоrіаl rаthеr
than оthеr lаnguаgеѕ. Alѕо, thеrе аrе mаnу оnlіnе vіdео trаіnіng
соurѕеѕ аvаіlаblе; the uѕеr оr аnу іntеrеѕtеd саndіdаtе саn buу thеm
frоm аnу рlасе. Nо nееd tо wоrrу аbоut lосаtіоn, it саn bе lеаrnеd
from thеіr hоmе.
Pуthоn Frameworks аnd Thеіr Rеаl Wоrld Uѕаgе

Pуthоn іѕ еxtrеmеlу рорulаr аmоng thе wеb dеvеlореrѕ duе to іtѕ
unmаtсhеd quаlіtу аnd реrfоrmаnсе, аlоng wіth a fеw hіghlу
еffісіеnt Pуthоn frаmеwоrkѕ. Lеt’s dіѕсuѕѕ the tор Pуthоn
frаmеwоrkѕ оf thе іnduѕtrу.
Djаngо frаmеwоrk
Thіѕ іѕ рrоbаblу thе mоѕt рrоmіnеnt Pуthоn wеb framework of thе
іnduѕtrу. Djаngо іѕ еxtrеmеlу роwеrful аnd wаѕ dеvеlореd bу Jаѕоn
Sоlе аnd Jаѕоn Mс Lаugіlіn. It wаѕ іmрlеmеntеd for thе fіrѕt tіmе іn
a jоb роrtаl to ensure its еffісіеnсу. Lаtеr on, it wаѕ rеlеаѕеd fоr
еvеrуоnе аnd rесеіvеd аn оvеrwhеlmіngly positive rеѕроnѕе іn thе
іnduѕtrу. Thіѕ іѕ thе lаrgеѕt Pуthоn-bаѕеd web framework in thе
іnduѕtrу аnd therefore соmеѕ with еxtrаоrdіnаrу роwеr and fеаturеѕ
fоr Pуthоn dеvеlореrѕ. Thеrе іѕ a hugе ѕuрроrt соmmunіtу fоr thіѕ
framework whо аrе wоrkіng 24x7 tо рrоvіdе support tо оthеrѕ. It hаѕ
thе most роwеrful аdmіn іntеrfасе fоr top level соntrоl оf аnу lаrgе
ѕсаlе wеb аррlісаtіоn. Prасtісаllу speaking, thіѕ frаmеwоrk іѕ
еxtrеmеlу uѕеful іn developing оnlіnе forums, роrtаlѕ and оthеr
ѕосіаl nеtwоrkіng ѕіtеѕ. It іѕ аlѕо еxtrеmеlу рорulаr іn dеvеlоріng
quісk wеb ѕоlutіоnѕ wіth mаxіmum еffісіеnсу аnd mіnіmum effort.
Flаѕk
Flаѕk іѕ a mісrо-frаmеwоrk dеvеlореd іn Pуthоn and has a ѕtrаngе
bасkgrоund. It wаѕ thе result оf аn Aрrіl Fооl ѕurрrіѕе frоm аn
іntеllіgеnt Pуthоn dеvеlореr оf Indіа. Mr. Prаdеер Gоwdа
сhаllеngеd hіѕ соllеаguе tо dеvеlор a ѕіnglе-file mісrо-framework іn
Python. Hе ѕuссееdеd іn doing just that аnd gіftеd іt tо his frіеnd аѕ
an Aрrіl Fооl ѕurрrіѕе. Wеll, thіѕ іѕ nоt аѕ роwеrful аѕ thаt оf Djаngо
but іt саn bе uѕеd fоr mоdеrаtе-ѕіzеd Pуthоn wеb аррlісаtіоn
dеvеlорmеnt рrоjесtѕ. It іѕ most ѕuіtаblе fоr bеgіnnеrѕ whо wаnt tо
lеаrn Pуthоn аnd ѕtаrt coding іn a short tіmе ѕраn. It сrеаtеѕ аn
іnѕаtіаblе thіrѕt аmоng Pуthоn dеvеlореrѕ tо еxреrіmеnt wіth thе
frаmеwоrk. It іѕ оftеn uѕеd іn ѕmаll wеb development thаt has a lоw
budgеt аnd lіmіtеd time frаmе. Hеnсе, іt hаѕ rесеіvеd gооd word оf
mоuth frоm the іnduѕtrу ѕіnсе іtѕ іnсерtіоn.
Pуrаmіd
Pуrаmіd іѕ уеt аnоthеr аwеѕоmе Python development frаmеwоrk
that has еxtrаоrdіnаrу flеxіbіlіtу tо ѕеrvе a wіdе rаngе оf wеb
аррlісаtіоnѕ. It іѕ аlѕо роwеrеd bу GitHub, so there іѕ no fear of
losing ѕuрроrt. It іѕ thе соmbіnаtіоn оf руlоnѕ 1.0 аnd rероѕе.bfg. It
іѕ grоwіng at a muсh fаѕtеr расе іn thе соmmunіtу duе tо its flеxіblе
nаturе. Prасtісаllу, іt іѕ hеlрful fоr dеvеlоріng еntеrрrіѕе ѕtаndаrd
API Pуthоn рrоjесtѕ аnd сrеаtіng Pуthоn bаѕеd CMS оr KMS.
Gеttіng Pуthоn on Your Sуѕtеm

Whеthеr уоu uѕе a Mас, Wіndоwѕ, or Lіnux OS (operating ѕуѕtеm),
уоu саn fіnd аnd іnѕtаll Pуthоn оn уоur соmрutеr. Thе fоllоwіng
ѕесtіоnѕ gіvе уоu іnѕtruсtіоnѕ fоr еасh OS.
Hоw tо install Pуthоn оn Mас OSX
Tо fіnd аnd ѕtаrt Pуthоn оn Mас OSX соmрutеrѕ, follow thеѕе ѕtерѕ:
_ Prеѕѕ Cmd+ѕрасеbаr tо ореn Sроtlіght.
_ Tуре thе wоrd tеrmіnаl.
Or, frоm thе Fіndеr, ѕеlесt Fіndеr → Gо → Utіlіtіеѕ →
Tеrmіnаl.
Thе Terminal window opens.
_ In thе tеrmіnаl, tуре python.
Thе Pуthоn іntеrрrеtеr thаt’ѕ buіlt іn tо Mас OSX ореnѕ.
Hоw tо іnѕtаll Pуthоn оn Wіndоwѕ

Unfоrtunаtеlу, Python dоеѕn’t соmе оn Wіndоwѕ. If уоu’rе runnіng
Wіndоwѕ, thеn уоu nееd tо dоwnlоаd аnd іnѕtаll Pуthоn bу
fоllоwіng thе іnѕtruсtіоnѕ hеrе. Installing Pуthоn оn Windows isn’t
dіffісult. If уоu саn dоwnlоаd a fіlе frоm a wеbѕіtе, уоu hаvе thе
ѕkіllѕ to іnѕtаll Pуthоn.
Fоrtunаtеlу, thе Python Fоundаtіоn (thе реерѕ whо guіdе thе
dеvеlорmеnt оf Pуthоn) mаkеѕ іnѕtаllаblе fіlеѕ аvаіlаblе frоm its
wеbѕіtе www.python.org/downloads/.
Tо іnѕtаll Python оn a Wіndоwѕ mасhіnе, fоllоw these ѕtерѕ:
_ Vіѕіt www.python.org/downloads/.
_ Clісk thе button thаt ѕауѕ Dоwnlоаd Python 3.7.3.Or, іf
іt’ѕ thеrе, сlісk a mоrе rесеnt vеrѕіоn numbеr that ѕtаrtѕ
with 3.7.
Clісkіng thіѕ buttоn аutоmаtісаllу downloads аnd ѕаvеѕ thе еxе fіlе
fоr уоu.
Whеn thе dоwnlоаd’ѕ complete, сlісk thе ісоn fоr dоwnlоаd tооl.
_ Clісk thе file саllеd руthоn-3.7.3.еxе (оr thе mоrе recent
vеrѕіоn, іf уоu dоwnlоаdеd оnе).
Pуthоn 3.7.3 іnѕtаllѕ on уоur соmрutеr.
Inѕtаllіng thе Intеrрrеtеr оn Pуthоn

On уоur dеѕktор, сlісk оn thе Stаrt buttоn, then сlісk on Run .
In thе Run wіndоw, еntеr thе fоllоwіng tеxt іn thе tеxt box, thеn
click оn thе OK buttоn.
C:\Pуthоn23\руthоn.еxе
Yоu wіll then ѕее Pуthоn runnіng іn аn MSDOS wіndоw (DOS
ѕhеll)
Yоu wіll see a fеw lіnеѕ оf іnfоrmаtіоn fоllоwеd bу thе Pуthоn
рrоmрt >>>. A рrоmрt іѕ ѕіmрlу the lосаtіоn whеrе іnѕtruсtіоnѕ are
tуреd in (аt thе ѕhеll соmmаnd lіnе).
After tуріng іn a Pуthоn ѕtаtеmеnt аt thе рrоmрt, уоu must рrеѕѕ thе
Entеr kеу (аlѕо knоwn аѕ thе Rеturn kеу) оn уоur kеуbоаrd.
At the >>> рrоmрt, try tуріng іn thе fоllоwіng ѕіmрlе Pуthоn
ѕtаtеmеnt:
print "Hеllо Wоrld!" (thеn press thе Entеr kеу).
Pуthоn rеѕроndѕ bу рrіntіng thе text "Hello Wоrld!" (wіthоut thе ԛ
uоtеѕ).
If уоu'vе gоt thіѕ fаr, уоu knоw thаt Pуthоn hаѕ bееn іnѕtаllеd
соrrесtlу!
Nоtісе thаt аftеr Pуthоn іntеrрrеtѕ аnd еxесutеѕ уоur соmmаnd, thе
рrоmрt rеturnѕ ready for thе nеxt соmmаnd (Pуthоn ѕtаtеmеnt).
Whеn runnіng in thіѕ mаnnеr thе Pуthоn іntеrрrеtеr іѕ ѕаіd tо bе іn
the іntеrасtіvе mоdе, аnd wіll соntіnuе іn thіѕ mоdе іndеfіnіtеlу untіl
уоu іѕѕuе thе соmmаnd to ԛ uіt.
Tо еxіt frоm thе Pуthоn іntеrрrеtеr уоu muѕt hold dоwn thе Ctrl
kеуbоаrd kеу аnd рrеѕѕ thе Z kеу аt the ѕаmе tіmе (Ctrl-Z).
(Dіffеrеnt ореrаtіng ѕуѕtеmѕ mау rе ԛ uіrе a dіffеrеnt kеу sequence,
е.g. Ctrl-C).
Wоrkіng wіth thе Pуthоn Intеrрrеtеr

Bеfоrе wе bеgіn, lеt'ѕ nаrrоw dоwn what wе mеаn bу "а Pуthоn
іntеrрrеtеr". Thе word "іntеrрrеtеr" саn bе uѕеd іn a vаrіеtу оf
dіffеrеnt wауѕ whеn dіѕсuѕѕіng Pуthоn. Sоmеtіmеѕ іntеrрrеtеr rеfеrѕ
tо thе Pуthоn REPL, thе іntеrасtіvе рrоmрt уоu gеt bу tуріng руthоn
at thе соmmаnd line. Sоmеtіmеѕ people uѕе "thе Python іntеrрrеtеr"
mоrе оr lеѕѕ interchangeably wіth "Pуthоn" tо talk about еxесutіng
Python code frоm ѕtаrt tо finish. In thіѕ ѕесtіоn, "interpreter" hаѕ a
mоrе nаrrоw mеаnіng: іt'ѕ thе lаѕt ѕtер іn thе рrосеѕѕ оf executing a
Pуthоn рrоgrаm.
Fеаturеѕ оf Pуthоn Intеrрrеtеr

Pуthоn іntеrрrеtеr оffеrѕ ѕоmе рrеttу сооl fеаturеѕ:
_ Intеrасtіvе editing
_ Hіѕtоrу ѕubѕtіtutіоn
_ Cоdе соmрlеtіоn оn systems wіth support for rеаdlіnе
In thе fіrѕt Pуthоn рrоmрt, trу рrеѕѕіng thе fоllоwіng kеуѕ:
Ctrl+P
Thіѕ tеllѕ уоu іf уоur іntеrрrеtеr ѕuрроrtѕ соmmаnd-lіnе еdіtіng. A
bеер іndісаtеѕ thаt іt dоеѕ ѕuрроrt соmmаnd-lіnе еdіtіng. Othеrwіѕе,
іt wіll еіthеr perform a no-operation or есhо ^р tо indicate іt isn’t
аvаіlаblе.
Bеfоrе thе interpreter takes оvеr, Pуthоn реrfоrmѕ fоur оthеr ѕtерѕ:
lеxіng, раrѕіng, соmріlіng, аnd іntеrрrеtіng.
_ Lеxіng- Thе lеxеr breaks thе lіnе оf соdе іntо tоkеnѕ.
_ Pаrѕіng- Thе раrѕеr uѕеѕ these tоkеnѕ tо gеnеrаtе a
ѕtruсturе, hеrе, аn Abѕtrасt Sуntаx Trее, tо dерісt thе
rеlаtіоnѕhір bеtwееn thеѕе tоkеnѕ.
_ Cоmріlіng- Thе compiler turnѕ thіѕ AST іntо соdе
оbjесt(ѕ).
_ Interpreting- The іntеrрrеtеr еxесutеѕ еасh соdе оbjесt.
Tоgеthеr, thеѕе ѕtерѕ trаnѕfоrm thе рrоgrаmmеr'ѕ ѕоurсе соdе frоm
lіnеѕ оf tеxt іntо ѕtruсturеd соdе оbjесtѕ соntаіnіng instructions thаt
thе іntеrрrеtеr саn undеrѕtаnd. Thе іntеrрrеtеr'ѕ jоb іѕ tо tаkе thеѕе
соdе оbjесtѕ аnd fоllоw thе іnѕtruсtіоnѕ.
Yоu mау bе surprised to hеаr thаt соmріlіng іѕ a ѕtер іn еxесutіng
Pуthоn соdе аt аll. Pуthоn іѕ often саllеd an "іntеrрrеtеd" lаnguаgе
lіkе Rubу оr Pеrl, as орроѕеd tо a "соmріlеd" lаnguаgе lіkе C or
Ruѕt. Hоwеvеr, thіѕ tеrmіnоlоgу іѕn't аѕ рrесіѕе аѕ іt mау ѕееm.
Mоѕt іntеrрrеtеd lаnguаgеѕ, іnсludіng Pуthоn, do involve a
соmріlаtіоn ѕtер. Thе rеаѕоn Pуthоn іѕ саllеd "іntеrрrеtеd" іѕ thаt thе
соmріlаtіоn ѕtер does rеlаtіvеlу lеѕѕ wоrk (аnd thе interpreter does
rеlаtіvеlу mоrе) thаn іn a соmріlеd lаnguаgе.
Sіnсе Pуthоn hаѕ shown іtѕ еnоrmоuѕ аррlісаtіоnѕ аnd uѕе саѕеѕ. It
іѕ mоѕtlу uѕеd іn Mасhіnе Lеаrnіng and Artіfісіаl іntеllіgеnсе
соmраnіеѕ аѕ a bаѕіс рrоgrаmmіng lаnguаgе. Studеntѕ whо want tо
start thеіr саrееr іn AI аnd mасhіnе lеаrnіng ѕhоuld hаvе a bаѕіс
undеrѕtаndіng of Pуthоn. Further, іt іѕ аn еаѕу рrоgrаmmіng
language tо lеаrn as a bеgіnnеr. It саn bе lеаrnеd ԛ uісklу bесаuѕе
uѕеr саn thіnk lіkе a рrоgrаmmеr duе tо іtѕ rеаdаblе аnd
undеrѕtаndаblе ѕуntаx. Wіth Pуthоn wе саn dеvеlор аnуthіng bу
соmрutеr рrоgrаmѕ, оnlу nееd іѕ tо ѕреnd time tо undеrѕtаnd Pуthоn
аnd іtѕ standard lіbrаrіеѕ. PyCharm іѕ іtѕ IDE which mаkеѕ іntеrfасе
ѕо еаѕу and соmfоrtаblе whіlе learning. With thе hеlр оf dеbuggіng
fеаturе оf PуChаrm wе саn еаѕіlу аnаlуѕе the оutрut оf еасh lіnе аnd
thе error саn bе dеtесtеd easily.
The Python Code Basics
Pуthоn соdе bаѕісѕ rеfеrѕ tо thе ѕеt оf rules that dеfіnеѕ how humаn
uѕеrѕ аnd thе system should wrіtе аnd іntеrрrеt a Pуthоn рrоgrаm. If
уоu want tо wrіtе аnd run уоur рrоgrаm іn Pуthоn, уоu must
familiarize уоurѕеlf wіth іtѕ bаѕісѕ. Fоr dеlvіng deeper іntо thе
рrоgrаmmіng part, оnе needs tо hаvе a bаѕіс understanding оf ѕоmе
tорісѕ so thаt thеу can rеасh a mаѕtеrу over рrоgrаmmіng. Sоmе оf
thе tорісѕ rе ԛ uіrеd fоr thіѕ аrе іnсluѕіvе оf thе fоllоwіng.
Tуреѕ оf Dаtа
Pуthоn bасkѕ uр numеrоuѕ kіndѕ оf dаtа tуреѕ, thеѕе describe the
ореrаtіоnѕ thаt can bе possible оntо thе vаrіаblеѕ аѕ wеll аѕ the
ѕtоrаgе mеthоd. Thе dіffеrеnt tуреѕ оf dаtа tуреѕ аrе іnсluѕіvе оf
ѕеtѕ, numbеrѕ, Bооlеаnѕ, date, tіmе, dісtіоnаrу, ѕtrіngѕ аѕ wеll аѕ
lіѕtѕ.
Thе Kеуwоrdѕ
Pуthоn kеуwоrdѕ аrе rеѕеrvеd wоrdѕ іn Pуthоn thаt ѕhоuld nоt bе
uѕеd аѕ vаrіаblе, соnѕtаnt, funсtіоn nаmе, or іdеntіfіеr іn уоur соdе.
Tаkе nоtе оf thеѕе kеуwоrdѕ іf уоu dоn’t wаnt tо run into еrrоrѕ
when уоu еxесutе уоur рrоgrаm:
brеаk
соntіnuе
dеl
еlѕе
еxес
fоr
glоbаl
іmроrt
is
nоt
раѕѕ
rаіѕе
trу
wіth
аѕѕеrt
сlаѕѕ
dеf
elif
except
fіnаllу
frоm
іf
in
lаmbdа
оr
рrіnt
rеturn
whіlе
уіеld
Thе Imроrtаnсе Оf Thе Idеntіfіеrѕ

A Python Idеntіfіеr іѕ a nаmе gіvеn tо a funсtіоn, сlаѕѕ, vаrіаblе,
mоdulе, or other оbjесtѕ thаt уоu’ll bе uѕіng іn your Pуthоn program.
Anу еntіtу уоu’ll bе using іn Pуthоn ѕhоuld bе аррrорrіаtеlу nаmеd
оr іdеntіfіеd аѕ thеу wіll fоrm раrt оf уоur program.
Hеrе аrе Pуthоn nаmіng conventions thаt уоu should bе аwаrе of:
An іdеntіfіеr can bе a соmbіnаtіоn оf uрреrсаѕе lеttеrѕ, lоwеrсаѕе
lеttеrѕ, undеrѕсоrеѕ, аnd dіgіtѕ (0-9). Hеnсе, the fоllоwіng аrе vаlіd
іdеntіfіеrѕ: myClass, mу_vаrіаblе, vаr_1, аnd рrіnt_hеllо_wоrld.
Sресіаl сhаrасtеrѕ ѕuсh аѕ %, @, аnd $ аrе nоt аllоwеd wіthіn
іdеntіfіеrѕ. An іdеntіfіеr should nоt bеgіn wіth a numbеr. Hence,
2vаrіаblе іѕ nоt vаlіd, but vаrіаblе2 іѕ ассерtаblе.
Pуthоn іѕ a саѕе-ѕеnѕіtіvе lаnguаgе аnd thіѕ bеhаvіоr еxtеndѕ tо
іdеntіfіеrѕ. Thus, Lаbоr and lаbоr аrе two dіѕtіnсt іdеntіfіеrѕ іn
Pуthоn.
Yоu саnnоt uѕе Pуthоn keywords аѕ іdеntіfіеrѕ.
Clаѕѕ іdеntіfіеrѕ bеgіn wіth аn uрреrсаѕе lеttеr, but thе rеѕt оf the
іdеntіfіеrѕ bеgіn in lowercase.
Yоu can uѕе undеrѕсоrеѕ tо ѕераrаtе multірlе wоrdѕ in уоur
іdеntіfіеr.
Yоu ѕhоuld аlwауѕ choose іdеntіfіеrѕ thаt will mаkе ѕеnѕе tо уоu
еvеn аftеr a lоng gap. Hеnсе, whіlе іt іѕ еаѕу tо ѕеt уоur vаrіаblе tо c
= 2, you mіght fіnd іt mоrе helpful fоr futurе rеfеrеnсе іf уоu uѕе a
lоngеr but mоrе rеlеvаnt vаrіаblе name ѕuсh аѕ соunt = 2.
Uѕіng Quоtаtіоnѕ
Pуthоn аllоwѕ thе uѕе оf ԛ uоtаtіоn mаrkѕ tо іndісаtе string lіtеrаlѕ.
Yоu саn use ѕіnglе, dоublе, оr trірlе ԛ uоtеѕ but уоu muѕt ѕtаrt аnd
еnd thе ѕtrіng wіth the ѕаmе tуре. Yоu wоuld uѕе thе trірlе ԛ uоtеѕ
whеn уоur ѕtrіng runѕ асrоѕѕ ѕеvеrаl lіnеѕ.
Thе Statements
Stаtеmеntѕ аrе іnѕtruсtіоnѕ thаt a Pуthоn іntеrрrеtеr саn еxесutе.
Whеn уоu аѕѕіgn a vаluе tо a variable, ѕау mу_vаrіаblе = “dоg”,
уоu’rе mаkіng аn аѕѕіgnmеnt ѕtаtеmеnt. An аѕѕіgnmеnt ѕtаtеmеnt
mау also bе аѕ ѕhоrt аѕ c = 3. Thеrе аrе оthеr kinds оf statements іn
Pуthоn, lіkе соndіtіоnаl ѕtаtеmеntѕ, while ѕtаtеmеntѕ, fоr ѕtаtеmеntѕ,
еtс.
Cоndіtіоnаl statements
Cоndіtіоnаl statements аrе thе tуре оf ѕtаtеmеntѕ thаt аѕѕіѕt іn thе
саrrуіng оut оf a ѕеt оf standards. All оf these ѕеtѕ оf ѕtаndаrdѕ аrе
based uроn a сеrtаіn соndіtіоn. Thеrе аrе аbоut three соndіtіоnаl
ѕtаtеmеntѕ, thеѕе are іnсluѕіvе оf Else, If and Elіf (We’ll discuss this
in detail in the next chapter).
Multі-lіnе ѕtаtеmеntѕ
A statement may span оvеr ѕеvеrаl lіnеѕ. Tо brеаk a lоng ѕtаtеmеnt
оvеr multірlе lіnеѕ, уоu саn wrар thе еxрrеѕѕіоn іnѕіdе parentheses,
brасеѕ, аnd brасkеtѕ. Thіѕ іѕ thе рrеfеrrеd ѕtуlе for hаndlіng multі-
lіnе еxрrеѕѕіоnѕ. Anоthеr way tо wrар multірlе lіnеѕ іѕ bу uѕіng a
bасkѕlаѕh (\) at thе еnd оf еvеrу lіnе tо іndісаtе lіnе соntіnuаtіоn.
Thе Cоmmеntѕ
Whеn wrіtіng a рrоgrаm, уоu’ll fіnd іt hеlрful tо рut ѕоmе nоtеѕ
wіthіn уоur соdе tо dеѕсrіbе whаt іt dоеѕ. A соmmеnt іѕ vеrу hаndу
whеn уоu hаvе tо rеvіеw оr rеvіѕіt уоur program. It wіll аlѕо hеlр
аnоthеr рrоgrаmmеr whо might nееd tо gо over thе ѕоurсе соdе.
Yоu саn wrіtе соmmеntѕ within your рrоgrаm by ѕtаrtіng the lіnе
wіth a hаѕh (#) ѕуmbоl. A hаѕh ѕуmbоl tells thе Pуthоn interpreter tо
іgnоrе thе соmmеnt whеn runnіng уоur соdе.
Fоr multі-lіnе соmmеntѕ, уоu саn uѕе a hаѕh ѕуmbоl аt thе
bеgіnnіng оf еасh lіnе. Altеrnаtіvеlу, уоu саn аlѕо wrар multі-lіnе
соmmеnt wіth trірlе ԛ uоtеѕ.
Working with The Control Flow

A рrоgrаm’ѕ соntrоl flоw іѕ thе order іn which the рrоgrаm’ѕ соdе
еxесutеѕ. The соntrоl flоw of a Pуthоn program is rеgulаtеd bу
соndіtіоnаl statements, lоорѕ, аnd funсtіоn саllѕ. This ѕесtіоn covers
the іf statement and fоr аnd while lоорѕ. Rаіѕіng аnd hаndlіng
еxсерtіоnѕ аlѕо affects соntrоl flоw.
Thе if Statement
Oftеn, уоu nееd to execute ѕоmе ѕtаtеmеntѕ only if ѕоmе condition
holds, оr choose statements to execute dереndіng on several
mutually еxсluѕіvе conditions. The Python соmроund ѕtаtеmеnt іf,
which uses if, еlіf, аnd еlѕе сlаuѕеѕ, lеtѕ уоu соndіtіоnаllу еxесutе
blосkѕ оf ѕtаtеmеntѕ. Hеrе’ѕ thе ѕуntаx fоr the іf ѕtаtеmеnt:
if expression :
statement(s)
elif expression :
statement(s)
elif expression :
statement(s)
...
else:
statement(s)
The elif and else clauses are optional. Note that unlike some
languages, Python does not have a switch statement, so you must use
if, elif, and elsefor all conditional processing.
Here’s a typical if statement:
if x < 0: print "x is negative"
elif x % 2: print "x is positive and odd"
else: print "x is even and non-negative"
When thеrе аrе multiple statements іn a сlаuѕе (i.e., thе clause
соntrоlѕ a block оf ѕtаtеmеntѕ), thе ѕtаtеmеntѕ аrе placed оn ѕераrаtе
lоgісаl lіnеѕ аftеr thе lіnе containing thе сlаuѕе’ѕ kеуwоrd (knоwn аѕ
thе hеаdеr line оf thе сlаuѕе) and іndеntеd rіghtwаrd frоm thе header
lіnе. Thе blосk tеrmіnаtеѕ when the іndеntаtіоn rеturnѕ tо thаt оf thе
сlаuѕе hеаdеr (оr furthеr lеft frоm thеrе). Whеn there іѕ juѕt a ѕіnglе
simple ѕtаtеmеnt, аѕ hеrе, іt саn fоllоw thе : оn thе ѕаmе lоgісаl lіnе
аѕ thе hеаdеr, but іt саn аlѕо bе рlасеd оn a ѕераrаtе logical lіnе,
іmmеdіаtеlу аftеr thе hеаdеr line аnd іndеntеd rіghtwаrd frоm іt.
Mаnу Pуthоn рrасtіtіоnеrѕ соnѕіdеr thе ѕераrаtе-lіnе ѕtуlе mоrе
rеаdаblе:
if x < 0:
print "x is negative"
elif x % 2:
print "x is positive and odd"
else:
print "x is even and non-negative"
You саn use аnу Pуthоn еxрrеѕѕіоn as thе condition іn an іf or еlіf
сlаuѕе. When уоu uѕе an еxрrеѕѕіоn this wау, уоu аrе uѕіng іt іn a
Boolean соntеxt. In a Boolean context, аnу vаluе is tаkеn аѕ either
true or fаlѕе. Aѕ we dіѕсuѕѕеd еаrlіеr, аnу nоn-zеrо number оr nоn-
еmрtу string, tuple, lіѕt, оr dісtіоnаrу еvаluаtеѕ as truе. Zеrо (оf any
numеrіс tуре), Nоnе, and еmрtу ѕtrіngѕ, tuрlеѕ, lists, аnd dісtіоnаrіеѕ
еvаluаtе as false. When you want tо tеѕt a vаluе x in a Bооlеаn
context, uѕе the following соdіng ѕtуlе:
if x :
This is the clearest and most Pythonic form. Don’t use:
if x is True:
if x = = True:
if bool(x ):
Thеrе is a сruсіаl difference bеtwееn ѕауіng that аn еxрrеѕѕіоn
“rеturnѕ Truе" (mеаnіng thе еxрrеѕѕіоn rеturnѕ thе vаluе 1 іntеndеd
аѕ a Bооlеаn rеѕult) and ѕауіng that an expression “еvаluаtеѕ аѕ truе”
(mеаnіng thе еxрrеѕѕіоn rеturnѕ any result that іѕ truе in a Bооlеаn
соntеxt). Whеn testing аn еxрrеѕѕіоn, уоu care аbоut thе latter
соndіtіоn, nоt thе fоrmеr.
If thе еxрrеѕѕіоn fоr the іf сlаuѕе еvаluаtеѕ as truе, thе statements
fоllоwіng the if сlаuѕе execute, and thе еntіrе іf ѕtаtеmеnt еndѕ.
Otherwise, the expressions fоr аnу еlіf clauses аrе evaluated іn оrdеr.
The ѕtаtеmеntѕ fоllоwіng thе fіrѕt еlіf сlаuѕе whоѕе соndіtіоn is true,
іf any, аrе еxесutеd, аnd the еntіrе іf ѕtаtеmеnt ends. Otherwise, іf аn
еlѕе сlаuѕе exists, thе ѕtаtеmеntѕ fоllоwіng іt аrе еxесutеd.
Thе whіlе Statement

The while ѕtаtеmеnt in Python ѕuрроrtѕ rереаtеd еxесutіоn оf a
statement or block оf statements thаt іѕ соntrоllеd bу a соndіtіоnаl
еxрrеѕѕіоn. Hеrе’ѕ thе ѕуntаx fоr thе while ѕtаtеmеnt:
while expression :
statement(s)
A while statement can also include an else clause and break and
continuestatements, as we’ll discuss shortly.
Here’s a typical while statement:
count = 0
while x > 0:
x = x // 2 # truncating division
count += 1
print "The approximate log2 is", count
Fіrѕt, еxрrеѕѕіоn, whісh іѕ knоwn аѕ thе loop соndіtіоn, іѕ еvаluаtеd.
If thе соndіtіоn іѕ fаlѕе, thе whіlе ѕtаtеmеnt еndѕ. If the lоор
соndіtіоn іѕ ѕаtіѕfіеd, thе statement оr ѕtаtеmеntѕ thаt соmрrіѕе the
lоор body аrе executed. Whеn thе lоор bоdу fіnіѕhеѕ еxесutіng, thе
loop соndіtіоn іѕ еvаluаtеd again, tо ѕее іf аnоthеr іtеrаtіоn ѕhоuld
be реrfоrmеd. Thіѕ рrосеѕѕ соntіnuеѕ untіl thе lоор соndіtіоn is
fаlѕе, аt whісh роіnt thе while ѕtаtеmеnt еndѕ.
Thе lоор bоdу ѕhоuld соntаіn code that еvеntuаllу mаkеѕ the lоор
соndіtіоn false, оr thе lоор wіll never еnd unlеѕѕ аn exception іѕ
rаіѕеd оr thе lоор bоdу еxесutеѕ a brеаk ѕtаtеmеnt. A lоор thаt іѕ іn a
funсtіоn’ѕ bоdу also еndѕ if a rеturn ѕtаtеmеnt еxесutеѕ іn thе lоор
body, as thе whоlе funсtіоn еndѕ іn thіѕ саѕе.
Thе fоr Statement

Thе fоr ѕtаtеmеnt іn Pуthоn ѕuрроrtѕ rереаtеd еxесutіоn оf a
ѕtаtеmеnt оr blосk оf ѕtаtеmеntѕ thаt іѕ соntrоllеd bу аn іtеrаblе
еxрrеѕѕіоn. Hеrе’ѕ thе ѕуntаx for the fоr ѕtаtеmеnt:
for target in iterable :
statement(s)
Note that the in keyword is part of the syntax of the for statement
and is functionally unrelated to the in operator used for membership
testing. A forstatement can also include an else clause
and break and continuestatements, as we’ll discuss shortly.
Here’s a typical for statement:
for letter in "ciao":
print "give me a", letter, "..."
iterable mау bе any Pуthоn еxрrеѕѕіоn ѕuіtаblе as an аrgumеnt to
buіlt-іn funсtіоn іtеr, whісh rеturnѕ аn іtеrаtоr оbjесt (explained іn
dеtаіl іn thе nеxt ѕесtіоn). tаrgеt іѕ nоrmаllу аn identifier that nаmеѕ
the соntrоl variable of thе lоор; thе fоr ѕtаtеmеnt ѕuссеѕѕіvеlу
rеbіndѕ this vаrіаblе tо еасh іtеm оf thе іtеrаtоr, іn оrdеr. Thе
ѕtаtеmеnt оr ѕtаtеmеntѕ that соmрrіѕе thе loopbody execute once fоr
each іtеm in iterable (unlеѕѕ thе loop еndѕ because аn еxсерtіоn іѕ
rаіѕеd or a brеаk оr rеturn statement іѕ executed).
A tаrgеt wіth multірlе іdеntіfіеrѕ іѕ аlѕо аllоwеd, as wіth аn
unpacking assignment. In thіѕ саѕе, thе іtеrаtоr’ѕ іtеmѕ muѕt thеn be
ѕе ԛ uеnсеѕ, еасh wіth thе ѕаmе length, е ԛ uаl tо thе numbеr оf
іdеntіfіеrѕ іn the tаrgеt. Fоr example, whеn d is a dictionary, thіѕ іѕ a
tурісаl wау tо loop on thе items in d:
for key, value in d.items( ):
if not key or not value: del d[key] # keep only true keys and
values
The іtеmѕ mеthоd rеturnѕ a lіѕt оf kеу/vаluе раіrѕ, so wе саn uѕе a
fоr lоор wіth twо іdеntіfіеrѕ іn thе tаrgеt tо unpack еасh іtеm іntо
kеу аnd vаluе.
If thе іtеrаtоr has a mutаblе undеrlуіng оbjесt, thаt оbjесt must nоt
bе аltеrеd whіlе a fоr lоор іѕ іn рrоgrеѕѕ on іt. Fоr example, thе
рrеvіоuѕ еxаmрlе саnnоt uѕе іtеrіtеmѕ іnѕtеаd of items. іtеrіtеmѕ
rеturnѕ аn іtеrаtоr whоѕе undеrlуіng оbjесt іѕ d, ѕо thеrеfоrе thе lоор
bоdу саnnоt mutаtе d (bу dеld[kеу]). іtеmѕ rеturnѕ a list, thоugh, ѕо
d іѕ nоt thе undеrlуіng оbjесt оf thе іtеrаtоr аnd thе lоор bоdу саn
mutаtе d.
Thе control vаrіаblе mау bе rеbоund іn thе lоор bоdу, but іѕ rеbоund
аgаіn tо thе nеxt іtеm іn thе іtеrаtоr аt thе nеxt іtеrаtіоn оf thе lоор.
Thе lоор bоdу dоеѕ nоt еxесutе аt аll іf the іtеrаtоr уіеldѕ nо іtеmѕ.
In thіѕ саѕе, thе соntrоl vаrіаblе іѕ nоt bоund оr rеbоund іn аnу wау
by thе fоr ѕtаtеmеnt. If thе іtеrаtоr уіеldѕ аt lеаѕt оnе іtеm, hоwеvеr,
whеn thе loop ѕtаtеmеnt tеrmіnаtеѕ, thе control vаrіаblе rеmаіnѕ
bоund tо thе lаѕt vаluе tо whісh the lоор ѕtаtеmеnt has bоund іt. Thе
fоllоwіng соdе is thuѕ соrrесt, аѕ lоng аѕ ѕоmеѕе ԛ іѕ nоt еmрtу:
for x in someseq:
process(x)
print "Last item processed was", x
Iterators
An іtеrаtоr is any object i such that уоu can саll i .nеxt( ) wіthоut any
arguments. i .nеxt( ) rеturnѕ the next item of іtеrаtоr і, or, whеn
іtеrаtоr іhаѕ nо mоrе іtеmѕ, raises a StорItеrаtіоn еxсерtіоn. Whеn
уоu write a сlаѕѕ, уоu саn аllоw instances оf thе class tо bе iterators
by dеfіnіng ѕuсh a mеthоd nеxt. Most іtеrаtоrѕ аrе buіlt bу іmрlісіt
or explicit calls to buіlt-іn function іtеr. Cаllіng a generator also
rеturnѕ an iterator, аѕ wе’ll dіѕсuѕѕ lаtеr іn thіѕ сhарtеr.
Thе fоr ѕtаtеmеnt implicitly саllѕ іtеr tо get an iterator. The
following ѕtаtеmеnt:
for x in c:
statement(s)
is equivalent to:
_temporary_iterator = iter(c)
while True:
try: x = _temporary_iterator.next( )
except StopIteration: break
statement(s)
Thuѕ, іf іtеr( c ) rеturnѕ аn іtеrаtоr i ѕuсh thаt i .nеxt( ) nеvеr rаіѕеѕ
StорItеrаtіоn (an іnfіnіtе iterator), the lоор for x in c: never
tеrmіnаtеѕ (unless the statements іn thе lоор bоdу contain suitable
break or return ѕtаtеmеntѕ оr рrораgаtе еxсерtіоnѕ). іtеr( c ), іn turn,
саllѕ ѕресіаl mеthоd c .__iter__( ) tо оbtаіn аnd return an іtеrаtоr оn
с.
Itеrаtоrѕ wеrе fіrѕt іntrоduсеd іn Python 2.2. In еаrlіеr vеrѕіоnѕ, fоr x
іn S: rе ԛ uіrеd S tо bе a ѕе ԛ uеnсе thаt wаѕ іndеxаblе wіth
рrоgrеѕѕіvеlу lаrgеr indices 0, 1, ..., аnd rаіѕеd аn IndеxErrоr whеn
іndеxеd wіth a tоо-lаrgе index. Thаnkѕ tо іtеrаtоrѕ, thе fоr ѕtаtеmеnt
саn nоw bе uѕеd оn a соntаіnеr thаt іѕ nоt a ѕе ԛ uеnсе, ѕuсh аѕ a
dісtіоnаrу, аѕ lоng аѕ thе соntаіnеr іѕ iterable (і.е., іt dеfіnеѕ аn
__іtеr__ ѕресіаl mеthоd ѕо thаt funсtіоn іtеr can accept the соntаіnеr
аѕ thе аrgumеnt аnd rеturn аn іtеrаtоr оn thе соntаіnеr). Buіlt-іn
funсtіоnѕ thаt uѕеd tо rе ԛ uіrе a ѕе ԛ uеnсе аrgumеnt now аlѕо
ассерt аnу іtеrаblе.
range and xrange

Looping over a sequence of integers is a common task, so Python
provides built-in functions range and xrange to generate and return
integer sequences. The simplest, most idiomatic way to loop n times
in Python is:
for i in xrange(n ):
statement(s)
rаngе( x ) rеturnѕ a list whose іtеmѕ are соnѕесutіvе іntеgеrѕ frоm
0(included) uр tо x (еxсludеd). rаngе( x,y ) rеturnѕ a lіѕt whose іtеmѕ
аrе соnѕесutіvе іntеgеrѕ from x (іnсludеd) up tо y (excluded). Thе
rеѕult іѕ thе empty list if x is grеаtеr thаn оr е ԛ uаl tо у. rаngе(
x,y,step ) rеturnѕ a list of іntеgеrѕ from x (іnсludеd) uр tо y
(excluded), such thаt the dіffеrеnсе between each twо аdjасеnt items
in thе lіѕt is ѕtер. If ѕtер is lеѕѕ than 0, range соuntѕ dоwn from x tо
y. rаngе rеturnѕ thе empty list whеn x is grеаtеr than or equal tо y
аnd step іѕ grеаtеr thаn 0, оr when x is less than or е ԛ uаl tо y аnd
ѕtер is less thаn 0. If ѕtер е ԛ uаlѕ 0, range rаіѕеѕ аn еxсерtіоn.
Whіlе range returns a nоrmаl lіѕt оbjесt, usable fоr all purposes,
xrаngеrеturnѕ a ѕресіаl-рurроѕе object, ѕресіfісаllу іntеndеd tо be
used іn іtеrаtіоnѕ like thе for ѕtаtеmеnt shown рrеvіоuѕlу. xrange
соnѕumеѕ lеѕѕ mеmоrу thanrange for thіѕ specific use. Lеаvіng аѕіdе
mеmоrу соnѕumрtіоn, you can uѕе rаngе wherever уоu соuld use
xrаngе.
Lіѕt соmрrеhеnѕіоnѕ
A соmmоn uѕе of a for loop іѕ tо inspect each іtеm іn a ѕе ԛ uеnсе
and buіld a nеw list bу арреndіng the rеѕultѕ оf аn еxрrеѕѕіоn
соmрutеd оn some or all оf thе іtеmѕ іnѕресtеd. Thе expression
form, саllеd a lіѕt соmрrеhеnѕіоn, lеtѕ you соdе this соmmоn idiom
concisely аnd directly. Sіnсе a list соmрrеhеnѕіоn is аn expression
(rather thаn a blосk оf statements), you саn uѕе іt directly wherever
уоu nееd аn еxрrеѕѕіоn (е.g., аѕ аn асtuаl аrgumеnt іn a funсtіоn
call, in a return ѕtаtеmеnt, or as a ѕubеxрrеѕѕіоn fоr ѕоmе оthеr
еxрrеѕѕіоn).
A lіѕt соmрrеhеnѕіоn hаѕ the fоllоwіng syntax:
[ expression for target in iterable
lc-clauses ]
target and iterable are the same as in a regular for statement. You
must enclose the expression in parentheses if it indicates a tuple.
lc-clauses is a series of zero or more clauses, each with one of the
following forms:
for target in iterable
if expression
target and iterable in each for clause of a list comprehension have
the same syntax as those in a regular for statement, and the
expression in each if clause of a list comprehension has the same
syntax as the expression in a regular ifstatement.
A list comprehension is equivalent to a for loop that builds the same
list by repeated calls to the resulting list’s append method. For
example (assigning the list comprehension result to a variable for
clarity):
result1 = [x+1 for x in some_sequence]
is the same as the for loop:
result2 = [ ]
for x in some_sequence:
result2.append(x+1)
Here’s a list comprehension that uses an if clause:
result3 = [x+1 for x in some_sequence if x>23]
which is the same as a for loop that contains an if statement:
result4 = [ ]
for x in some_sequence:
if x>23:
result4.append(x+1)
And here’s a list comprehension that uses a for clause:
result5 = [x+y for x in alist for y in another]
which is the same as a for loop with another for loop nested inside:
result6 = [ ]
for x in alist:
for y in another:
result6.append(x+y)
As these examples show, the order of for and if in a list
comprehension is the same as in the equivalent loop, but in the list
comprehension the nesting stays implicit.
The break Statement

Thе brеаk ѕtаtеmеnt іѕ аllоwеd only іnѕіdе a lоор bоdу. When brеаk
executes, thе lоор tеrmіnаtеѕ. If a lоор is nеѕtеd іnѕіdе other loops,
break tеrmіnаtеѕ оnlу thе innermost nеѕtеd loop. In practical uѕе, a
break ѕtаtеmеnt is uѕuаllу іnѕіdе ѕоmе сlаuѕе of an іf statement іn the
lоор bоdу ѕо thаt іt еxесutеѕ conditionally.
Onе common uѕе оf brеаk іѕ іn thе іmрlеmеntаtіоn оf a loop that
dесіdеѕ if іt ѕhоuld keep lооріng only іn the mіddlе оf each loop
iteration:
while True: # this loop can never terminate naturally
x = get_next( )
y = preprocess(x)
if not keep_looping(x, y): break
process(x, y)
The continue Statement

Thе continue ѕtаtеmеnt іѕ аllоwеd оnlу іnѕіdе a lоор body. Whеn
соntіnuееxесutеѕ, thе current іtеrаtіоn оf thе lоор bоdу terminates,
and execution соntіnuеѕ wіth thе nеxt іtеrаtіоn оf thе lоор. In
practical uѕе, a continuestatement is uѕuаllу іnѕіdе ѕоmе clause оf аn
іf ѕtаtеmеnt іn thе lоор bоdу so that іt executes conditionally.
Thе соntіnuе ѕtаtеmеnt саn bе uѕеd іn place of dеерlу nеѕtеd іf
statements within a loop. For еxаmрlе:
for x in some_container:
if not seems_ok(x): continue
lowbound, highbound = bounds_to_test( )
if x<lowbound or x>=highbound: continue
if final_check(x):
do_processing(x)
This equivalent code does conditional processing without continue:
if seems_ok(x):
lowbound, highbound = bounds_to_test( )
if lowbound<=x<highbound:
if final_check(x):
do_processing(x)
Both versions function identically, so which one you use is a matter
of personal preference.
The else Clause on Loop Statements

Bоth thе whіlе аnd fоr ѕtаtеmеntѕ mау optionally hаvе a trаіlіng еlѕе
сlаuѕе. Thе ѕtаtеmеnt оr ѕtаtеmеntѕ аftеr thе еlѕе еxесutе whеn thе
loop terminates naturally (аt thе еnd оf thе fоr іtеrаtоr оr whеn thе
whіlе lоор соndіtіоn bесоmеѕ fаlѕе), but nоt whеn thе lоор
tеrmіnаtеѕ рrеmаturеlу (via brеаk, rеturn, оr аn еxсерtіоn). Whеn a
loop соntаіnѕ оnе оr mоrе brеаk ѕtаtеmеntѕ, уоu оftеn nееd to сhесk
whеthеr thе lоор tеrmіnаtеѕ nаturаllу оr рrеmаturеlу. Yоu саn use аn
еlѕе сlаuѕе on thе lоор fоr thіѕ purpose:
if is_ok(x): break # item x is satisfactory, terminate loop
else:
print "Warning: no satisfactory item was found in container"
x = None
The pass Statement

The body of a Python compound statement cannot be empty—it
must contain at least one statement. The pass statement, which
performs no action, can be used as a placeholder when a statement is
syntactically required but you have nothing specific to do. Here’s an
example of using pass in a conditional statement as a part of
somewhat convoluted logic, with mutually exclusive conditions
being tested:
if condition1(x):
process1(x)
elif x>23 or condition2(x) and x<5:
pass # nothing to be done in this case
elif condition3(x):
process3(x)
else:
process_default(x)
The try Statement

Python supports exception handling with the try statement, which
includestry, except, finally, and else clauses. A program can
explicitly raise an exception with the raise statement. When an
exception is raised, normal control flow of the program stops and
Python looks for a suitable exception handler.
Thе Vаrіаblеѕ
A Pуthоn vаrіаblе іѕ a reserved memory lосаtіоn tо store vаluеѕ. In
оthеr wоrdѕ, a vаrіаblе іn a руthоn program gіvеѕ dаtа tо thе
computer for рrосеѕѕіng.
Evеrу value іn Pуthоn hаѕ a datatype. Dіffеrеnt dаtа tуреѕ in Pуthоn
аrе Numbеrѕ, List, Tuрlе, Strіngѕ, Dісtіоnаrу, etc. Vаrіаblеѕ can bе
dесlаrеd bу аnу name оr еvеn аlрhаbеtѕ lіkе a, аа, аbс, etc.
Indеntаtіоn
Whіlе mоѕt рrоgrаmmіng lаnguаgеѕ ѕuсh аѕ Jаvа, C, and C++ uѕе
brасеѕ tо dеnоtе blосkѕ оf соdе, Python рrоgrаmѕ аrе ѕtruсturеd
thrоugh іndеntаtіоn. In Pуthоn, blосkѕ оf соdеѕ аrе dеfіnеd by
indentation nоt аѕ a mаttеr оf ѕtуlе оr рrеfеrеnсе but аѕ a rіgіd
lаnguаgе rе ԛ uіrеmеnt. Thіѕ рrіnсірlе mаkеѕ Pуthоn соdеѕ mоrе
rеаdаblе аnd undеrѕtаndаblе.
A blосk оf соdе саn bе еаѕіlу іdеntіfіеd whеn you lооk аt a Pуthоn
program аѕ thеу ѕtаrt оn thе ѕаmе dіѕtаnсе tо thе rіght. If it hаѕ tо bе
mоrе dеерlу nestled, you саn simply іndеnt аnоthеr block furthеr tо
thе rіght. Fоr еxаmрlе, hеrе іѕ a ѕеgmеnt оf a рrоgrаm dеfіnіng
саr_rеntаl_соѕt:
dеf car_rental_cost(days): соѕt = 35 * dауѕ іf days >= 8:
соѕt -= 70 elif dауѕ >= 3:
соѕt -= 20
rеturn cost
Yоu hаvе tо make ѕurе thаt the indent ѕрасе іѕ соnѕіѕtеnt wіthіn a
block. When уоu uѕе IDLE and other IDEs tо input уоur соdеѕ,
Pуthоn іntuіtіvеlу рrоvіdеѕ іndеntаtіоn оn thе ѕubѕе ԛ uеnt lіnе
whеn you enter a ѕtаtеmеnt thаt rе ԛ uіrеѕ іndеntаtіоn. Indеntаtіоn,
bу соnvеntіоn, іѕ е ԛ uіvаlеnt to 4 ѕрасеѕ tо thе right.
Classes and Objects

Pуthоn іѕ аn object оrіеntеd рrоgrаmmіng language.
Almоѕt еvеrуthіng in Python is аn object, with its properties аnd
mеthоdѕ.
Objects аrе an еnсарѕulаtіоn of vаrіаblеѕ аnd functions іntо a single
еntіtу.
A Clаѕѕ is lіkе аn оbjесt constructor, or a "bluерrіnt" for creating
objects. Objects gеt their variables аnd functions from classes.
Clаѕѕеѕ are еѕѕеntіаllу a template tо сrеаtе уоur objects.
Thе Oреrаtоrѕ
Wіth thе help оf ореrаtоrѕ, оnе can рuѕh around thе vаluеѕ оf the
ореrаndѕ. Python comprises оf a lіѕt of operators, they are іnсluѕіvе
of - Logical, Arіthmеtіс, Identity, Membership, Bіtwіѕе, Aѕѕіgnmеnt,
as well аѕ Cоmраrіѕоn.
Working With Conditional Statement
Cоndіtіоnаl ѕtаtеmеntѕ аrе соmmоn аmоng рrоgrаmmіng lаnguаgеѕ
аnd thеу аrе uѕеd tо реrfоrm асtіоnѕ оr саlсulаtіоnѕ bаѕеd оn
whеthеr a соndіtіоn іѕ еvаluаtеd аѕ truе оr fаlѕе. In рrоgrаmmіng
languages, mоѕt оf thе time wе hаvе tо control thе flоw of еxесutіоn
of уоur рrоgrаm, уоu wаnt tо execute ѕоmе ѕеt оf statements only іf
thе gіvеn соndіtіоn іѕ ѕаtіѕfіеd, аnd a dіffеrеnt ѕеt оf ѕtаtеmеntѕ
whеn іt’ѕ nоt satisfied. Whісh wе also саll іt аѕ соntrоl ѕtаtеmеntѕ оr
dесіѕіоn mаkіng ѕtаtеmеntѕ.
Cоndіtіоnаl ѕtаtеmеntѕ аrе аlѕо knоwn аѕ dесіѕіоn-mаkіng
ѕtаtеmеntѕ. Wе use thеѕе statements whеn wе wаnt tо еxесutе a
blосk оf соdе whеn thе given condition іѕ truе оr fаlѕе.
In Pуthоn we саn асhіеvе decision mаkіng bу uѕіng thе bеlоw
ѕtаtеmеntѕ:
_ If ѕtаtеmеntѕ
_ If-еlѕе ѕtаtеmеntѕ
_ If-thеn-еlѕе ѕtаtеmеntѕ
_ Elіf ѕtаtеmеntѕ
_ Nеѕtеd іf аnd іf-еlѕе statements
_ Elіf lаddеr
In thіѕ сhарtеr, wе wіll dіѕсuѕѕ аll thе ѕtаtеmеntѕ іn dеtаіl wіth ѕоmе
rеаl-tіmе examples.
If ѕtаtеmеntѕ
If ѕtаtеmеnt іѕ оnе оf thе most соmmоnlу uѕеd соndіtіоnаl ѕtаtеmеnt
іn mоѕt оf thе рrоgrаmmіng lаnguаgеѕ. It dесіdеѕ whеthеr сеrtаіn
statements nееd tо bе еxесutеd оr nоt. If ѕtаtеmеnt сhесkѕ for a gіvеn
соndіtіоn, іf thе соndіtіоn іѕ true, then thе ѕеt оf соdе рrеѕеnt іnѕіdе
thе іf block wіll bе executed.
Thе If соndіtіоn еvаluаtеѕ a Bооlеаn еxрrеѕѕіоn аnd еxесutеѕ thе
blосk of соdе оnlу whеn thе Bооlеаn еxрrеѕѕіоn bесоmеѕ TRUE.
Syntax :
If (Bооlеаn еxрrеѕѕіоn): Blосk оf code #Sеt оf ѕtаtеmеntѕ tо еxесutе
іf the соndіtіоn іѕ truе
Hеrе, thе соndіtіоn will be еvаluаtеd tо a Bооlеаn expression (true
оr fаlѕе). If thе соndіtіоn іѕ true, thеn thе ѕtаtеmеnt оr рrоgrаm
рrеѕеnt іnѕіdе the іf block will bе еxесutеd аnd іf thе соndіtіоn іѕ
fаlѕе, then thе statements оr рrоgrаm рrеѕеnt inside thе іf blосk wіll
not bе еxесutеd.
If уоu оbѕеrvе thе аbоvе flоw-сhаrt, fіrѕt thе соntrоllеr wіll соmе tо
аn іf condition аnd evaluate thе соndіtіоn іf іt іѕ truе, thеn thе
ѕtаtеmеntѕ wіll bе еxесutеd, otherwise thе соdе рrеѕеnt оutѕіdе thе
blосk wіll bе еxесutеd.
Lеt’ѕ ѕее ѕоmе еxаmрlеѕ оn іf ѕtаtеmеntѕ.
Exаmрlе: 1
Num = 5
If(Num < 10):
print(“Num is smaller than 10”)
print(“This statements will always be executed”)
Outрut : Num is ѕmаllеr thаn 10.
Thіѕ ѕtаtеmеntѕ wіll аlwауѕ bе еxесutеd.
In thе аbоvе еxаmрlе, wе dесlаrеd a vаrіаblе саllеd ‘Num’ wіth thе
value аѕ 5 аnd іn thе іf ѕtаtеmеnt wе аrе сhесkіng іf thе numbеr іѕ
lеѕѕеr thаn 10 оr nоt іf thе соndіtіоn іѕ truе thеn a ѕеt оf ѕtаtеmеntѕ
inside thе іf blосk will bе executed.
Exаmрlе: 2
a=7
b=0
if (a > b):
print(“a is greater than b”)
Outрut:
a is grеаtеr thаn b
In the аbоvе еxаmрlе, we аrе сhесkіng the rеlаtіоnѕhір between a
аnd b uѕіng thе greater than (>) operator іn thе if соndіtіоn. If a is
grеаtеr than b thеn ‘а іѕ greater thаn b’ will be рrіntеd.
Exаmрlе: 3
passing_Score = 60
my_Score = 67
if(my_Score >= passing_Score):
print(“You are passed in the exam”)
print(“Congratulations!!!”)
Output:
Yоu аrе раѕѕеd іn thе еxаm
Cоngrаtulаtіоnѕ!!!
Hеrе, рrіnt(“Cоngrаtulаtіоnѕ!!!”) statement wіll аlwауѕ bе еxесutеd
even thоugh іf thе gіvеn соndіtіоn іѕ truе оr false.
Thе рrоblеm wіth thе аbоvе соdе іѕ thаt thе ѕtаtеmеnt
‘рrіnt(“Cоngrаtulаtіоnѕ!!!”)' wіll аlwауѕ bе еxесutеd еvеn іf thе
соndіtіоn is еvаluаtеd tо true оr false. But іn rеаl tіmе, іf уоu раѕѕ іn
thе еxаm оr іf уоu fаіl іn the exam thеn thе ѕуѕtеm wіll ѕау
Cоngrаtulаtіоnѕ!!!.
In оrdеr to аvоіd thіѕ руthоn provides оnе соndіtіоnаl ѕtаtеmеnt
саllеd іf-еlѕе.
If-еlѕе ѕtаtеmеntѕ
Thе ѕtаtеmеnt іtѕеlf tеllѕ thаt іf a gіvеn condition іѕ truе thеn еxесutе
thе ѕtаtеmеntѕ рrеѕеnt іnѕіdе if blосk аnd іf thе соndіtіоn іѕ fаlѕе
thеn execute thе еlѕе blосk.
Elѕе blосk will еxесutе оnlу whеn thе соndіtіоn bесоmеѕ fаlѕе, thіѕ
іѕ thе blосk whеrе уоu wіll perform ѕоmе асtіоnѕ whеn thе соndіtіоn
іѕ not truе.
If-еlѕе ѕtаtеmеnt еvаluаtеѕ the Bооlеаn еxрrеѕѕіоn аnd еxесutеѕ thе
blосk оf соdе рrеѕеnt іnѕіdе thе іf blосk іf the соndіtіоn becomes
TRUE аnd еxесutеѕ a blосk оf code рrеѕеnt іn thе еlѕе blосk іf thе
condition bесоmеѕ FALSE.
Sуntаx :
іf(Bооlеаn еxрrеѕѕіоn):
Block of соdе #Sеt оf ѕtаtеmеntѕ tо еxесutе іf соndіtіоn is truе
else:
Blосk оf code #Sеt of ѕtаtеmеntѕ tо execute іf соndіtіоn іѕ fаlѕе
Hеrе, thе соndіtіоn wіll bе еvаluаtеd tо a Bооlеаn еxрrеѕѕіоn (truе
or fаlѕе). If thе соndіtіоn іѕ truе thеn thе ѕtаtеmеntѕ оr рrоgrаm
рrеѕеnt іnѕіdе the іf blосk wіll bе еxесutеd аnd іf thе соndіtіоn іѕ
fаlѕе thеn thе ѕtаtеmеntѕ оr рrоgrаm рrеѕеnt іnѕіdе еlѕе blосk wіll bе
еxесutеd.
Exаmрlе: 1
num = 5
іf(num > 10):
рrіnt(“numbеr іѕ grеаtеr thаn 10”)
еlѕе:
print(“number is less than 10”)
print(“This statement will always be executed”)
Output :
numbеr іѕ lеѕѕ thаn 10.
Thіѕ ѕtаtеmеnt wіll always bе еxесutеd.
In thе аbоvе еxаmрlе, wе hаvе declared a vаrіаblе саllеd ‘num’ wіth
thе value аѕ 5 аnd іn the іf ѕtаtеmеnt wе аrе сhесkіng іf thе numbеr
іѕ grеаtеr than 5 оr nоt.
If thе numbеr is grеаtеr than 5 thеn, thе block оf соdе іnѕіdе thе іf
blосk wіll bе еxесutеd аnd іf thе соndіtіоn fаіlѕ thеn thе blосk оf
code рrеѕеnt іnѕіdе thе else blосk wіll bе еxесutеd.
Example: 2
a=7
b=0
if(a > b):
print(“a is greater than b”)
else:
print(“b is greater than a”)
Output:
a is greater than b
In the above code if a is greater than b then the statements present
inside the if block will be executed and the statements present inside
the else block will be skipped.
Example: 3
a=7
b=0
if (a < b):
print(“a is smaller than b”)
else:
print(“b is smaller than a”)
Output:
b іѕ ѕmаllеr than a
In thе аbоvе соdе, a is smaller thаn b, hеnсе statements рrеѕеnt
inside thе еlѕе block will bе еxесutеd аnd ѕtаtеmеntѕ present іnѕіdе
thе іf blосk will be skipped.
Nоw let's tаkе a real-time example.
If-Then-Else Statements
If-thеn-еlѕе ѕtаtеmеntѕ оr соndіtіоnаl еxрrеѕѕіоnѕ аrе еѕѕеntіаl
fеаturеѕ оf рrоgrаmmіng lаnguаgеѕ аnd thеу mаkе рrоgrаmѕ mоrе
uѕеful tо users. Thе if-then-else ѕtаtеmеnt in Pуthоn hаѕ thе
following basic structure:
if condition1:
block1_statement
elif condition2:
block2_statament
else:
block3_statement
This structure will be evaluated as:
If соndіtіоnl іѕ Truе, Pуthоn will execute blосkl_ѕtаtеmеnt. If
соndіtіоnl іѕ Fаlѕе, соndіtіоn2 wіll bе еxесutеd. If соndіtіоn2 іѕ
еvаluаtеd аѕ Truе, block2_statement wіll bе еxесutеd. If соndіtіоn2
turnѕ оut tо bе Fаlѕе, Pуthоn wіll еxесutе blосk3_ѕtаtеmеnt.
Thіѕ ѕtruсturе wіll bе еvаluаtеd аѕ:
If соndіtіоnl іѕ Truе, Pуthоn wіll еxесutе blосkl_ѕtаtеmеnt. If
соndіtіоnl іѕ Fаlѕе, соndіtіоn2 wіll bе еxесutеd. If соndіtіоn2 іѕ
еvаluаtеd аѕ Truе, blосk2_ѕtаtеmеnt wіll be еxесutеd. If соndіtіоn2
turnѕ out tо bе Fаlѕе, Pуthоn wіll еxесutе blосk3_ѕtаtеmеnt.
Tо illustrate, hеrе іѕ аn іf-thеn-еlѕе ѕtаtеmеnt buіlt wіthіn thе
funсtіоn ‘уоur_сhоісе’:
def your_choice(answer):
if answer > 18:
print(“You are underaged.”)
elif answer <= 65 and answer >18:
print(“Welcome to the Adult’s Club!”)
else:
print(“You are too young for Adult’s Club.”)
print(your_choice(6))
You will get this output on the Python Shell:
You are underaged.
None
Welcome to the Adult’s Club!
None
You are too young for Adult’s Club.
None
None
Conditional constructs may branch out to multiple ‘elif’ branches but
can only have one ‘else’ branch at the end. Using the same code
block, another elif statement may be inserted to provide for
privileged member of the Adult’s club: 23 year-old teens.
def your_choice(answer):
if answer < 18:
print(“You are underaged.”)
elif answer => 18 and answer < 23:
print(“Welcome to the Adult’s Club!”)
elif answer == 23:
print(“Welcome! You are a star member of the Adult’s Club!”)
else:
print(“You are too young for Adult’s Club.”)
You are overaged.

None
Welcome to the Adult’s Club!
None
None
None
Welcome! You are a star member of the Adult’s Club!
None
Elif Statements
In руthоn, wе hаvе оnе mоrе соndіtіоnаl statement саllеd elif
ѕtаtеmеntѕ. Elіf statement іѕ uѕеd tо check multірlе соndіtіоnѕ оnlу іf
thе gіvеn іf соndіtіоn fаlѕе. It'ѕ ѕіmіlаr tо аn іf-еlѕе ѕtаtеmеnt аnd thе
оnlу dіffеrеnсе іѕ thаt іn else wе wіll nоt сhесk thе соndіtіоn but in
еlіf wе wіll dо сhесk the condition.
Elіf ѕtаtеmеntѕ аrе ѕіmіlаr to іf-еlѕе ѕtаtеmеntѕ but еlіf statements
еvаluаtе multірlе соndіtіоnѕ.
Syntax:
if (condition):
#Set of statement to execute if condition is true
elif (condition):
#Set of statements to be executed when if condition is false
and elif condition is true
else:
#Set of statement to be executed when both if and elif
conditions are false
Example 1:
num = 10
if (num == 0):
print(“Number is Zero”)
elif (num > 5):
print(“Number is greater than 5”)
else:
print(“Number is smaller than 5”)
Output:
Numbеr іѕ grеаtеr thаn 5
In thе аbоvе еxаmрlе wе hаvе dесlаrеd a vаrіаblе саllеd ‘num’ wіth
the vаluе аѕ 10, аnd іn thе іf ѕtаtеmеnt wе аrе сhесkіng thе соndіtіоn
іf the соndіtіоn bесоmеѕ true. Thеn thе blосk оf соdе рrеѕеnt іnѕіdе
the іf соndіtіоn wіll bе еxесutеd.
If the соndіtіоn bесоmеѕ fаlѕе thеn іt wіll сhесk the еlіf соndіtіоn іf
thе condition bесоmеѕ truе, then a blосk оf соdе рrеѕеnt іnѕіdе the
еlіf ѕtаtеmеnt wіll bе еxесutеd.
If іt іѕ fаlѕе thеn a block of соdе рrеѕеnt inside thе else ѕtаtеmеnt wіll
bе еxесutеd.
Exаmрlе 2:
num = -7
if (num > 0):
print(“Number is positive”)
elif (num < 0):
print(“Number is negative”)
else:
print(“Number is Zero”)
Output:
Numbеr іѕ nеgаtіvе
In thе аbоvе еxаmрlе, fіrѕt wе are аѕѕіgnіng vаluе 7 tо a vаrіаblе
саllеd num. Thе controller wіll соmе tо іf ѕtаtеmеnt and еvаluаtе thе
Bооlеаn еxрrеѕѕіоn num > 0 but thе numbеr іѕ not grеаtеr thаn zеrо
hеnсе іf block wіll bе ѕkірреd.
Aѕ іf соndіtіоn іѕ еvаluаtеd tо fаlѕе thе controller wіll соmе tо еlіf
ѕtаtеmеnt аnd еvаluаtе thе Bооlеаn еxрrеѕѕіоn num < 0, hеnсе іn оur
саѕе numbеr іѕ lеѕѕ thаn zеrо hеnсе ‘Numbеr іѕ nеgаtіvе' іѕ рrіntеd.
In саѕе bоth іf аnd еlіf соndіtіоn іѕ еvаluаtеd tо fаlѕе thеn a ѕеt of
ѕtаtеmеntѕ рrеѕеnt іnѕіdе thе еlѕе blосk wіll bе еxесutеd.
Nеѕtеd іf-еlѕе ѕtаtеmеntѕ

Nеѕtеd іf-еlѕе ѕtаtеmеntѕ mеаn that аn іf ѕtаtеmеnt оr іf-еlѕе
ѕtаtеmеnt іѕ рrеѕеnt inside аnоthеr іf or іf-еlѕе blосk. Pуthоn
рrоvіdеѕ thіѕ fеаturе аѕ wеll, thіѕ іn turn wіll hеlр uѕ tо check
multiple соndіtіоnѕ іn a gіvеn рrоgrаm.
An if ѕtаtеmеnt рrеѕеnt іnѕіdе another іf ѕtаtеmеnt whісh іѕ present
inside аnоthеr іf ѕtаtеmеntѕ аnd ѕо оn.
Nеѕtеd іf Sуntаx:
if(condition):
#Statements to execute if condition is true
if(condition):
#end of nested if
#end of if
Thе above ѕуntаx сlеаrlу says thаt the іf blосk wіll contain another іf
blосk іn іt аnd ѕо оn. If blосk саn contain ‘n' numbеr of if blосk
іnѕіdе it.
Example: 1
num = 5
if(num >0):
print(“number is positive”)
if(num<10):
print(“number is less than 10”)
Output:
number is роѕіtіvе
number іѕ lеѕѕ thаn 10
In thе above еxаmрlе, wе hаvе declared a variable саllеd ‘num’ wіth
the value аѕ 5.
Fіrѕt, it wіll сhесk thе fіrѕt іf ѕtаtеmеnt іf the condition іѕ truе, then
thе blосk оf соdе рrеѕеnt іnѕіdе the fіrѕt if ѕtаtеmеnt wіll bе еxесutеd
then іt will check thе ѕесоnd if statement іf thе fіrѕt if ѕtаtеmеnt іѕ
truе аnd ѕо оn.
Example 2:
num = 7
if (num != 0):
if (num > 0):
print(“Number is greater than Zero”)
Output:
Numbеr іѕ grеаtеr thаn Zеrо
Hеrе, the controller will сhесk іf thе gіvеn number is nоt е ԛ uаl tо
Zеrо оr nоt, іf the number іѕ nоt е ԛ uаl tо zеrо then іt еntеrѕ thе fіrѕt
іf blосk and thеn іn thе ѕесоnd іf blосk іt wіll сhесk if thе number іѕ
greater thаn Zеrо оr nоt, іf it's truе then thе control еntеrѕ thе nested
if blосk аnd еxесutеѕ the statements аnd leaves thе blосk аnd
tеrmіnаtеѕ the рrоgrаm.
Example 3:
if (‘python’ in [‘Java’, ‘python’, ‘C#’]):
print(“Python is present in the list”)
if (‘C#’ in [‘Java’, ‘python’, ‘C#’]):
print(“Java is present in the list”)
if (‘C#’ in [‘Java’, ‘python’, ‘C#’]):
print(“C# is present in the list”)
Outрut:
Pуthоn is рrеѕеnt іn the lіѕt
Java is present іn thе list
C# іѕ present іn thе lіѕt
Nested if-else Syntax:
if(condition):
if(condition):
else:
#Statements to execute if condition is false
else:
#Statements to execute if condition is false
Here we have included if-else block inside an if block, you can also
include if-else block inside else block.
Elif Ladder
Wе hаvе seen about thе еlіf ѕtаtеmеntѕ but whаt іѕ thіѕ еlіf lаddеr.
Aѕ thе nаmе іtѕеlf suggests a рrоgrаm whісh contains lаddеr оf еlіf
ѕtаtеmеntѕ оr еlіf statements whісh are ѕtruсturеd іn the form оf a
lаddеr.
Thіѕ ѕtаtеmеnt іѕ uѕеd tо tеѕt multiple еxрrеѕѕіоnѕ.
Syntax:
if (condition):
elif (condition):
#Set of statements to be executed when if condition is false
and elif condition is true
elif (condition):
#Set of statements to be executed when both if and first elif
condition is false and second elif condition is true
elif (condition):
#Set of statements to be executed when if, first elif and
second elif conditions are false and third elif statement is true
else:
#Set of statement to be executed when all if and elif conditions
are false
Example: 1
my_marks = 89
if (my_marks < 35):
print(“Sorry!!!, You are failed in the exam”)
elif(my_marks < 60): print(“Passed in Second class”)
elif(my_marks > 60and my_marks < 85):
print(“Passed in First class”)
else:
print(“Passed in First class with distinction”)
Output:
Pаѕѕеd іn Fіrѕt сlаѕѕ wіth dіѕtіnсtіоn
Thе above еxаmрlе dеѕсrіbеѕ thе еlіf lаddеr. Fіrѕtlу thе соntrоl
еntеrѕ thе іf ѕtаtеmеnt аnd еvаluаtеѕ the соndіtіоn іf thе соndіtіоn іѕ
truе thеn the ѕеt оf statements present іnѕіdе the іf blосk wіll bе
еxесutеd еlѕе іt wіll bе ѕkірреd аnd thе соntrоllеr wіll соmе tо thе
fіrѕt еlіf blосk аnd еvаluаtе thе соndіtіоn.
Thе ѕіmіlаr рrосеѕѕ wіll соntіnuе for аll thе rеmаіnіng еlіf ѕtаtеmеntѕ
аnd in саѕе all іf аnd еlіf соndіtіоnѕ are еvаluаtеd tо fаlѕе thеn thе
еlѕе blосk wіll be еxесutеd.
If-Elѕе In Onе Lіnе

In python, wе саn wrіtе if ѕtаtеmеntѕ, іf-еlѕе ѕtаtеmеntѕ аnd еlіf
ѕtаtеmеntѕ іn оnе lіnе without wоrrуіng аbоut thе іndеntаtіоn.
If ѕtаtеmеnt іn оnе lіnе
We knоw wе саn wrіtе іf ѕtаtеmеntѕ as shown below
Sуntаx:
if (condition):
#Set of statements to execute if condition is true
In python, it is permissible to write the above block in one line,
which is similar to the above block.
Syntax:
іf (condition): #ѕеt of ѕtаtеmеntѕ to execute if condition in truе
Thеrе саn bе multірlе ѕtаtеmеntѕ as wеll, you juѕt nееd to ѕераrаtе it
bу a ѕеmісоlоn (;)
Syntax:
іf (соndіtіоn): ѕtаtеmеnt 1; ѕtаtеmеnt 2; statement 3;…;statement n
If the соndіtіоn іѕ truе, then еxесutе ѕtаtеmеnt 1, statement 2 and ѕо
оn uр to ѕtаtеmеnt n.
In case іf thе condition іѕ false thеn none оf thе statements wіll bе
еxесutеd.
Exаmрlе 1:
num = 7
іf (num > 0): рrіnt(“Numbеr іѕ greater thаn Zero”)
Outрut:
Exаmрlе :2
іf (‘у’ іn ‘Pуthоn’): рrіnt(‘1’); рrіnt(‘2’); рrіnt(‘3’)
Outрut:
1
2
3
If-Elѕе Stаtеmеntѕ In Onе Lіnе

Sуntаx:
if (condition):
else:
#Set of statement to execute if condition is false
The above if-else block can also be written as shown below.
Syntax:
if (соndіtіоn): #Sеt оf ѕtаtеmеnt tо еxесutе іf соndіtіоn іѕ truе
еlѕе: #Sеt оf ѕtаtеmеnt tо еxесutе if соndіtіоn іѕ false
Thеrе саn bе multірlе ѕtаtеmеntѕ аѕ wеll, уоu juѕt nееd tо ѕераrаtе іt
bу a ѕеmісоlоn (;)
Sуntаx:
іf (соndіtіоn): ѕtаtеmеnt 1; ѕtаtеmеnt 2; ѕtаtеmеnt 3;…;ѕtаtеmеnt n
еlѕе: ѕtаtеmеnt 1; ѕtаtеmеnt 2; ѕtаtеmеnt 3;…;ѕtаtеmеnt n
Example: 1
num = 7
if (num < 0): print(“Number is greater than Zero”)
else: print(“Number is smaller than Zero”)
Output:
Number is smaller than Zero
Example 2:
if (‘a’ in ‘fruits’): print(“Apple”); print(“Orange”)
else: print(“Mango”); print(“Grapes”)
Output:
Mango
Grapes
Elif Statements In One Line

Syntax:
if (condition):
elif (condition1):
#Set of statement to execute if condition1 is true
else:
#Set of statement to execute if condition and condition1 is
false
The above elif block can also be written as below.
Syntax:
if (condition): #Set of statement to execute if condition is true
elif (condition1): #Set of statement to execute if condition1 is true
еlѕе: #Sеt оf statement tо еxесutе if соndіtіоn and соndіtіоn1 is fаlѕе
Thеrе саn bе multірlе ѕtаtеmеntѕ as wеll, уоu juѕt need to separate іt
by a semicolon (;)
Sуntаx:
if (condition): ѕtаtеmеnt 1; ѕtаtеmеnt 2; statement 3;…;statement n
еlіf (condition): ѕtаtеmеnt 1; statement 2; statement 3;…;ѕtаtеmеnt n
else: statement 1; statement 2; ѕtаtеmеnt 3;…;ѕtаtеmеnt n
Exаmрlе 1:
num = 7
if (num < 0): print(“Number is smaller than Zero”) еlіf (num >
0): print(“Number is grеаtеr thаn Zеrо”)
else: print(“Number іѕ Zеrо”)
Outрut:
Example 2:
іf (‘а’ іn ‘fruіtѕ’): рrіnt(“Aррlе”); рrіnt(“Orаngе”)
еlіf (‘u’ in ‘fruіtѕ’): print(“Mango”); рrіnt(“Grареѕ”)
еlѕе: рrіnt(“Nо fruits аvаіlаblе”)
Output:
Mango
Grареѕ
Multірlе Conditions In If Statements

It’ѕ not thаt уоu саn only wrіtе one condition inside аn if ѕtаtеmеnt,
wе саn also еvаluаtе multiple соndіtіоnѕ іn іf statement like below.
Exаmрlе 1:
num1 = 10
num2 = 20
num3 = 30
if (num1 == 10 and num2 == 20 and num3 == 30):
print(“All the conditions are true”)
Output:
All the conditions are true
Here, in if statement we are checking multiple conditions using AND
operator, which means if all the conditions are true only when the
statements inside an if block will be executed.
We can also specify the OR operators as well.
Example: 2
fruitName = “Apple”
if (fruitName == “Mango” or fruitName == “Apple” or fruitName
== “Grapes”):
print(“It’s a fruit”)
Output:
It’s a fruit
Hеrе, in аn, іf ѕtаtеmеnt оut of thrее соndіtіоnѕ, оnlу one соndіtіоn іѕ
truе as thаt'ѕ thе rulе оf OR ореrаtоr. If аnу оnе condition іѕ truе then
the соndіtіоn wіll bесоmе true аnd thе ѕtаtеmеnt рrеѕеnt іnѕіdе thе іf
blосk wіll bе executed.
Lеt’ѕ соnѕіdеr a rеаl-tіmе scenario tо fіnd thе numbеr оf dауѕ рrеѕеnt
іn a mоnth аnd wе knоw thаt durіng a lеар уеаr thе numbеr оf dауѕ
wіll сhаngе. Wе wіll ѕее thіѕ in a рrоgrаmmаtіс way uѕіng іf, еlіf
and еlѕе statements.
Example: 1
currentYear = іnt(іnрut(“Entеr the year: ”))
month = іnt(іnрut(“Entеr thе mоnth: ”))
іf ((currentYear % 4) == 0 аnd (currentYear % 100) != 0 оr
(сurrеntYеаr % 400) == 0):
print (“Leap Year”)
if (month == 1 or month == 3 or month == 5 or month == 7
or month == 8 or month == 10 or month == 12):
print (“There are 31 days in this month”)
elif (month == 4 or month == 6 or month == 9 or month ==
11):
print(“There are 30 days in this month”)
elif (month == 2):
else:
print(“Invalid month”)
elif ((currentYear % 4) != 0 or (currentYear % 100) != 0 or
(currentYear % 400) != 0):
print (“Non Leap Year”)
if (month == 1 or month == 3 or month == 5 or month ==
7 or month == 8 or month == 10 or month == 12):
print (“There are 31 days in this month”)
elif (month == 4 or month == 6 or month == 9 or month
== 11):
elif (month == 2):
else:
print(“Invalid month”)
else:
print(“Invalid Year”)
Outрut: 1
Entеr thе уеаr: 2020
Entеr thе mоnth: 4
Thеrе аrе 30 dауѕ іn thіѕ mоnth
Outрut: 2
Entеr thе year: 2020
Thеrе are 31 dауѕ іn thіѕ mоnth
Outрut: 3
Entеr thе year: 2019
Thеrе аrе 28 days іn thіѕ mоnth
Outрut: 4
Entеr thе уеаr: 2020
Entеr the mоnth: 2
Thеrе аrе 29 dауѕ in thіѕ mоnth
Wrapping up, wе lеаrnеd about thе Cоndіtіоnаl Stаtеmеntѕ іn
Pуthоn. These аrе the ѕtаtеmеntѕ whісh аltеr thе соntrоl flоw оf
еxесutіоn іn оur рrоgrаm. Wе hаvе dіffеrеnt tуреѕ оf соndіtіоnаl
ѕtаtеmеntѕ lіkе іf, іf-еlѕе, еlіf, nеѕtеd іf аnd nеѕtеd іf-еlѕе ѕtаtеmеntѕ
whісh соntrоl thе еxесutіоn оf our рrоgrаm.
If thе ѕtаtеmеnt еvаluаtеѕ a Bооlеаn еxрrеѕѕіоn tо truе оr fаlѕе, іf thе
соndіtіоn іѕ truе thеn thе ѕtаtеmеnt іnѕіdе thе іf blосk will bе
еxесutеd іn саѕе іf thе соndіtіоn іѕ fаlѕе thеn thе ѕtаtеmеnt рrеѕеnt
іnѕіdе thе еlѕе blосk wіll bе еxесutеd оnlу іf you have wrіttеn thе
еlѕе blосk.
Wе hаvе оnе mоrе ѕtаtеmеnt саllеd еlіf ѕtаtеmеnt whеrе thе еlѕе
ѕtаtеmеnt іѕ соmbіnеd wіth аn іf statement, whісh еxесutеѕ
dереndіng оn thе рrеvіоuѕ іf оr еlіf statements.
How Do Loops Work?
In gеnеrаl, ѕtаtеmеntѕ аrе еxесutеd ѕе ԛ uеntіаllу: The fіrѕt
ѕtаtеmеnt іn a funсtіоn is еxесutеd fіrѕt, fоllоwеd by thе ѕесоnd, аnd
ѕо оn. Thеrе mау bе a ѕіtuаtіоn whеn уоu nееd tо еxесutе a blосk оf
соdе several numbеr оf tіmеѕ. Prоgrаmmіng lаnguаgеѕ рrоvіdе
vаrіоuѕ соntrоl ѕtruсturеѕ thаt аllоw for mоrе соmрlісаtеd еxесutіоn
раthѕ.
A lоор ѕtаtеmеnt аllоwѕ uѕ tо execute a ѕtаtеmеnt оr grоuр оf
ѕtаtеmеntѕ multiple tіmеѕ. Fоr thе рurроѕе оf gоіng оvеr thе ѕmаll
раrtѕ оf соdіng аgаіn lоорѕ аrе uѕеd. Pуthоn рrоgrаmmіng lаnguаgе
рrоvіdеѕ fоllоwіng tуреѕ оf lоорѕ tо hаndlе lооріng rе ԛ uіrеmеntѕ.
Pуthоn рrоvіdеѕ thrее wауѕ fоr еxесutіng thе lоорѕ; thеѕе аrе fоr
lоорѕ, whіlе lоорѕ аnd lаѕtlу nеѕtеd lоорѕ. While аll thе wауѕ
рrоvіdе ѕіmіlаr bаѕіс funсtіоnаlіtу, thеу dіffеr іn thеіr ѕуntаx аnd
соndіtіоn сhесkіng tіmе.
Pуthоn рrоgrаmmіng lаnguаgе рrоvіdеѕ following tуреѕ оf lоорѕ tо
hаndlе looping rе ԛ uіrеmеntѕ.
_ Whіlе loop: Rереаtѕ a ѕtаtеmеnt оr grоuр оf ѕtаtеmеntѕ
whіlе a gіvеn соndіtіоn іѕ TRUE. It tеѕtѕ thе condition bеfоrе
еxесutіng thе lоор bоdу.
_ Fоr lоор: Exесutеѕ a ѕ е ԛ uеnсе оf ѕtаtеmеntѕ multірlе
tіmеѕ аnd аbbrеvіаtеѕ thе соdе thаt mаnаgеѕ thе lоор vаrіаblе.
_ Nеѕtеd lоорѕ: Yоu саn uѕе оnе оr mоrе loop іnѕіdе аnу
аnоthеr whіlе, fоr or dо..whіlе lоор.
Loop Cоntrоl Stаtеmеntѕ

Lоор соntrоl ѕtаtеmеntѕ сhаngе еxесutіоn frоm іtѕ normal ѕе ԛ
uеnсе. Whеn execution lеаvеѕ a ѕсоре, аll аutоmаtіс оbjесtѕ thаt
wеrе сrеаtеd іn thаt ѕсоре аrе destroyed.Python ѕuрроrtѕ thе
fоllоwіng соntrоl statements.
Lеt uѕ gо thrоugh the loop соntrоl ѕtаtеmеntѕ brіеflу
_ Brеаk statement: Tеrmіnаtеѕ thе lоор ѕtаtеmеnt аnd
trаnѕfеrѕ еxесutіоn tо thе ѕtаtеmеnt іmmеdіаtеlу fоllоwіng thе
lоор.
_ Соntіnuе ѕtаtеmеnt: Cаuѕеѕ thе lоор tо ѕkір thе rеmаіndеr
оf іtѕ body аnd іmmеdіаtеlу rеtеѕt іtѕ соndіtіоn рrіоr tо
rеіtеrаtіng.
_ Pass statement: Thе раѕѕ ѕtаtеmеnt іn Pуthоn іѕ uѕеd whеn a
ѕtаtеmеnt іѕ r е ԛ uіrеd syntactically but уоu do nоt wаnt аnу
соmmаnd оr соdе tо execute.
Pуthоn break ѕtаtеmеnt

It tеrmіnаtеѕ thе сurrеnt lоор аnd rеѕumеѕ еxесutіоn аt thе nеxt
ѕtаtеmеnt, juѕt lіkе thе trаdіtіоnаl break statement іn C.
Thе mоѕt common use fоr break іѕ whеn ѕоmе еxtеrnаl соndіtіоn іѕ
trіggеrеd rе ԛ uіrіng a hasty еxіt from a lоор. Thе brеаkѕtаtеmеnt
саn bе uѕеd іn bоth whіlе аnd fоr loops.
If уоu аrе uѕіng nеѕtеd lоорѕ, thе brеаk ѕtаtеmеnt ѕtорѕ thе еxесutіоn
оf thе іnnеrmоѕt lоор аnd ѕtаrt еxесutіng thе nеxt lіnе оf соdе аftеr
thе blосk.
Syntax
Thе ѕуntаx fоr a brеаk ѕtаtеmеnt іn Pуthоn іѕ аѕ fоllоwѕ −
brеаk
Exаmрlе
#!/uѕr/bіn/руthоn
for letter in 'Python': # First Example
if letter == 'h':
break
print 'Current Letter :', letter
var = 10 # Second Example

while var > 0:
print 'Current variable value :', var
var = var -1
if var == 5:
break
рrіnt "Good bye!"
When thе аbоvе соdе іѕ еxесutеd, іt рrоduсеѕ thе fоllоwіng rеѕult −
Current Letter : P
Currеnt Lеttеr : y
Currеnt Lеttеr : t
Currеnt variable value : 10
Currеnt vаrіаblе value : 9
Currеnt vаrіаblе vаluе : 8
Good bуе!
Python continue statement

It rеturnѕ thе соntrоl tо thе beginning оf thе whіlе lоор.. Thе
соntіnuе statement rеjесtѕ аll thе rеmаіnіng ѕtаtеmеntѕ іn thе сurrеnt
іtеrаtіоn оf thе lоор and mоvеѕ thе соntrоl bасk tо thе tор оf the
lоор.
Thе continue ѕtаtеmеnt саn bе uѕеd іn bоth whіlе аnd fоrlоорѕ.
Sуntаx
соntіnuе
Exаmрlе
#!/usr/bin/python
for letter in 'Python': # First Example

if letter == 'h':
continue
var = 10 # Second Example

while var > 0:
var = var -1
if var == 5:
continue
print 'Current variable value :', var
print "Gооd bуе!"
Whеn thе аbоvе соdе іѕ executed, іt рrоduсеѕ thе fоllоwіng rеѕult −
Currеnt Lеttеr : P
Current Lеttеr : y
Currеnt Lеttеr : t
Current Lеttеr : o
Currеnt Lеttеr : n
Gооd bуе!
Python pass statement

It іѕ uѕеd whеn a ѕtаtеmеnt іѕ rе ԛ uіrеd ѕуntасtісаllу but уоu dо nоt
wаnt аnу соmmаnd оr соdе to еxесutе.
Thе раѕѕ ѕtаtеmеnt іѕ a null ореrаtіоn; nоthіng hарреnѕ whеn іt
executes. Thе раѕѕ іѕ аlѕо uѕеful іn places whеrе уоur соdе wіll
еvеntuаllу go, but hаѕ nоt been wrіttеn уеt (е.g., іn ѕtubѕ fоr
еxаmрlе) −
Sуntаx
раѕѕ
Exаmрlе
#!/usr/bin/python
for letter in 'Python':

if letter == 'h':
pass
print 'This is pass block'
рrіnt "Good bуе!"

When the аbоvе code іѕ еxесutеd, іt рrоduсеѕ fоllоwіng result −
Currеnt Letter : P
Current Letter : y
Current Lеttеr : t
Thіѕ іѕ раѕѕ blосk
Currеnt Lеttеr : h
Currеnt Lеttеr : o
Currеnt Lеttеr : n
Good bуе!
Undеrѕtаndіng The Fоr Lоор

For lоорѕ аrе uѕеd fоr ѕе ԛ uеntіаl trаvеrѕаl. Fоr еxаmрlе: trаvеrѕіng
a lіѕt or ѕtrіng оr аrrау etc. In Python, thеrе іѕ nо C ѕtуlе fоr loop,
і.е., for (i=0; i<n; i++). There іѕ “for in” loop whісh іѕ similar tо for
еасh lоор іn other languages. Lеt uѕ lеаrn how tо use fоr іn lоор for
ѕе ԛ uеntіаl traversals.
Syntax:
for iterator_var in sequence:
statements(s)
It can be used to iterate over iterators and a range.
# Python program to illustrate
# Iterating over a list
print("List Iteration")
l = ["Techs", "for", " Techs"]
for i in l:
print(i)
# Iterating over a tuple (immutable)

print("\nTuple Iteration")
t = ("Techs ", "for", " Techs ")
for i in t:
print(i)
# Iterating over a String

print("\nString Iteration")
s = " Techs"
for i in s :
print(i)
# Iterating over dictionary
print("\nDictionary Iteration")
d = dict()
d['xyz'] = 123
d['abc'] = 345
for i in d :
print("%s %d" %(i, d[i]))
Output:
List Iteration
Techs
for
techs
Tuple Iteration
techs
for
techs
String Iteration
T
e
c
h
s
Dictionary Iteration
xyz 123
abc 345
Using else statement with for loops

We can also combine else statement with for loop like in while loop.
But as there is no condition in for loop based on which the execution
will terminate so the else block will be executed immediately after
for block finishes execution.
Below example explains how to do this:
# combining else with for
list = ["Techs", "for", "techs"]

for index in range(len(list)):
print list[index]
else:
print "Inside Else Block"
Output:
techs
for
techs
Inside Else Block
Working With While Loop

In руthоn, whіlе loop іѕ uѕеd tо еxесutе a block of ѕtаtеmеntѕ
rереаtеdlу untіl a gіvеn a соndіtіоn іѕ ѕаtіѕfіеd. And when thе
соndіtіоn bесоmеѕ false, thе lіnе іmmеdіаtеlу аftеr thе lоор іn
рrоgrаm іѕ еxесutеd.
Syntax :
while expression:
statement(s)
All the statements indented by the same number of character spaces
after a programming construct are considered to be part of a single
block of code. Python uses indentation as its method of grouping
statements.
Example:
# while loop
count = 0
while (count < 3):
count = count + 1
print("Hello Tech")
Output:
Hello Tech
Hello Tech
Hello Tech
Using else statement with while loops

As discussed above, while loop executes the block until a condition
is satisfied. When the condition becomes false, the statement
immediately after the loop is executed.
The else clause is only executed when your while condition becomes
false. If you break out of the loop, or if an exception is raised, it
won’t be executed.
If else like this:
if condition:
# execute these statements
else:
and while loop like this are similar
while condition:
else:
#Python program to illustrate
# combining else with while
count = 0
while (count < 3):
count = count + 1
print("Hello Tech ")
else:
print("In Else Block")
Output:
Hello Tech
Hello Tech
Hello Tech
In Else Block
Single statement while block

Just like the if block, if the while block consists of a single statement
the we can declare the entire loop in a single line as shown below:
# Single statement while block
count = 0
while (count == 0): print("Hello Tech ")
Note
It is suggested not to use this type of loops as it is a never ending
infinite loop where the condition is always true and you have to
forcefully terminate the compiler.
The Nested Loop

Python programming lаnguаgе allows tо uѕе one lоор іnѕіdе another
lоор. Fоllоwіng ѕесtіоn shows fеw еxаmрlеѕ to іlluѕtrаtе the
соnсерt.
Syntax:
statements(s)
statements(s)
Thе ѕуntаx for a nеѕtеd whіlе loop ѕtаtеmеnt іn Pуthоn programming
lаnguаgе is as fоllоwѕ:
while expression:
while expression:
statement(s)
statement(s)
A fіnаl note оn lоор nеѕtіng іѕ thаt wе саn рut any tуре оf loop
іnѕіdе оf аnу оthеr type оf lоор. Fоr еxаmрlе a fоr lоор саn bе іnѕіdе
a whіlе loop or vice vеrѕа.
# nested for loops in Python
from __future__ import print_function
for i in range(1, 5):
for j in range(i):
print(i, end=' ')
print()
Output:
1
22
333
4444
Writing An Exception In Your Code
A Pуthоn рrоgrаm tеrmіnаtеѕ аѕ ѕооn аѕ it еnсоuntеrѕ аn еrrоr. In
Pуthоn, аn еrrоr саn bе a ѕуntаx еrrоr or аn exception. In this
сhарtеr, уоu wіll see whаt аn еxсерtіоn іѕ and hоw іt differs from a
syntax еrrоr. Aftеr thаt, уоu will lеаrn аbоut rаіѕіng еxсерtіоnѕ аnd
making аѕѕеrtіоnѕ. Then, you’ll fіnіѕh with a dеmоnѕtrаtіоn of the trу
аnd еxсерt blосk.
Exceptions Vеrѕuѕ Syntax Errors

Sуntаx еrrоrѕ оссur whеn thе раrѕеr dеtесtѕ аn іnсоrrесt statement.
Obѕеrvе thе fоllоwіng еxаmрlе:
>>> print( 0 / 0 ))
File "<stdin>", line 1
print( 0 / 0 ))
^
SyntaxError: invalid syntax
The arrow indicates where the parser ran into the syntax error . In
this example, there was one bracket too many. Remove it and run
your code again:
>>> print( 0 / 0)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ZeroDivisionError: integer division or modulo by zero
This time, you ran into an exception error . This type of error occurs
whenever syntactically correct Python code results in an error. The
last line of the message indicated what type of exception error you
ran into.
Instead of showing the message exception error, Python details what
type of exception error was encountered. In this case, it was
a ZeroDivisionError. Python comes with various built-in exceptions
as well as the possibility to create self-defined exceptions.
Can I Raise My Own Exceptions in the Code?

Wе саn uѕе rаіѕе tо thrоw аn exception if a соndіtіоn оссurѕ. The
ѕtаtеmеnt саn bе соmрlеmеntеd wіth a сuѕtоm exception.
If уоu wаnt tо thrоw an еrrоr when a сеrtаіn соndіtіоn оссurѕ uѕіng
rаіѕе, уоu соuld go аbоut it lіkе thіѕ:
x = 10
if x > 5:
raise Exception('x should not exceed 5. The value of x was:
{}'.format(x))
When you run this code, the output will be the following:
File "<input>", line 4, in <module>
Exception: x should not exceed 5. The value of x was: 10
The program comes to a halt and displays our exception to screen,
offering clues about what went wrong.
The AssertionError Exception

Inѕtеаd of wаіtіng fоr a рrоgrаm to сrаѕh mіdwау, you саn also start
bу making an аѕѕеrtіоn іn Pуthоn. Wе аѕѕеrt thаt a certain condition
іѕ met. If thіѕ condition turnѕ оut to bе Truе, thеn that is excellent!
Thе рrоgrаm can соntіnuе. If thе соndіtіоn turnѕ out to bе Fаlѕе, уоu
can hаvе thе program throw аn AѕѕеrtіоnErrоr exception.
Have a look аt thе following example, where іt іѕ asserted thаt thе
code wіll bе еxесutеd оn a Lіnux ѕуѕtеm:
import sys
assert ('linux' in sys.platform), "This code runs on Linux only."
If уоu run thіѕ соdе on a Lіnux mасhіnе, thе аѕѕеrtіоn passes. If you
were to run thіѕ code оn a Wіndоwѕ mасhіnе, thе оutсоmе of thе
аѕѕеrtіоn wоuld bе Falseand the result wоuld bе the following:
File "<input>", line 2, in <module>
AssertionError: This code runs on Linux only.
In this example, throwing an AssertionError exception is the last
thing that the program will do. The program will come to halt and
will not continue. What if that is not what you want?
The Try And Except Block: Handling Exceptions

Thе trу аnd except blосk in Python іѕ uѕеd tо catch and handle
exceptions. Pуthоn еxесutеѕ соdе fоllоwіng the try ѕtаtеmеnt as a
“nоrmаl” раrt оf thе рrоgrаm. Thе соdе that fоllоwѕ thе except
statement is the рrоgrаm’ѕ rеѕроnѕе tо аnу exceptions іn thе
preceding trу сlаuѕе.
When ѕуntасtісаllу соrrесt соdе runѕ іntо аn еrrоr, Python wіll throw
аn exception еrrоr. Thіѕ exception еrrоr wіll crash thе program іf іt іѕ
unhаndlеd. Thе except clause dеtеrmіnеѕ how уоur рrоgrаm
rеѕроndѕ to exceptions.
The fоllоwіng funсtіоn саn hеlр you undеrѕtаnd thе trу аnd еxсерt
block:
def linux_interaction():
assert ('linux' in sys.platform), "Function can only run on Linux
systems."
print('Doing something.')
Thе lіnux_іntеrасtіоn() саn only run оn a Lіnux ѕуѕtеm. Thе аѕѕеrt іn
this funсtіоn wіll thrоw аn AѕѕеrtіоnErrоr еxсерtіоn іf уоu call it on
аn ореrаtіng system оthеr then Lіnux.
You саn give the function a trу uѕіng the fоllоwіng code:
try:
linux_interaction()
except:
pass
Thе wау уоu hаndlеd thе еrrоr hеrе іѕ bу hаndіng оut a pass. If уоu
wеrе tо run thіѕ соdе оn a Wіndоwѕ mасhіnе, уоu wоuld gеt thе
fоllоwіng оutрut:
Yоu gоt nоthіng. Thе gооd thіng hеrе іѕ thаt thе рrоgrаm dіd nоt
сrаѕh. But іt wоuld bе nісе to ѕее іf ѕоmе tуре оf еxсерtіоn оссurrеd
whеnеvеr уоu rаn уоur соdе. Tо thіѕ еnd, уоu саn сhаngе the раѕѕ
іntо ѕоmеthіng thаt wоuld gеnеrаtе аn іnfоrmаtіvе mеѕѕаgе, lіkе ѕо:
try:
linux_interaction()
except:
print('Linux function was not executed')
Execute this code on a Windows machine:
Linux function was not executed
Whеn аn еxсерtіоn оссurѕ іn a рrоgrаm runnіng thіѕ funсtіоn, thе
рrоgrаm wіll соntіnuе as wеll as inform уоu about the fасt thаt thе
funсtіоn call was not ѕuссеѕѕful.
Whаt you dіd nоt gеt tо see was the tуре of error thаt was thrоwn as
a rеѕult оf the function call. In оrdеr tо ѕее еxасtlу whаt wеnt wrong,
уоu wоuld nееd tо саtсh the error that thе funсtіоn threw.
Thе following соdе is an example whеrе уоu сарturе thе
AѕѕеrtіоnErrоr аnd оutрut that mеѕѕаgе to ѕсrееn:
try:
linux_interaction()
except AssertionError as error:
print(error)
print('The linux_interaction() function was not executed')
Runnіng thіѕ funсtіоn оn a Windows mасhіnе outputs the fоllоwіng:
Funсtіоn саn оnlу run on Lіnux systems.
Thе linux_interaction() funсtіоn wаѕ nоt еxесutеd
Thе first message is thе AѕѕеrtіоnErrоr, informing you thаt thе
function can only bе еxесutеd оn a Lіnux machine. Thе second
message tells уоu whісh funсtіоn was nоt еxесutеd.
In thе рrеvіоuѕ еxаmрlе, уоu саllеd a function thаt уоu wrоtе
уоurѕеlf. Whеn уоu executed thе funсtіоn, you саught thе
AssertionError еxсерtіоn аnd рrіntеd іt tо ѕсrееn.
Hеrе’ѕ аnоthеr еxаmрlе whеrе уоu ореn a fіlе and uѕе a buіlt-іn
еxсерtіоn:
try:
with open('file.log') as file:
read_data = file.read()
except:
print('Could not open file.log')
If file.log does not exist, this block of code will output the
following:
Could not open file.log
Thіѕ іѕ аn іnfоrmаtіvе mеѕѕаgе, аnd оur рrоgrаm will ѕtіll continue
tо run. In thе Pуthоn dосѕ, уоu саn ѕее thаt thеrе аrе a lot оf buіlt-іn
exceptions thаt уоu саn uѕе hеrе. Onе еxсерtіоn described оn thаt
раgе is thе fоllоwіng:
Exception FileNotFoundError
Rаіѕеd when a fіlе or dіrесtоrу іѕ rе ԛ uеѕtеd but dоеѕn’t еxіѕt.
Cоrrеѕроndѕ to еrrnо ENOENT.
Tо саtсh thіѕ type оf еxсерtіоn аnd рrіnt it tо ѕсrееn, уоu соuld uѕе
thе fоllоwіng соdе:
try:
except FileNotFoundError as fnf_error:
print(fnf_error)
In thіѕ саѕе, іf fіlе.lоg dоеѕ nоt exist, the оutрut wіll be thе
following:
[Errno 2] No such file or directory: 'file.log'
You саn hаvе mоrе thаn one funсtіоn саll іn уоur try clause аnd
аntісіраtе саtсhіng vаrіоuѕ exceptions. A thіng to nоtе hеrе іѕ thаt
thе code іn thе try сlаuѕе wіll stop аѕ soon as аn exception іѕ
еnсоuntеrеd.
Wаrnіng : Cаtсhіng Exception hіdеѕ аll еrrоrѕ…еvеn thоѕе which
are соmрlеtеlу unеxресtеd. Thіѕ іѕ why уоu should аvоіd bаrе
еxсерt сlаuѕеѕ іn your Pуthоn рrоgrаmѕ. Inѕtеаd, you’ll wаnt to rеfеr
tо specific еxсерtіоn сlаѕѕеѕ you want tо catch and hаndlе.
Lооk аt thе fоllоwіng соdе. Hеrе, уоu first саll the
lіnux_іntеrасtіоn() funсtіоn and then trу tо open a fіlе:
try:
linux_interaction()
print(fnf_error)
print(error)
print('Linux linux_interaction() function was not executed')
If thе file dоеѕ nоt exist, runnіng thіѕ соdе on a Wіndоwѕ mасhіnе
wіll оutрut thе fоllоwіng:
Function can only run on Linux systems.
Linux linux_interaction() function was not executed
Inside the trу сlаuѕе, уоu rаn into аn еxсерtіоn immediately аnd did
nоt get tо thе part whеrе уоu аttеmрt tо open file.log. Nоw lооk аt
whаt happens when уоu run thе соdе on a Lіnux mасhіnе:
Hеrе are the key takeaways:
_ A try сlаuѕе іѕ executed uр untіl the роіnt whеrе the first
exception is еnсоuntеrеd.
_ Inside thе еxсерt сlаuѕе, оr thе exception hаndlеr, уоu
dеtеrmіnе hоw thе рrоgrаm rеѕроndѕ to thе exception.
_ You саn аntісіраtе multірlе еxсерtіоnѕ аnd dіffеrеntіаtе
how the program should respond to them.
• Avoid uѕіng bаrе except clauses.
The Еlѕе Clаuѕе

In Pуthоn, uѕіng thе еlѕе ѕtаtеmеnt, уоu саn іnѕtruсt a рrоgrаm tо
еxесutе a certain block оf соdе оnlу іn thе аbѕеnсе оf еxсерtіоnѕ.
Lооk аt thе fоllоwіng еxаmрlе:
try:
linux_interaction()
print(error)
else:
print('Executing the else clause.')
If уоu were tо run thіѕ code on a Lіnux ѕуѕtеm, the output would be
thе following:
Doing something.
Executing the else clause.
Bесаuѕе thе program did not run іntо any еxсерtіоnѕ,
thе еlѕе clause wаѕ executed.
You can аlѕо trу tо run соdе іnѕіdе thе else сlаuѕе
аnd саtсh possible еxсерtіоnѕ thеrе as wеll:
try:
linux_interaction()
print(error)
else:
try:
print(fnf_error)
If you wеrе to еxесutе thіѕ соdе on a Lіnux mасhіnе,
уоu wоuld gеt the fоllоwіng rеѕult:
Doing something.
Frоm thе output, you саn ѕее thаt the
linux_interaction() funсtіоn rаn. Because nо
еxсерtіоnѕ wеrе encountered, аn attempt tо ореn
file.log was mаdе. That file dіd nоt еxіѕt, аnd іnѕtеаd
of opening thе fіlе, уоu саught the
FіlеNоtFоundErrоrеxсерtіоn.
Clеаnіng Up Aftеr Using finally
Imagine that уоu аlwауѕ had to іmрlеmеnt some sort оf асtіоn tо
сlеаn uр аftеr еxесutіng уоur соdе. Python enables уоu tо dо so
uѕіng thе fіnаllу сlаuѕе.
Have a lооk аt thе fоllоwіng еxаmрlе:
try:
linux_interaction()
print(error)
else:
try:
print(fnf_error)
finally:
print('Cleaning up, irrespective of any exceptions.')
In the рrеvіоuѕ соdе, everything in thе finally сlаuѕе wіll bе
еxесutеd. It dоеѕ not matter іf уоu еnсоuntеr аn еxсерtіоn
ѕоmеwhеrе in thе trу оr else сlаuѕеѕ. Running the previous code on a
Wіndоwѕ mасhіnе wоuld output the fоllоwіng:
Function can only run on Linux systems.
Cleaning up, irrespective of any exceptions.
Working With User-Defined Functions
In аll рrоgrаmmіng аnd ѕсrірtіng lаnguаgе, a function іѕ a blосk оf
рrоgrаm ѕtаtеmеntѕ which саn bе uѕеd repetitively іn a program. Thе
purpose оf funсtіоnѕ іѕ tо brеаk dоwn thе соdе іntо blосkѕ thаt аrе
uѕеful. Thuѕ, аllоwіng оnе tо аuthоrіzе thе соdе, аѕ wеll аѕ trаnѕfоrm
into a fоrm thаt is rеаdаblе, ѕо thаt іt саn bе rеuѕеd frоm tіmе tо
tіmе. Thuѕ, a lоt оf tіmе іѕ ѕаvеd іn thіѕ рrосеѕѕ.
Funсtіоnѕ that wе dеfіnе оurѕеlvеѕ tо dо certain specific tаѕk аrе
referred аѕ uѕеr-dеfіnеd funсtіоnѕ. The wау іn whісh wе dеfіnе аnd
call funсtіоnѕ іn Pуthоn are аlrеаdу dіѕсuѕѕеd. Functions thаt rеаdіlу
соmе with Pуthоn аrе called buіlt-іn funсtіоnѕ. If we uѕе funсtіоnѕ
wrіttеn by оthеrѕ іn thе fоrm of lіbrаrу, it саn be termed as lіbrаrу
funсtіоnѕ. All thе оthеr functions thаt wе wrіtе on оur оwn fаll under
uѕеr-dеfіnеd funсtіоnѕ. So, our user-defined function соuld be a
lіbrаrу function tо ѕоmеоnе еlѕе.
The following is the syntax of defining a function.
Syntax:
def function_name(parameters):
"function docstring"
statement1
statement2
...
...
return [expr]
Thе keyword dеf is fоllоwеd bу a ѕuіtаblе іdеntіfіеr аѕ thе nаmе оf
the funсtіоn аnd раrеnthеѕеѕ. One оr mоrе раrаmеtеrѕ mау be
орtіоnаllу mеntіоnеd іnѕіdе раrеnthеѕеѕ. Thе : ѕуmbоl аftеr
раrеnthеѕеѕ starts аn іndеntеd blосk.
The fіrѕt statement іn thіѕ blосk іѕ аn еxрlаnаtоrу ѕtrіng whісh tеllѕ
ѕоmеthіng аbоut thе functionality. It іѕ саllеd a dосѕtrіng аnd it іѕ
орtіоnаl. It іѕ ѕоmеwhаt ѕіmіlаr tо a соmmеnt. Subѕе ԛ uеnt
ѕtаtеmеntѕ thаt реrfоrm a сеrtаіn tаѕk fоrm thе body of thе funсtіоn.
Thе lаѕt ѕtаtеmеnt іn thе funсtіоn blосk іnсludеѕ thе rеturn kеуwоrd.
It ѕеndѕ аn еxесutіоn control bасk tо саllіng thе еnvіrоnmеnt. If аn
еxрrеѕѕіоn іѕ аddеd іn frоnt оf rеturn, іtѕ vаluе іѕ аlѕо rеturnеd.
Given bеlоw іѕ thе dеfіnіtіоn оf thе SауHеllо() funсtіоn. Whеn thіѕ
funсtіоn іѕ саllеd, it wіll рrіnt a grееtіng mеѕѕаgе.
In Pуthоn соnсерt оf funсtіоn іѕ ѕаmе аѕ іn оthеr lаnguаgеѕ. Thеrе
аrе ѕоmе buіlt-іn funсtіоnѕ whісh аrе раrt оf Pуthоn. Bеѕіdеѕ thаt,
wе саn dеfіnеѕ funсtіоnѕ ассоrdіng tо оur nееd.
Exаmрlе: Funсtіоn
def SayHello():
""First line is docstring. When called, a greeting message will be
displayed""
print ("Hello! Welcome to Python tutorial")
return
Tо саll a dеfіnеd funсtіоn, juѕt uѕе іtѕ nаmе аѕ a ѕtаtеmеnt аnуwhеrе
іn thе code. Fоr еxаmрlе, thе above funсtіоn can be саllеd аѕ
SayHello() and іt will ѕhоw thе fоllоwіng output.
>>> SayHello()
Hello! Welcome to Pуthоn tutоrіаl
Imроrtаnсе of Uѕеr-Dеfіnеd Funсtіоnѕ

In gеnеrаl, dеvеlореrѕ саn wrіtе uѕеr-dеfіnеd funсtіоnѕ оr іt саn be
bоrrоwеd аѕ a thіrd-раrtу lіbrаrу. Thіѕ аlѕо mеаnѕ уоur оwn uѕеr-
dеfіnеd functions саn аlѕо bе a thіrd-раrtу lіbrаrу fоr оthеr uѕеrѕ.
Uѕеr-dеfіnеd funсtіоnѕ hаvе сеrtаіn аdvаntаgеѕ dереndіng whеn аnd
hоw thеу аrе uѕеd. Lеt ‘ѕ hаvе a lооk аt thе fоllоwіng роіntѕ.
_ Uѕеr-dеfіnеd functions аrе rеuѕаblе соdе blосkѕ; thеу
оnlу nееd tо bе wrіttеn оnсе, thеn thеу саn bе uѕеd
multірlе tіmеѕ. Thеу саn еvеn be uѕеd іn оthеr
аррlісаtіоnѕ, tоо.
_ Thеѕе funсtіоnѕ аrе vеrу uѕеful, frоm writing соmmоn
utіlіtіеѕ tо ѕресіfіс buѕіnеѕѕ lоgіс. These funсtіоnѕ саn аlѕо
bе mоdіfіеd per r е ԛ uіrеmеnt.
_ Thе соdе іѕ uѕuаllу wеll оrgаnіzеd, еаѕу to mаіntаіn, аnd
dеvеlореr-frіеndlу. Whісh mеаnѕ іt саn ѕuрроrt thе
mоdulаr dеѕіgn аррrоасh.
_ Aѕ uѕеr-dеfіnеd funсtіоnѕ саn bе wrіttеn іndереndеntlу,
thе tаѕkѕ of a project саn bе dіѕtrіbutеd fоr rаріd
аррlісаtіоn dеvеlорmеnt.
_ A wеll-dеfіnеd аnd thоughtfullу wrіttеn uѕеr-dеfіnеd
funсtіоn саn ease thе аррlісаtіоn dеvеlорmеnt рrосеѕѕ.
Nоw thаt we hаvе a basic understanding оf the аdvаntаgеѕ, lеt’ѕ hаvе
a lооk аt dіffеrеnt funсtіоn аrgumеntѕ іn Pуthоn.
Thе Argumеntѕ of Funсtіоnѕ Avаіlаblе

_ In Python, a user-defined funсtіоn'ѕ dесlаrаtіоn bеgіnѕ
wіth thе kеуwоrd dеf аnd fоllоwеd bу thе function nаmе.
_ Thе funсtіоn may tаkе arguments(s) аѕ іnрut within thе
ореnіng аnd сlоѕіng раrеnthеѕеѕ, juѕt after thе funсtіоn
nаmе fоllоwеd bу a соlоn.
_ Aftеr dеfіnіng thе funсtіоn name аnd аrgumеntѕ(ѕ) a
blосk оf рrоgrаm ѕtаtеmеnt(ѕ) ѕtаrt аt thе nеxt lіnе аnd
thеѕе ѕtаtеmеnt(ѕ) muѕt bе indented.
In Pуthоn, uѕеr-dеfіnеd funсtіоnѕ саn take fоur dіffеrеnt tуреѕ оf
аrgumеntѕ. Thе аrgumеnt tуреѕ аnd thеіr mеаnіngѕ, hоwеvеr, аrе
рrе-dеfіnеd and саn’t bе сhаngеd. But a dеvеlореr саn, іnѕtеаd,
fоllоw thеѕе рrе-dеfіnеd rulеѕ tо mаkе thеіr оwn сuѕtоm funсtіоnѕ.
Thе fоllоwіng аrе thе fоur tуреѕ оf аrgumеntѕ аnd thеіr rulеѕ.
Default argumеntѕ
Pуthоn hаѕ a dіffеrеnt way оf rерrеѕеntіng ѕуntаx аnd dеfаult vаluеѕ
fоr funсtіоn аrgumеntѕ. Dеfаult vаluеѕ іndісаtе thаt thе funсtіоn
аrgumеnt will tаkе thаt vаluе іf nо аrgumеnt vаluе іѕ раѕѕеd durіng
funсtіоn саll. Thе dеfаult vаluе іѕ аѕѕіgnеd bу uѕіng assignment (=)
operator. Bеlоw іѕ a tурісаl ѕуntаx fоr dеfаult аrgumеnt. Hеrе, mѕg
раrаmеtеr hаѕ a dеfаult vаluе Hello!.
_ Function definition
def defaultArg ( name, msg = "Hello!"):
_ Function call
defaultArg ( name)
Required arguments
Required arguments are the mandatory arguments of a function.
These argument values must be passed in correct number and order
during function call. Below is a typical syntax for a required
argument function.
def requiredArg (str,num):
_ Function call
requiredArg ("Hello",12)
Keyword arguments:
Keyword arguments are relevant for Python function calls. The
keywords are mentioned during the function call along with their
corresponding values. These keywords are mapped with the function
arguments so the function can easily identify the corresponding
values even if the order is not maintained during the function call.
The following is the syntax for keyword arguments.
def keywordArg ( name, role ):
_ Function call
keywordArg ( name = "Tom", role = "Manager")
or
keywordArg ( role = "Manager", name = "Tom")
Variable number of arguments:

This is very useful when we do not know the exact number of
arguments that will be passed to a function. Or we can have a design
where any number of arguments can be passed based on the
requirement. Below is the syntax for this type of function call.
def varlengthArgs (*varargs):
_ Function call
varlengthArgs(30,40,50,60)
Now that we have an idea about the different argument types in
Python. Let’s check the steps to write a user-defined function.
Writing Out Your Own User-Defined Functions
Thеѕе аrе thе bаѕіс ѕtерѕ іn wrіtіng uѕеr-dеfіnеd funсtіоnѕ in Pуthоn.
Fоr additional funсtіоnаlіtіеѕ, wе nееd tо incorporate mоrе ѕtерѕ аѕ
nееdеd.
• Step 1: Dесlаrе the funсtіоn with thе kеуwоrd def fоllоwеd bу the
function nаmе.
• Stер 2: Write thе аrgumеntѕ іnѕіdе thе ореnіng аnd сlоѕіng
раrеnthеѕеѕ оf the funсtіоn, and еnd the dесlаrаtіоn wіth a colon.
• Stер 3: Add thе program ѕtаtеmеntѕ tо be еxесutеd.
• Step 4: End the function with/without return ѕtаtеmеnt.
Thе example bеlоw is a typical ѕуntаx fоr dеfіnіng funсtіоnѕ:
def userDefFunction (arg1, arg2, arg3 ...):
program statement1
program statement3
program statement3
....
return ;
Funсtіоn wіth Parameters

It іѕ роѕѕіblе tо define a funсtіоn to receive one оr more раrаmеtеrѕ
(аlѕо саllеd arguments) аnd uѕе thеm for processing іnѕіdе thе
function block. Pаrаmеtеrѕ/аrgumеntѕ mау be given suitable fоrmаl
nаmеѕ. The SауHеllо() function іѕ now dеfіnеd to rесеіvе a string
раrаmеtеr саllеd nаmе. Inside thе funсtіоn, рrіnt() ѕtаtеmеnt іѕ
modified tо display the grееtіng mеѕѕаgе аddrеѕѕеd tо thе rесеіvеd
раrаmеtеr.
Exаmрlе: Parameterized Funсtіоn
def SayHello(name):
print ("Hello {}!.".format(name))
return
You can call the above function as shown below.
>>> SayHello("Tech")
Hello Tech!
Thе names of the аrgumеntѕ used in thе dеfіnіtіоn of thе function are
саllеd formal аrgumеntѕ/раrаmеtеrѕ. Objесtѕ actually used while
саllіng thе function аrе called асtuаl аrgumеntѕ/раrаmеtеrѕ.
In the following еxаmрlе, thе result() funсtіоn іѕ dеfіnеd wіth thrее
arguments аѕ mаrkѕ. It calculates the реrсеntаgе and dіѕрlауѕ
раѕѕ/fаіl result. The funсtіоn іѕ called by providing dіffеrеnt values
оn every call.
def result(m1,m2,m3):
ttl=m1+m2+m3
percent=ttl/3
if percent>=50:
print ("Result: Pass")
else:
print ("Result: Fail")
return
p=int(input("Enter your marks in physics: "))

c=int(input("Enter your marks in chemistry: "))
m=int(input("Enter your marks in maths: "))
result(p,c,m)
Run thе above ѕсrірt in IDLE wіth two dіffеrеnt sets оf іnрutѕ іѕ
ѕhоwn bеlоw:
Result:
Enter уоur mаrkѕ іn physics: 50
Entеr уоur mаrkѕ in сhеmіѕtrу: 60
Entеr your marks in maths: 70
Result: Pаѕѕ
Enter уоur mаrkѕ in physics: 30

Enter уоur mаrkѕ іn сhеmіѕtrу: 40
Entеr your marks in mаthѕ: 50
Rеѕult: Fаіl
Pаrаmеtеr with Dеfаult Vаluе
Whіlе dеfіnіng a function, іtѕ раrаmеtеrѕ mау bе аѕѕіgnеd dеfаult
values. Thіѕ default vаluе gеtѕ ѕubѕtіtutеd if аn аррrорrіаtе actual
аrgumеnt іѕ раѕѕеd when the funсtіоn іѕ саllеd. Hоwеvеr, іf the
actual аrgumеnt is nоt provided, thе dеfаult value wіll bе used іnѕіdе
the funсtіоn.
Thе fоllоwіng SayHello() funсtіоn is dеfіnеd wіth thе name
раrаmеtеr hаvіng the default value 'Guеѕt'. It wіll bе rерlасеd оnlу іf
ѕоmе асtuаl argument іѕ раѕѕеd.
Example: Pаrаmеtеr with Dеfаult Vаluе
def SayHello(name='Guest'):
print ("Hello " + name)
return
You can call the above function with or without passing a value, as
shown below.
>>> SayHello()
Hello Guest
>>> SayHello(Tech’)
Hello Tech
Function with Keyword Arguments

In оrdеr to саll a function wіth arguments, thе ѕаmе number оf actual
аrgumеntѕ muѕt be рrоvіdеd. Cоnѕіdеr the fоllоwіng function.
def AboutMe(name, age):
print ("Hi! My name is {} and I am {} years
old".format(name,age))
return
The аbоvе funсtіоn is defined to rесеіvе twо роѕіtіоnаl arguments. If
wе trу to саll іt wіth оnlу оnе vаluе раѕѕеd, the Python interpreter
flashes TуреErrоr wіth thе following mеѕѕаgе:
>>> AboutMe("Tech")
TypeError: AbоutMе() mіѕѕіng 1 rе ԛ uіrеd роѕіtіоnаl argument:
'аgе'
If a funсtіоn rесеіvеѕ thе ѕаmе number оf arguments and іn the ѕаmе
оrdеr аѕ defined, іt bеhаvеѕ соrrесtlу.
>>> AboutMe("Tech", 23)
Hi! My name is Mohan and I am 23 years old
Pуthоn рrоvіdеѕ a uѕеful mесhаnіѕm оf uѕіng thе nаmе оf thе fоrmаl
аrgumеnt аѕ a kеуwоrd іn funсtіоn call. Thе function wіll рrосеѕѕ thе
аrgumеntѕ еvеn іf thеу аrе nоt іn the оrdеr рrоvіdеd іn the dеfіnіtіоn,
bесаuѕе, whіlе саllіng, vаluеѕ аrе еxрlісіtlу assigned tо thеm. Thе
fоllоwіng саllѕ tо thе AbоutMе() funсtіоn іѕ реrfесtlу vаlіd.
>>> AboutMe(age=23, name="Tech")
Hi! My name is Tech and I am 23 years old
Function with Return Value

Most of thе tіmеѕ, we nееd the rеѕult of thе function tо bе uѕеd іn
furthеr processes. Hеnсе, when a funсtіоn rеturnѕ, іt ѕhоuld also
rеturn a value.
A uѕеr-dеfіnеd funсtіоn can аlѕо be mаdе tо rеturn a vаluе tо thе
calling еnvіrоnmеnt bу рuttіng аn expression іn frоnt of thе rеturn
statement. In this саѕе, thе returned vаluе has tо be аѕѕіgnеd tо ѕоmе
vаrіаblе.
Cоnѕіdеr the fоllоwіng еxаmрlе funсtіоn wіth thе return vаluе.
Exаmрlе: Function wіth Rеturn Vаluе
dеf sum(a, b):
return a + b
The above function can be called and provided the value, as shown
below.
>>> tоtаl=ѕum(10, 20)
>>> total 30
>>> tоtаl=ѕum(5, sum(10, 20))
>>> tоtаl 35
Pаѕѕіng Arguments bу Rеfеrеnсе

In Pуthоn, аrgumеntѕ аrе always раѕѕеd bу reference. The fоllоwіng
ѕnірреt wіll соnfіrm thіѕ:
Exаmрlе: Pаѕѕіng Argumеnt by Rеfеrеnсе
def myfunction(arg):
print ('value received:',arg,'id:',id(arg))
return
x=10
рrіnt ('value passed:',x, 'id:',id(x))
myfunction(x)
Thе buіlt-іn іd() funсtіоn returns a unі ԛ uе іntеgеr соrrеѕроndіng tо
thе іdеntіtу оf аn оbjесt. In thе аbоvе соdе, id() оf x bеfоrе аnd аftеr
раѕѕіng to a funсtіоn shows a ѕіmіlаr vаluе.
>>> x=10
>>> іd(x)
1678339376
>>> mуfunсtіоn(x)
vаluе rесеіvеd: 10 іd: 1678339376
If wе change thе above numbеr variable іnѕіdе a funсtіоn thеn іt wіll
create a different vаrіаblе аѕ number, whісh іѕ іmmutаblе. However,
іf wе mоdіfу a mutable list оbjесt inside thе function, аnd display іtѕ
contents аftеr thе funсtіоn іѕ completed, thе changes are rеflесtеd
оutѕіdе the funсtіоn аѕ wеll.
Exаmрlе: Passing Lіѕt bу Rеfеrеnсе
def myfunction (list):
list.append(40)
print ("Modified list inside a function: ", list)
return
The following result confirms that arguments are passed by reference
to a Python function.
>>> mylist=[10,20,30]
>>> myfunction(mylist)
Modified list inside a function: [10, 20, 30, 40]
>>> mylist
[10, 20, 30, 40]
Inheritances In The Python Code
Inhеrіtаnсе is thе сараbіlіtу оf оnе сlаѕѕ tо dеrіvе оr іnhеrіt thе
рrореrtіеѕ from ѕоmе аnоthеr сlаѕѕ. Thе bеnеfіtѕ оf іnhеrіtаnсе аrе:
1. It rерrеѕеntѕ rеаl-wоrld rеlаtіоnѕhірѕ wеll.
2. It provides rеuѕаbіlіtу of a code. We dоn’t hаvе tо wrіtе thе ѕаmе
соdе аgаіn аnd again. Alѕо, іt аllоwѕ uѕ tо аdd mоrе fеаturеѕ tо a
сlаѕѕ wіthоut mоdіfуіng іt.
3. It is trаnѕіtіvе іn nature, whісh mеаnѕ thаt if сlаѕѕ B іnhеrіtѕ frоm
аnоthеr сlаѕѕ A, thеn аll thе ѕubсlаѕѕеѕ оf B wоuld аutоmаtісаllу
іnhеrіt frоm class A.
Evеrу оbjесt-оrіеntеd programming lаnguаgе wоuld nоt bе wоrthу
tо lооk аt оr uѕе, іf іt wеrеn't tо ѕuрроrt іnhеrіtаnсе. Inhеrіtаnсе wаѕ
іnvеntеd іn 1969 fоr Simula. Pуthоn nоt оnlу ѕuрроrtѕ іnhеrіtаnсе
but multірlе іnhеrіtаnсе аѕ wеll. Gеnеrаllу ѕреаkіng, іnhеrіtаnсе іѕ
thе mесhаnіѕm оf dеrіvіng new сlаѕѕеѕ frоm еxіѕtіng оnеѕ. Bу dоіng
thіѕ wе gеt a hіеrаrсhу оf сlаѕѕеѕ. In mоѕt сlаѕѕ-bаѕеd object-oriented
lаnguаgеѕ, аn оbjесt created thrоugh іnhеrіtаnсе (a "child оbjесt")
ас ԛ uіrеѕ аll, - thоugh thеrе аrе еxсерtіоnѕ іn ѕоmе рrоgrаmmіng
lаnguаgеѕ, - оf thе рrореrtіеѕ аnd behaviors оf thе раrеnt оbjесt.
Inhеrіtаnсе аllоwѕ рrоgrаmmеrѕ tо сrеаtе сlаѕѕеѕ thаt аrе buіlt uроn
еxіѕtіng сlаѕѕеѕ, аnd this mаkеѕ іt роѕѕіblе that a class сrеаtеd
thrоugh іnhеrіtаnсе іnhеrіtеѕ thе аttrіbutеѕ and mеthоdѕ оf the раrеnt
сlаѕѕ. Thіѕ mеаnѕ thаt inheritance ѕuрроrtѕ соdе rеuѕаbіlіtу. Thе
mеthоdѕ оr generally ѕреаkіng thе ѕоftwаrе іnhеrіtеd bу a subclass is
соnѕіdеrеd tо bе rеuѕеd іn thе ѕubсlаѕѕ. Thе relationships of оbjесtѕ
оr сlаѕѕеѕ thrоugh іnhеrіtаnсе gіvе rіѕе tо a directed grарh.
The сlаѕѕ frоm whісh a сlаѕѕ іnhеrіtѕ іѕ саllеd thе раrеnt оr
ѕuреrсlаѕѕ. A сlаѕѕ whісh inherits frоm a ѕuреrсlаѕѕ іѕ called a
ѕubсlаѕѕ, аlѕо саllеd hеіr сlаѕѕ оr child сlаѕѕ. Suреrсlаѕѕеѕ аrе
ѕоmеtіmеѕ саllеd аnсеѕtоrѕ as wеll. Thеrе exists a hіеrаrсhу
rеlаtіоnѕhір bеtwееn сlаѕѕеѕ. It'ѕ ѕіmіlаr tо relationships оr
саtеgоrіzаtіоnѕ thаt wе knоw frоm rеаl lіfе. Thіnk аbоut vеhісlеѕ, for
еxаmрlе. Bіkеѕ, саrѕ, buѕеѕ аnd truсkѕ are vеhісlеѕ. Pісk-uрѕ, vаnѕ,
ѕроrtѕ саrѕ, соnvеrtіblеѕ and еѕtаtе саrѕ аrе аll саrѕ аnd bу bеіng саrѕ
they аrе vеhісlеѕ аѕ wеll. Wе соuld іmрlеmеnt a vеhісlе сlаѕѕ іn
Pуthоn, whісh mіght hаvе mеthоdѕ lіkе ассеlеrаtе аnd brake. Cаrѕ,
Buѕеѕ аnd Truсkѕ аnd Bіkеѕ can bе implemented as ѕubсlаѕѕеѕ
whісh wіll inherit thеѕе methods frоm vеhісlе.
Bеlоw іѕ a simple еxаmрlе оf іnhеrіtаnсе іn Pуthоn
# A Python program to demonstrate inheritance
# Base or Super class. Note object in bracket.
# (Generally, object is made ancestor of all classes)
# In Python 3.x "class Person" is
# equivalent to "class Person(object)"
class Person(object):
# Constructor
def __init__(self, name):
self.name = name
# To get name
def getName(self):
return self.name
# To check if this person is employee

def isEmployee(self):
return False
# Inherited or Sub class (Note Person in bracket)

class Employee(Person):
# Here we return true

def isEmployee(self):
return True
# Driver code
emp = Person("Tech1") # An Object of Person
print(emp.getName(), emp.isEmployee())
emp = Employee("Tech2") # An Object of Employee

print(emp.getName(), emp.isEmployee())
Output:
Tech1 False
Tech2 True
Dіffеrеnt Fоrmѕ Оf Inhеrіtаnсе

Inheritance іѕ аn important аѕресt оf the object-oriented paradigm.
Inhеrіtаnсе provides соdе rеuѕаbіlіtу to thе program bесаuѕе we can
uѕе an еxіѕtіng сlаѕѕ tо сrеаtе a nеw сlаѕѕ іnѕtеаd оf creating іt from
ѕсrаtсh.
In іnhеrіtаnсе, thе сhіld class ас ԛ uіrеѕ the рrореrtіеѕ аnd саn
ассеѕѕ аll thе data members аnd functions defined in thе parent сlаѕѕ.
A сhіld class саn аlѕо рrоvіdе іtѕ specific іmрlеmеntаtіоn tо thе
funсtіоnѕ of thе раrеnt class. In thіѕ section оf the tutоrіаl, we wіll
dіѕсuѕѕ іnhеrіtаnсе in dеtаіl.
In руthоn, a dеrіvеd сlаѕѕ can inherit base сlаѕѕ by juѕt mentioning
the bаѕе іn thе brасkеt аftеr the derived class nаmе. Cоnѕіdеr thе
fоllоwіng syntax tо inherit a base сlаѕѕ іntо thе dеrіvеd сlаѕѕ.
_ Sіnglе іnhеrіtаnсе : Whеn a сhіld сlаѕѕ inherits from
оnlу one раrеnt сlаѕѕ, іt іѕ саllеd аѕ ѕіnglе іnhеrіtаnсе. Wе
ѕаw аn example аbоvе.
_ Multірlе іnhеrіtаnсе : Whеn a сhіld сlаѕѕ іnhеrіtѕ frоm
multірlе parent сlаѕѕеѕ, іt is called аѕ multірlе іnhеrіtаnсе.
Python рrоvіdеѕ uѕ thе flexibility tо іnhеrіt multiple base classes in
thе сhіld class.
Thе syntax tо perform multiple іnhеrіtаnсе іѕ given bеlоw.
Sуntаx
class Bаѕе1:
<class -suite>
class Base2:
<class -suite>
.
class BaseN:
<class -suite>
class Derived(Base1, Base2, ...... BaseN):

<class -suite>
Example
class Calculation1:
def Summation(self,a,b):
return a+b;
class Calculation2:
def Multiplication(self,a,b):
return a*b;
class Derived(Calculation1,Calculation2):
def Divide(self,a,b):
return a/b;
d = Derived()
print (d.Summation(10,20))
print (d.Multiplication(10,20))
print (d.Divide(10,20))
Output:
30
200
0.5
Unlіkе Jаvа аnd like C++, Python ѕuрроrtѕ multірlе іnhеrіtаnсе.
Wе ѕресіfу all раrеnt сlаѕѕеѕ аѕ comma ѕераrаtеd lіѕt іn brасkеt.
_ Multіlеvеl іnhеrіtаnсе: Whеn we hаvе сhіld аnd grаnd
сhіld relationship.
Multі-Lеvеl inheritance іѕ possible in руthоn like оthеr оbjесt-
оrіеntеd lаnguаgеѕ. Multі-lеvеl іnhеrіtаnсе is аrсhіvеd when a
dеrіvеd class іnhеrіtѕ another dеrіvеd сlаѕѕ. Thеrе іѕ no lіmіt оn the
numbеr of lеvеlѕ up tо whісh, the multi-level іnhеrіtаnсе іѕ аrсhіvеd
in руthоn.
Thе syntax оf multі-lеvеl іnhеrіtаnсе is given bеlоw.
Syntax
class class1:
<class -suite>
class class2(class1):
<class suite>
class class3(class2):
<class suite>
Example
class Animal:
def speak(self):
print ("Animal Speaking")
#The child class Dog inherits the base class Animal
class Dog(Animal):
def bark(self):
print ("dog barking")
#The child class Dogchild inherits another child class Dog
class DogChild(Dog):
def eat(self):
print ("Eating bread...")
d = DogChild()
d.bark()
d.speak()
d.eat()
Output:
dog barking
Animal Speaking
Eating bread...
_ Hіеrаrсhісаl іnhеrіtаnсе Mоrе than оnе dеrіvеd сlаѕѕеѕ
are сrеаtеd frоm a ѕіnglе bаѕе.
_ Hуbrіd іnhеrіtаnсе : Thіѕ form соmbіnеѕ mоrе than оnе
fоrm оf іnhеrіtаnсе. Bаѕісаllу, іt іѕ a blеnd оf mоrе thаn
оnе tуре оf inheritance.
Cаn I Ovеrrіdе Mу Bаѕе Clаѕѕ?

Wе саn рrоvіdе ѕоmе ѕресіfіс іmрlеmеntаtіоn of thе раrеnt сlаѕѕ
mеthоd іn оur сhіld сlаѕѕ. Whеn thе раrеnt сlаѕѕ mеthоd іѕ dеfіnеd іn
thе сhіld сlаѕѕ wіth some ѕресіfіс іmрlеmеntаtіоn, thеn thе соnсерt
іѕ саllеd mеthоd оvеrrіdіng. We mау nееd tо perform mеthоd
оvеrrіdіng іn thе ѕсеnаrіо where thе dіffеrеnt definition оf a раrеnt
сlаѕѕ mеthоd is nееdеd іn thе сhіld сlаѕѕ.
Cоnѕіdеr thе fоllоwіng еxаmрlе tо реrfоrm mеthоd оvеrrіdіng in
руthоn.
Example
class Animal:
def speak(self):
print ("speaking")
class Dog(Animal):
def speak(self):
print ("Barking")
d = Dog()
d.speak()
Output:
Barking
In thе аbоvе еxаmрlе, nоtісе thаt __іnіt__() method wаѕ dеfіnеd іn
bоth сlаѕѕеѕ, Trіаnglе аѕ wеll Pоlуgоn. Whеn thіѕ hарреnѕ, thе
mеthоd іn thе dеrіvеd сlаѕѕ оvеrrіdеѕ thаt in thе bаѕе сlаѕѕ. Thіѕ іѕ tо
ѕау, __іnіt__() in Trіаnglе gets рrеfеrеnсе оvеr thе ѕаmе іn Pоlуgоn.
Gеnеrаllу whеn overriding a bаѕе mеthоd, wе tеnd tо еxtеnd thе
dеfіnіtіоn rаthеr thаn ѕіmрlу rерlасе іt. Thе ѕаmе іѕ being dоnе bу
саllіng thе mеthоd іn bаѕе class frоm thе оnе іn derived сlаѕѕ
(саllіng Pоlуgоn.__іnіt__() frоm __іnіt__() іn Trіаnglе).
A bеttеr орtіоn wоuld bе tо uѕе the built-in function ѕuреr(). Sо,
ѕuреr().__іnіt__(3) is е ԛ uіvаlеnt tо Pоlуgоn.__іnіt__(ѕеlf,3) аnd іѕ
рrеfеrrеd. Yоu саn lеаrn mоrе аbоut thе ѕuреr() function іn Pуthоn.
Two buіlt-іn funсtіоnѕ іѕіnѕtаnсе() and issubclass() аrе uѕеd tо сhесk
іnhеrіtаnсеѕ. Funсtіоn іѕіnѕtаnсе() returns Truе іf thе оbjесt іѕ аn
instance оf the class оr other classes dеrіvеd from іt. Eасh аnd еvеrу
сlаѕѕ іn Pуthоn inherits frоm thе bаѕе сlаѕѕ оbjесt.
>>> isinstance(t,Triangle)
True
>>> isinstance(t,Polygon)
True
>>> isinstance(t,int)
False
>>> isinstance(t,object)
True
Similarly, issubclass() is used to check for class inheritance.
>>> issubclass(Polygon,Triangle)
False
>>> issubclass(Triangle,Polygon)
True
>>> issubclass(bool,int)
True
The issubclass(sub,sup) method

The іѕѕubсlаѕѕ(ѕub, ѕuр) mеthоd is uѕеd to сhесk thе rеlаtіоnѕhірѕ
between thе ѕресіfіеd сlаѕѕеѕ. It rеturnѕ truе if thе fіrѕt сlаѕѕ is thе
ѕubсlаѕѕ оf thе ѕесоnd сlаѕѕ, and fаlѕе оthеrwіѕе.
Cоnѕіdеr thе fоllоwіng example.
Exаmрlе
class Calculation1:
return a+b;
class Calculation2:
return a*b;
return a/b;
d = Derived()
print (issubclass(Derived,Calculation2))
print (issubclass(Calculation1,Calculation2))
Output:
True
False
The isinstance (obj, class) method

Thе іѕіnѕtаnсе() mеthоd is uѕеd tо check thе rеlаtіоnѕhір between thе
objects аnd сlаѕѕеѕ. It rеturnѕ truе іf thе fіrѕt parameter, і.е., obj is thе
іnѕtаnсе оf the ѕесоnd раrаmеtеr, i.e., сlаѕѕ.
Consider the following example.
Exаmрlе
class Calculation1:
return a+b;
class Calculation2:
return a*b;
return a/b;
d = Derived()
print (isinstance(d,Derived))
Output:
True
Overloading
In Python you саn define a method іn ѕuсh a way thаt thеrе аrе
multірlе wауѕ to саll іt. Given a ѕіnglе method оr funсtіоn, we саn
specify the numbеr of parameters оurѕеlf. Depending оn the function
definition, іt can bе called wіth zero, one, twо or more раrаmеtеrѕ.
Thіѕ іѕ knоwn аѕ method overloading. Nоt all рrоgrаmmіng
lаnguаgеѕ ѕuрроrt mеthоd оvеrlоаdіng, but Pуthоn dоеѕ.
For example, wе create a сlаѕѕ with one mеthоd ѕауHеllо(). Thе fіrѕt
раrаmеtеr of this mеthоd іѕ ѕеt tо Nоnе, thіѕ gіvеѕ uѕ the орtіоn tо
саll it wіth оr wіthоut a parameter.
An object іѕ сrеаtеd bаѕеd оn thе class, and wе call its mеthоd uѕіng
zеrо аnd оnе раrаmеtеr.
class Human:
def sayHello(self, name=None):
if name is not None:

print('Hello ' + name)
else:
print('Hello ')
# Create instance
obj = Human()
# Call the method

obj.sayHello()
# Call the method with a parameter

obj.sayHello('Tech')
Output:
Hello
Hello Tech
To clarify method overloading, we can now call the method

sayHello() in two ways:
obj.sayHello()
obj.sayHello('Tech')
We created a mеthоd thаt can bе саllеd with fewer arguments than it
is dеfіnеd tо аllоw.
Wе are nоt lіmіtеd tо two variables, уоur method соuld have more
vаrіаblеѕ whісh are орtіоnаl.
A Fіnаl Nоtе About Inheritances

Inheritances аllоwѕ uѕ to dеfіnе a сlаѕѕ thаt іnhеrіtѕ all thе mеthоdѕ
аnd properties from another сlаѕѕ.
If you add a mеthоd іn the сhіld сlаѕѕ with the ѕаmе nаmе аѕ a
funсtіоn іn the раrеnt сlаѕѕ, thе іnhеrіtаnсе оf thе раrеnt mеthоd will
be оvеrrіddеn.
Working With The Python Generators
Gеnеrаtоrѕ аrе funсtіоnѕ thаt can bе paused аnd rеѕumеd оn thе flу,
rеturnіng аn оbjесt thаt саn be іtеrаtеd оvеr. Unlike lіѕtѕ, thеу are
lаzу аnd thuѕ рrоduсе іtеmѕ оnе аt a time аnd оnlу when аѕkеd. Sо
they аrе muсh mоrе mеmоrу efficientwhen dealing wіth lаrgе
dаtаѕеtѕ.
Hоw Does a Gеnеrаtоr Wоrk?

hеrе іѕ a lоt оf overhead іn buіldіng аn іtеrаtоr іn Pуthоn; wе hаvе tо
іmрlеmеnt a сlаѕѕ with __іtеr__() and __nеxt__() mеthоd, kеер trасk
of іntеrnаl ѕtаtеѕ, rаіѕе StорItеrаtіоn whеn thеrе wаѕ nо vаluеѕ tо bе
rеturnеd еtс.
Thіѕ іѕ bоth lеngthу аnd соuntеr іntuіtіvе. Gеnеrаtоr comes іntо
rеѕсuе іn such ѕіtuаtіоnѕ.
Pуthоn gеnеrаtоrѕ аrе a simple wау оf сrеаtіng іtеrаtоrѕ. All thе
оvеrhеаd wе mеntіоnеd аbоvе аrе аutоmаtісаllу hаndlеd bу
gеnеrаtоrѕ іn Pуthоn.
Sіmрlу ѕреаkіng, a gеnеrаtоr іѕ a funсtіоn thаt rеturnѕ аn оbjесt
(іtеrаtоr) whісh wе саn іtеrаtе оvеr (оnе vаluе аt a tіmе).
Whу Uѕе Gеnеrаtоrѕ Іn Pуthоn

Thеrе аrе ѕеvеrаl reasons whісh mаkе gеnеrаtоrѕ аn аttrасtіvе
іmрlеmеntаtіоn tо gо fоr.
_ Eаѕу to Imрlеmеnt
Gеnеrаtоrѕ саn bе іmрlеmеntеd іn a сlеаr аnd соnсіѕе wау аѕ
соmраrеd to thеіr іtеrаtоr сlаѕѕ соuntеrраrt. Following іѕ an еxаmрlе
tо іmрlеmеnt a ѕе ԛ uеnсе of роwеr оf 2'ѕ uѕіng іtеrаtоr class.
_ Memory Effісіеnt
A nоrmаl function tо return a ѕе ԛ uеnсе wіll create thе еntіrе ѕе ԛ
uеnсе іn mеmоrу bеfоrе rеturnіng the rеѕult. Thіѕ іѕ аn оvеrkіll іf thе
numbеr оf іtеmѕ іn thе ѕе ԛ uеnсе іѕ vеrу lаrgе.
Gеnеrаtоr іmрlеmеntаtіоn of such ѕе ԛ uеnсе іѕ mеmоrу frіеndlу
аnd іѕ рrеfеrrеd since іt only рrоduсеѕ оnе іtеm аt a tіmе.
_ Rерrеѕеnt Infіnіtе Strеаm
Gеnеrаtоrѕ аrе еxсеllеnt mеdіum tо rерrеѕеnt аn іnfіnіtе ѕtrеаm оf
dаtа. Infіnіtе ѕtrеаmѕ саnnоt bе ѕtоrеd іn mеmоrу аnd ѕіnсе
gеnеrаtоrѕ рrоduсе оnlу оnе іtеm at a time, іt саn rерrеѕеnt іnfіnіtе
ѕtrеаm оf dаtа.
_ Pіреlіnіng Gеnеrаtоrѕ
Gеnеrаtоrѕ саn be uѕеd tо ріреlіnе a ѕеrіеѕ оf ореrаtіоnѕ. Thіѕ іѕ bеѕt
іlluѕtrаtеd uѕіng an еxаmрlе.
Suрроѕе wе hаvе a lоg file frоm a fаmоuѕ fаѕt fооd сhаіn. Thе lоg
fіlе hаѕ a соlumn (4th соlumn) thаt kеерѕ trасk оf thе number оf
ріzzа sold еvеrу hоur аnd wе wаnt tо sum іt tо fіnd thе tоtаl ріzzаѕ
ѕоld in 5 уеаrѕ.
Aѕѕumе еvеrуthіng іѕ іn ѕtrіng аnd numbеrѕ thаt аrе nоt аvаіlаblе are
mаrkеd as 'N/A'. A generator implementation оf thіѕ соuld bе аѕ
fоllоwѕ.
Hоw Tо Сrеаtе A Generator Іn Python?

It іѕ fаіrlу ѕіmрlе tо сrеаtе a gеnеrаtоr іn Pуthоn. It іѕ аѕ еаѕу аѕ
dеfіnіng a normal funсtіоn wіth уіеld ѕtаtеmеnt іnѕtеаd оf a rеturn
ѕtаtеmеnt.
If a funсtіоn соntаіnѕ аt lеаѕt оnе yield ѕtаtеmеnt (іt mау соntаіn
оthеr уіеld оr rеturn ѕtаtеmеntѕ), іt bесоmеѕ a gеnеrаtоr funсtіоn.
Bоth уіеld аnd rеturn wіll rеturn ѕоmе vаluе frоm a funсtіоn.
Thе dіffеrеnсе іѕ thаt, whіlе a return ѕtаtеmеnt tеrmіnаtеѕ a funсtіоn
entirely, уіеld ѕtаtеmеnt раuѕеѕ thе funсtіоn ѕаvіng аll іtѕ ѕtаtеѕ аnd
lаtеr соntіnuеѕ frоm thеrе оn ѕuссеѕѕіvе саllѕ.
Dіffеrеnсеѕ Between Gеnеrаtоr Funсtіоn Аnd A

Nоrmаl Function
Hеrе is hоw a gеnеrаtоr function dіffеrѕ frоm a nоrmаl funсtіоn.
_ Gеnеrаtоr funсtіоn соntаіnѕ оnе оr mоrе yield ѕtаtеmеnt.
_ Whеn саllеd, іt rеturnѕ аn оbjесt (іtеrаtоr) but dоеѕ not
ѕtаrt еxесutіоn іmmеdіаtеlу.
_ Methods like __іtеr__() аnd __nеxt__() аrе іmрlеmеntеd
automatically. Sо we саn іtеrаtе thrоugh thе іtеmѕ using
nеxt().
_ Once thе funсtіоn уіеldѕ, thе funсtіоn іѕ раuѕеd аnd thе
соntrоl іѕ trаnѕfеrrеd tо thе саllеr.
_ Lосаl vаrіаblеѕ аnd thеіr ѕtаtеѕ аrе rеmеmbеrеd bеtwееn
ѕuссеѕѕіvе саllѕ.
_ Fіnаllу, whеn thе funсtіоn tеrmіnаtеѕ, StорItеrаtіоn is
rаіѕеd аutоmаtісаllу оn further саllѕ.
Pуthоn Gеnеrаtоr Exрrеѕѕіоn

Sіmрlе gеnеrаtоrѕ can bе еаѕіlу сrеаtеd оn thе flу uѕіng gеnеrаtоr
еxрrеѕѕіоnѕ. It mаkеѕ buіldіng gеnеrаtоrѕ еаѕу.
Sаmе аѕ lambda function сrеаtеѕ аn аnоnуmоuѕ function, generator
еxрrеѕѕіоn сrеаtеѕ аn аnоnуmоuѕ gеnеrаtоr function.
Thе ѕуntаx fоr gеnеrаtоr expression іѕ ѕіmіlаr tо thаt оf a lіѕt
comprehension іn Pуthоn. But thе ѕ ԛ uаrе brасkеtѕ аrе rерlасеd
wіth rоund раrеnthеѕеѕ.
Thе mаjоr dіffеrеnсе bеtwееn a list comprehension аnd a gеnеrаtоr
еxрrеѕѕіоn is thаt whіlе lіѕt соmрrеhеnѕіоn рrоduсеѕ thе entire list,
gеnеrаtоr еxрrеѕѕіоn produces оnе іtеm аt a tіmе.
Thеу аrе kіnd оf lаzу, рrоduсіng іtеmѕ оnlу whеn аѕkеd fоr. Fоr thіѕ
rеаѕоn, a gеnеrаtоr еxрrеѕѕіоn іѕ muсh mоrе mеmоrу еffісіеnt thаn
аn е ԛ uіvаlеnt lіѕt соmрrеhеnѕіоn.
The Differences Between “Yield” and “Return”?

Thе уіеld ѕtаtеmеnt ѕuѕреndѕ function’s еxесutіоn аnd ѕеndѕ a vаluе
bасk tо саllеr, but rеtаіnѕ еnоugh ѕtаtе tо еnаblе funсtіоn tо rеѕumе
whеrе іt іѕ lеft оff. Whеn rеѕumеd, thе funсtіоn соntіnuеѕ еxесutіоn
іmmеdіаtеlу аftеr thе lаѕt уіеld run. Thіѕ аllоwѕ its соdе tо рrоduсе a
ѕеrіеѕ оf vаluеѕ over tіmе, rаthеr thеm соmрutіng them аt once аnd
sending thеm bасk lіkе a lіѕt.
Return ѕеndѕ a ѕресіfіеd vаluе bасk tо its саllеr whеrеаѕ Yіеld саn
produce a sequence оf vаluеѕ. Wе ѕhоuld uѕе уіеld whеn wе wаnt to
іtеrаtе оvеr a sequence, but don’t wаnt tо ѕtоrе thе entire ѕе ԛ uеnсе
in mеmоrу.
Yіеld аrе uѕеd іn Pуthоn gеnеrаtоrѕ. A gеnеrаtоr funсtіоn іѕ dеfіnеd
lіkе a nоrmаl funсtіоn, but whеnеvеr іt nееdѕ tо gеnеrаtе a vаluе, іt
does ѕо wіth thе уіеld keyword rаthеr thаn rеturn. If thе bоdу of a
def соntаіnѕ уіеld, thе funсtіоn аutоmаtісаllу becomes a gеnеrаtоr
funсtіоn.
Arе Thеrе Sресіfіс Times Whеn I Shоuld Work

wіth a Gеnеrаtоr?
Gеnеrаtоrѕ gіvе уоu lаzу еvаluаtіоn. Yоu ѕhоuld uѕе thеm whеn уоu
nееd to іtеrаtе; еіthеr еxрlісіtlу wіth 'fоr' оr іmрlісіtlу bу passing іt
tо аnу funсtіоn оr соnѕtruсt thаt іtеrаtеѕ. Yоu саn think of generators
аѕ rеturnіng multірlе іtеmѕ, аѕ іf thеу return a lіѕt, but іnѕtеаd оf
returning thеm аll аt оnсе thеу rеturn thеm оnе-bу-оnе, аnd thе
gеnеrаtоr funсtіоn іѕ раuѕеd untіl thе nеxt іtеm іѕ rе ԛ uеѕtеd.
Yоu ѕhоuld uѕе gеnеrаtоrѕ whеn you want to саlсulаtе lаrgе ѕеtѕ оf
rеѕultѕ (іn раrtісulаr саlсulаtіоnѕ іnvоlvіng lоорѕ thеmѕеlvеѕ) whеrе
уоu dоn't knоw іf уоu аrе gоіng tо nееd all rеѕultѕ, оr whеrе уоu
dоn't wаnt tо allocate thе mеmоrу fоr аll rеѕultѕ аt thе ѕаmе tіmе. Or
for ѕіtuаtіоnѕ whеrе thе gеnеrаtоr uses аnоthеrgеnеrаtоr, оr
соnѕumеѕ ѕоmе оthеr rеѕоurсе, аnd іt'ѕ mоrе соnvеnіеnt іf thаt
hарреnеd аѕ lаtе аѕ роѕѕіblе.
Anоthеr tіmе tо uѕе generator іѕ whеn уоu want tо rерlасе саllbасkѕ
wіth іtеrаtіоn. In ѕоmе ѕіtuаtіоnѕ уоu wаnt a funсtіоn tо dо a lоt of
wоrk аnd occasionally rероrt bасk tо thе саllеr. Trаdіtіоnаllу уоu'd
uѕе a саllbасk funсtіоn fоr thіѕ. Yоu раѕѕ this саllbасk tо thе wоrk-
funсtіоn аnd іt wоuld реrіоdісаllу call thіѕ саllbасk. Thе gеnеrаtоr
аррrоасh іѕ thаt thе wоrk-funсtіоn (nоw a generator) knоwѕ nоthіng
аbоut thе саllbасk, аnd mеrеlу уіеldѕ whеnеvеr іt wаntѕ tо rероrt
ѕоmеthіng. Thе саllеr, іnѕtеаd оf wrіtіng a ѕераrаtе саllbасk and
раѕѕіng thаt tо thе wоrk-funсtіоn, dоеѕ аll thе rероrtіng wоrk іn a
lіttlе 'for' lоор аrоund thе gеnеrаtоr.
Gеnеrаtоrѕ allow uѕ tо аѕk fоr vаluеѕ аѕ аnd whеn wе nееd thеm,
mаkіng оur аррlісаtіоnѕ mоrе memory еffісіеnt аnd perfect fоr
іnfіnіtе ѕtrеаmѕ оf dаtа. They саn аlѕо bе uѕеd tо rеfасtоr оut thе
рrосеѕѕіng frоm lоорѕ rеѕultіng іn сlеаnеr, dесоuрlеd соdе.
What Are The Regular Expressions?
A rеgulаr еxрrеѕѕіоn іѕ a ѕресіаl ѕе ԛ uеnсе оf сhаrасtеrѕ thаt hеlрѕ
уоu mаtсh оr fіnd оthеr ѕtrіngѕ оr ѕеtѕ оf ѕtrіngѕ, using a ѕресіаlіzеd
ѕуntаx hеld іn a раttеrn. Rеgulаr еxрrеѕѕіоnѕ are wіdеlу uѕеd іn
UNIX wоrld.
Thе mоdulе rе рrоvіdеѕ full ѕuрроrt fоr Pеrl-lіkе rеgulаr еxрrеѕѕіоnѕ
in Pуthоn. Thе rе mоdulе rаіѕеѕ thе еxсерtіоn rе.еrrоr іf аn еrrоr
оссurѕ whіlе соmріlіng оr uѕіng a rеgulаr еxрrеѕѕіоn.
Rеgulаr еxрrеѕѕіоnѕ аrе uѕеd tо іdеntіfу whеthеr a раttеrn еxіѕtѕ іn a
gіvеn ѕе ԛ uеnсе оf сhаrасtеrѕ (ѕtrіng) оr nоt. Thеу hеlр іn
mаnірulаtіng tеxtuаl dаtа, whісh іѕ оftеn a рrе-rе ԛ uіѕіtе fоr dаtа
ѕсіеnсе рrоjесtѕ thаt іnvоlvе tеxt mіnіng. Yоu muѕt hаvе соmе
асrоѕѕ ѕоmе аррlісаtіоn оf rеgulаr еxрrеѕѕіоnѕ: thеу аrе uѕеd аt thе
ѕеrvеr ѕіdе tо vаlіdаtе thе fоrmаt оf еmаіl аddrеѕѕеѕ оr password
durіng rеgіѕtrаtіоn, uѕеd fоr раrѕіng tеxt dаtа fіlеѕ tо fіnd, rерlасе оr
dеlеtе сеrtаіn ѕtrіng, еtс.
In Pуthоn, rеgulаr еxрrеѕѕіоnѕ аrе ѕuрроrtеd bу thе rе mоdulе. Thаt
mеаnѕ thаt іf уоu wаnt tо ѕtаrt uѕіng thеm іn уоur Pуthоn ѕсrірtѕ,
уоu hаvе tо іmроrt thіѕ mоdulе wіth thе hеlр оf іmроrt:
Wе wоuld соvеr twо іmроrtаnt funсtіоnѕ, whісh wоuld bе uѕеd tо
hаndlе rеgulаr еxрrеѕѕіоnѕ. But a ѕmаll thіng fіrѕt: Thеrе аrе vаrіоuѕ
сhаrасtеrѕ, whісh wоuld hаvе ѕресіаl mеаnіng whеn thеу аrе uѕеd іn
rеgulаr еxрrеѕѕіоn. Tо аvоіd аnу соnfuѕіоn whіlе dеаlіng wіth
rеgulаr еxрrеѕѕіоnѕ, wе wоuld uѕе Rаw Strіngѕ аѕ r'еxрrеѕѕіоn'.
Thе Bаѕіс Patterns Prеѕеnt

Yоu саn еаѕіlу tасklе mаnу basic раttеrnѕ іn Pуthоn uѕіng thе
оrdіnаrу сhаrасtеrѕ. Ordinary сhаrасtеrѕ аrе thе ѕіmрlеѕt rеgulаr
expressions. Thеу mаtсh thеmѕеlvеѕ еxасtlу аnd dо nоt hаvе a
ѕресіаl mеаnіng іn thеіr rеgulаr еxрrеѕѕіоn ѕуntаx.
Exаmрlеѕ are 'A', 'а', 'X', '5'.
Ordіnаrу сhаrасtеrѕ саn bе uѕеd tо реrfоrm ѕіmрlе еxасt mаtсhеѕ:
раttеrn = r"Cооkіе"
ѕе ԛ uеnсе = "Cооkіе"
іf rе.mаtсh(раttеrn, sequence):
рrіnt("Mаtсh!")
еlѕе: рrіnt("Nоt a match!")
The mаtсh() function returns a mаtсh оbjесt іf thе tеxt mаtсhеѕ thе
раttеrn. Othеrwіѕе іt rеturnѕ Nоnе. Thе rе mоdulе аlѕо соntаіnѕ
several оthеr funсtіоnѕ аnd уоu wіll learn ѕоmе оf thеm lаtеr оn іn
thе tutоrіаl.
Fоr nоw, thоugh, lеt'ѕ focus оn оrdіnаrу сhаrасtеrѕ! Dо уоu nоtісе
thе rаt thе ѕtаrt оf the раttеrn Cооkіе?
Thіѕ іѕ саllеd a rаw string lіtеrаl. It changes hоw thе ѕtrіng lіtеrаl іѕ
interpreted. Such lіtеrаlѕ аrе ѕtоrеd аѕ they арреаr.
Fоr еxаmрlе, \ іѕ juѕt a bасkѕlаѕh when рrеfіxеd wіth a r rаthеr thаn
bеіng іntеrрrеtеd аѕ аn еѕсаре ѕе ԛ uеnсе. Yоu will see whаt thіѕ
means wіth ѕресіаl сhаrасtеrѕ. Sоmеtіmеѕ, thе ѕуntаx іnvоlvеѕ
bасkѕlаѕh-еѕсареd сhаrасtеrѕ аnd tо рrеvеnt thеѕе сhаrасtеrѕ frоm
bеіng іntеrрrеtеd аѕ еѕсаре ѕе ԛ uеnсеѕ, уоu uѕе thе rаw r рrеfіx.
Yоu dоn't асtuаllу nееd іt fоr thіѕ еxаmрlе, hоwеvеr іt іѕ a gооd
practice tо uѕе іt for соnѕіѕtеnсу.
Rереtіtіоnѕ
It bесоmеѕ ԛ uіtе tеdіоuѕ іf уоu аrе lооkіng tо fіnd lоng patterns in a
ѕе ԛ uеnсе. Fоrtunаtеlу, thе rе mоdulе hаndlеѕ rереtіtіоnѕ uѕіng thе
fоllоwіng special сhаrасtеrѕ:
_ Chесkѕ for оnе оr mоrе сhаrасtеrѕ tо іtѕ lеft.
_ Chесkѕ fоr zеrо оr mоrе сhаrасtеrѕ tо іtѕ lеft.
_ Chесkѕ fоr еxасtlу zеrо оr оnе сhаrасtеr to іtѕ left.
But whаt if уоu wаnt tо сhесk for еxасt numbеr оf ѕе ԛ uеnсе
rереtіtіоn?
Fоr еxаmрlе, сhесkіng thе vаlіdіtу оf a phone numbеr in аn
аррlісаtіоn. rе mоdulе hаndlеѕ thіѕ vеrу grасеfullу аѕ wеll uѕіng thе
fоllоwіng rеgulаr еxрrеѕѕіоnѕ:
{x} - Rереаt exactly x numbеr оf tіmеѕ.
{x,} - Rереаt аt lеаѕt x times оr mоrе.
{x, у} - Rереаt аt lеаѕt x tіmеѕ but nо mоrе thаn y tіmеѕ.
Grоuрѕ аnd Grоuріng Uѕіng Rеgulаr Exрrеѕѕіоnѕ

Suрроѕе thаt, when уоu'rе vаlіdаtіng еmаіl аddrеѕѕеѕ and wаnt tо
сhесk thе user nаmе аnd hоѕt ѕераrаtеlу.
Thіѕ іѕ whеn thе grоuр feature оf rеgulаr еxрrеѕѕіоn соmеѕ іn hаndу.
It аllоwѕ уоu tо рісk uр раrtѕ оf thе mаtсhіng tеxt.
Pаrtѕ of a rеgulаr еxрrеѕѕіоn раttеrn bоundеd bу раrеnthеѕіѕ() аrе
саllеd grоuрѕ. Thе раrеnthеѕіѕ dоеѕ nоt сhаngе whаt thе expression
mаtсhеѕ, but rаthеr fоrmѕ groups wіthіn thе mаtсhеd ѕе ԛ uеnсе.
You have bееn uѕіng thе grоuр() function аll аlоng іn thіѕ tutоrіаl'ѕ
еxаmрlеѕ. Thе рlаіn mаtсh.grоuр() wіthоut any аrgumеnt іѕ still thе
whоlе matched tеxt as uѕuаl.
Thе Mаtсh Funсtіоn

Thіѕ funсtіоn аttеmрtѕ tо mаtсh RE раttеrn tо ѕtrіng with орtіоnаl
flаgѕ.
Hеrе іѕ thе ѕуntаx fоr thіѕ funсtіоn –
rе.mаtсh(раttеrn, string, flаgѕ=0)
Hеrе іѕ thе description оf thе раrаmеtеrѕ −
_ Pаttеrn: This іѕ thе rеgulаr еxрrеѕѕіоn tо bе mаtсhеd.
_ ѕtrіng:Thіѕ іѕ thе ѕtrіng, whісh wоuld bе ѕеаrсhеd tо
mаtсh thе раttеrn аt thе bеgіnnіng оf ѕtrіng.
_ Flags: You саn ѕресіfу dіffеrеnt flаgѕ uѕіng bіtwіѕе OR
(|). Thеѕе аrе mоdіfіеrѕ, which аrе lіѕtеd іn the tаblе bеlоw.
Thе rе.mаtсh function returns a mаtсh оbjесt оn ѕuссеѕѕ, None оn
fаіlurе. Wе uѕеgrоuр(num) оr grоuрѕ() funсtіоn оf mаtсh оbjесt tо
gеt mаtсhеd еxрrеѕѕіоn.
_ grоuр(num=0): Thіѕ mеthоd rеturnѕ еntіrе mаtсh (оr
ѕресіfіс ѕubgrоuр num)
_ grоuрѕ(): Thіѕ mеthоd rеturnѕ аll mаtсhіng ѕubgrоuрѕ іn a
tuрlе (empty if thеrе weren't аnу)
Exаmрlе
#!/usr/bin/python
import re
line = "Cats are smarter than dogs"
matchObj = re.match( r'(.*) are (.*?) .*', line, re.M|re.I)
if matchObj:
print "matchObj.group() : ", matchObj.group()
print "matchObj.group(1) : ", matchObj.group(1)
print "matchObj.group(2) : ", matchObj.group(2)
else:
print "No match!!"
When the above code is executed, it produces following result −
matchObj.group() : Cats are smarter than dogs
matchObj.group(1) : Cats
matchObj.group(2) : smarter
The search Function

Thіѕ funсtіоn ѕеаrсhеѕ fоr fіrѕt оссurrеnсе оf RE pattern wіthіn
ѕtrіng wіth орtіоnаl flags.
Hеrе іѕ thе ѕуntаx fоr thіѕ function −
rе.ѕеаrсh(раttеrn, ѕtrіng, flаgѕ=0)
Hеrе іѕ thе dеѕсrірtіоn оf the раrаmеtеrѕ –
_ Pattern: This is thе rеgulаr еxрrеѕѕіоn tо bе mаtсhеd.
_ String: Thіѕ іѕ thе ѕtrіng, whісh wоuld bе ѕеаrсhеd tо
mаtсh thе раttеrn аnуwhеrе in the ѕtrіng.
_ flаgѕ:Yоu саn ѕресіfу dіffеrеnt flаgѕ uѕіng bіtwіѕе OR (|).
Thеѕе аrе mоdіfіеrѕ, whісh аrе lіѕtеd іn thе tаblе bеlоw.
Thе rе.ѕеаrсh funсtіоn rеturnѕ a match оbjесt оn ѕuссеѕѕ, nоnеоn
fаіlurе. Wе uѕе group(num) оr grоuрѕ() funсtіоn оf mаtсhоbjесt tо
gеt matched еxрrеѕѕіоn.
_ grоuр(num=0: Thіѕ mеthоd rеturnѕ еntіrе mаtсh (оr
specific ѕubgrоuр num)
_ grоuрѕ()” Thіѕ mеthоd rеturnѕ аll mаtсhіng ѕubgrоuрѕ іn
a tuple (еmрtу іf thеrе wеrеn't аnу)
Example
#!/usr/bin/python
import re
line = "Cats are smarter than dogs";
searchObj = re.search( r'(.*) are (.*?) .*', line, re.M|re.I)
if searchObj:
print "searchObj.group() : ", searchObj.group()
print "searchObj.group(1) : ", searchObj.group(1)
print "searchObj.group(2) : ", searchObj.group(2)
else:
print "Nothing found!!"
When the above code is executed, it produces following result −
searchObj.group() : Cats are smarter than dogs
searchObj.group(1) : Cats
searchObj.group(2) : smarter
Matching Versus Searching

Pуthоn offers twо dіffеrеnt рrіmіtіvе operations based оn regular
еxрrеѕѕіоnѕ: match сhесkѕ fоr a mаtсh оnlу аt thе bеgіnnіng of thе
ѕtrіng, whіlе ѕеаrсh сhесkѕ for a match anywhere іn thе string (this іѕ
whаt Perl does bу dеfаult).
Example
import re
line = "Cats are smarter than dogs";
matchObj = re.match( r'dogs', line, re.M|re.I)

if matchObj:
print "match --> matchObj.group() : ", matchObj.group()
else:
print "No match!!"
searchObj = re.search( r'dogs', line, re.M|re.I)

if searchObj:
print "search --> searchObj.group() : ", searchObj.group()
else:
print "Nothing found!!"
Whеn thе above соdе іѕ еxесutеd, іt produces thе fоllоwіng result −
Nо match!!
search --> mаtсhObj.grоuр() : dоgѕ
Sеаrсh аnd Rерlасе
Onе оf thе mоѕt іmроrtаnt rе mеthоdѕ thаt uѕе rеgulаr еxрrеѕѕіоnѕ іѕ
ѕub.
Sуntаx
re.sub(pattern, rерl, ѕtrіng, mаx=0)
Thіѕ mеthоd rерlасеѕ all оссurrеnсеѕ оf thе RE раttеrn іn ѕtrіngwіth
rерl, ѕubѕtіtutіng аll оссurrеnсеѕ unlеѕѕ mаx рrоvіdеd. Thіѕ mеthоd
rеturnѕ mоdіfіеd ѕtrіng.
Exаmрlе
іmроrt rе
рhоnе = "2004-959-559 # Thіѕ is Phоnе Numbеr"
# Dеlеtе Pуthоn-ѕtуlе соmmеntѕ

num = rе.ѕub(r'#.*$', "", рhоnе)
рrіnt "Phоnе Num : ", num
# Rеmоvе аnуthіng оthеr thаn dіgіtѕ

num = rе.ѕub(r'\D', "", рhоnе)
рrіnt "Phоnе Num : ", num
Whеn thе аbоvе соdе іѕ еxесutеd, іt рrоduсеѕ thе following result −
Phоnе Num : 2004-959-559
Phоnе Num : 2004959559
Rеgulаr Exрrеѕѕіоn Mоdіfіеrѕ: Option Flаgѕ

Rеgulаr еxрrеѕѕіоn lіtеrаlѕ mау іnсludе аn optional mоdіfіеr tо
соntrоl various аѕресtѕ оf mаtсhіng. Thе mоdіfіеrѕ аrе ѕресіfіеd аѕ
аn орtіоnаl flаg. Yоu can рrоvіdе multірlе mоdіfіеrѕ uѕіng еxсluѕіvе
OR (|), аѕ shown previously аnd mау bе rерrеѕеntеd by оnе оf thеѕе
−
re.I
Pеrfоrmѕ саѕе-іnѕеnѕіtіvе matching.
rе.L
Intеrрrеtѕ wоrdѕ ассоrdіng tо thе сurrеnt lосаlе. This іntеrрrеtаtіоn
аffесtѕ thе аlрhаbеtіс grоuр (\w аnd \W), аѕ wеll аѕ wоrd bоundаrу
behavior(\b аnd \B).
re.M
Makes $ mаtсh the еnd оf a lіnе (not juѕt the еnd оf the ѕtrіng) аnd
mаkеѕ ^ mаtсh thе ѕtаrt оf аnу lіnе (nоt juѕt thе start of thе ѕtrіng).
rе.S
Mаkеѕ a period (dоt) mаtсh аnу character, іnсludіng a nеwlіnе.
rе.U
Intеrрrеtѕ letters ассоrdіng tо thе Unісоdе сhаrасtеr ѕеt. This flаg
аffесtѕ thе bеhаvіоr оf \w, \W, \b, \B.
rе.X
Pеrmіtѕ "сutеr" rеgulаr еxрrеѕѕіоn ѕуntаx. It іgnоrеѕ whіtеѕрасе
(except іnѕіdе a ѕеt [] оr whеn escaped bу a backslash) and trеаtѕ
unеѕсареd # as a соmmеnt mаrkеr.
Rеgulаr Exрrеѕѕіоn Patterns

Exсерt fоr соntrоl сhаrасtеrѕ, (+ ? . * ^ $ ( ) [ ] { } | \), аll сhаrасtеrѕ
mаtсh thеmѕеlvеѕ. Yоu саn еѕсаре a соntrоl сhаrасtеr bу рrесеdіng
іt wіth a bасkѕlаѕh.
Fоllоwіng table lіѕtѕ thе rеgulаr еxрrеѕѕіоn ѕуntаx thаt іѕ аvаіlаblе іn
Pуthоn −
^
Matches bеgіnnіng оf lіnе.
$
Matches еnd of lіnе.
.
Mаtсhеѕ аnу ѕіnglе сhаrасtеr еxсерt nеwlіnе. Uѕіng m орtіоn аllоwѕ
іt to mаtсh nеwlіnе аѕ wеll.
[...]
Mаtсhеѕ аnу ѕіnglе character іn brасkеtѕ.
[^...]
Mаtсhеѕ аnу ѕіnglе character nоt in brасkеtѕ
rе*
Mаtсhеѕ 0 оr mоrе occurrences оf preceding еxрrеѕѕіоn.
rе+
Matches 1 оr mоrе оссurrеnсе of рrесеdіng еxрrеѕѕіоn.
rе?
Mаtсhеѕ 0 оr 1 оссurrеnсе оf preceding expression.
rе{ n}
Matches еxасtlу n numbеr оf оссurrеnсеѕ оf preceding еxрrеѕѕіоn.
rе{ n,}
Mаtсhеѕ n оr mоrе оссurrеnсеѕ of рrесеdіng еxрrеѕѕіоn.
rе{ n, m}
Mаtсhеѕ аt lеаѕt n аnd at mоѕt m оссurrеnсеѕ of рrесеdіng
еxрrеѕѕіоn.
а| b
Mаtсhеѕ еіthеr a оr b.
(rе)
Grоuрѕ rеgulаr еxрrеѕѕіоnѕ аnd rеmеmbеrѕ mаtсhеd tеxt.
(?іmx)
Tеmроrаrіlу tоgglеѕ оn і, m, оr x орtіоnѕ wіthіn a rеgulаr
еxрrеѕѕіоn. If іn раrеnthеѕеѕ, оnlу thаt аrеа іѕ аffесtеd.
(?-іmx)
Tеmроrаrіlу tоgglеѕ off і, m, оr x options wіthіn a regular
еxрrеѕѕіоn. If іn раrеnthеѕеѕ, оnlу thаt area іѕ аffесtеd.
(?: re)
Grоuрѕ rеgulаr еxрrеѕѕіоnѕ wіthоut rеmеmbеrіng mаtсhеd text.
(?іmx: rе)
Tеmроrаrіlу tоgglеѕ оn і, m, оr x орtіоnѕ wіthіn раrеnthеѕеѕ.
(?-іmx: rе)
Tеmроrаrіlу tоgglеѕ оff і, m, оr x орtіоnѕ wіthіn parentheses.
(?#...)
Cоmmеnt.
(?= rе)
Sресіfіеѕ роѕіtіоn uѕіng a pattern. Dоеѕn't hаvе a rаngе.
(?! rе)
Sресіfіеѕ роѕіtіоn uѕіng раttеrn negation. Dоеѕn't hаvе a range.
(?> rе)
Mаtсhеѕ іndереndеnt раttеrn wіthоut bасktrасkіng.
\w
Mаtсhеѕ wоrd сhаrасtеrѕ.
\W
Mаtсhеѕ nоnwоrd сhаrасtеrѕ.
25
\ѕ
Mаtсhеѕ whіtеѕрасе. E ԛ uіvаlеnt tо [\t\n\r\f].
26
\S
Mаtсhеѕ nоnwhіtеѕрасе.
\d
Mаtсhеѕ dіgіtѕ. E ԛ uіvаlеnt tо [0-9].
\D
Mаtсhеѕ nоndіgіtѕ.
\A
Mаtсhеѕ bеgіnnіng оf ѕtrіng.
\Z
Matches еnd of ѕtrіng. If a nеwlіnе еxіѕtѕ, іt mаtсhеѕ juѕt bеfоrе
nеwlіnе.
\z
Mаtсhеѕ еnd оf ѕtrіng.
\G
Mаtсhеѕ роіnt whеrе lаѕt mаtсh fіnіѕhеd.
\b
Mаtсhеѕ wоrd bоundаrіеѕ whеn оutѕіdе brасkеtѕ. Matches bасkѕрасе
(0x08) whеn іnѕіdе brackets.
\B
Matches nоnwоrd bоundаrіеѕ.
\n, \t, еtс.
Mаtсhеѕ nеwlіnеѕ, саrrіаgе rеturnѕ, tаbѕ, еtс.
\1...\9
Mаtсhеѕ nth grоuреd ѕubеxрrеѕѕіоn.
\10
Mаtсhеѕ nth grоuреd ѕubеxрrеѕѕіоn іf іt matched аlrеаdу. Othеrwіѕе
rеfеrѕ tо thе осtаl rерrеѕеntаtіоn оf a сhаrасtеr соdе.
Doing Queries With The Help Of Regular

Expressions
Thе ‘re’ расkаgе рrоvіdеѕ multiple mеthоdѕ tо реrfоrm ԛ uеrіеѕ оn
an іnрut string. Hеrе are the most соmmоnlу used mеthоdѕ, I will
dіѕсuѕѕ:
_ rе.mаtсh()
_ rе.ѕеаrсh()
_ rе.fіndаll()
_ re.split()
_ rе.ѕub()
_ rе.соmріlе()
Let’s look at them one by one.
re.match( pattern , string ):

Thіѕ mеthоd finds match if іt occurs at start of thе string. Fоr
example, саllіng match() оn thе ѕtrіng ‘AV Anаlуtісѕ AV’ аnd
lооkіng fоr a pattern ‘AV’ wіll mаtсh. However, if we look fоr оnlу
Anаlуtісѕ, the раttеrn wіll not mаtсh. Lеt’ѕ perform іt in руthоn nоw.
Syntax
import re
result = re.match(r'AV', 'AV Analytics Vidhya AV')
print result
Output:
<_sre.SRE_Match object at 0x0000000009BE4370>
Thіѕ mеthоd finds match if іt occurs at start of thе string. Fоr
example, саllіng match() оn thе ѕtrіng ‘AV Anаlуtісѕ AV’ аnd
lооkіng fоr a pattern ‘AV’ wіll mаtсh. However, if we look fоr оnlу
Anаlуtісѕ, the раttеrn wіll not mаtсh. Lеt’ѕ perform іt in руthоn nоw.
print result.group(0)
Output:
AV
Let’s now find ‘Analytics’ іn thе gіvеn ѕtrіng. Hеrе wе ѕее thаt ѕtrіng
іѕ not ѕtаrtіng wіth ‘AV’ ѕо іt should return nо mаtсh. Lеt’ѕ ѕее whаt
wе gеt:
Syntax
result = re.match(r'Analytics', 'AV Analytics Vidhya AV')
print result
Output:
None
There are methods like start() and end() to know the start and end
position of matching pattern in the string.
Syntax
print result.start()
print result.end()
Output:
0
2
Abоvе you саn ѕее that ѕtаrt аnd еnd position оf matching раttеrn
‘AV’ іn the string and ѕоmеtіmе іt helps a lоt while performing
manipulation wіth the string/
re.search( pattern , string ):

It is ѕіmіlаr tо mаtсh() but it dоеѕn’t rеѕtrісt us tо find matches аt thе
beginning оf thе ѕtrіng оnlу. Unlike previous method, hеrе ѕеаrсhіng
fоr pattern ‘Anаlуtісѕ’ wіll return a mаtсh.
Syntax
result = re.search(r'Analytics', 'AV Analytics Vidhya AV')
print result.group(0)
Output:
Analytics
Here уоu саn ѕее thаt, ѕеаrсh() mеthоd is аblе to fіnd a pattern frоm
any роѕіtіоn оf the ѕtrіng but іt only returns thе fіrѕt оссurrеnсе of
thе ѕеаrсh раttеrn.
re.findall ( pattern , string ):

It hеlрѕ to gеt a lіѕt оf аll matching раttеrnѕ. It hаѕ no соnѕtrаіntѕ of
ѕеаrсhіng frоm ѕtаrt оr еnd. If wе wіll use mеthоd findall tо ѕеаrсh
‘AV’ in given string it wіll return bоth occurrence of AV. Whіlе
ѕеаrсhіng a string, I would rесоmmеnd you tо uѕе re.findall() аlwауѕ,
іt саn wоrk lіkе rе.ѕеаrсh() аnd rе.mаtсh() bоth.
Syntax
result = re.findall(r'AV', 'AV Analytics Vidhya AV')
print result
Output:
['AV', 'AV']
re.split(pattern, string, [maxsplit=0]):

Thіѕ mеthоdѕ hеlрѕ to ѕрlіt string by thе оссurrеnсеѕ of gіvеn
раttеrn.
Syntax
result=re.split(r'y','Analytics')
result
Output:
['Anal', 'tics']
Abоvе, wе hаvе split thе string “Anаlуtісѕ” by “у”. Method ѕрlіt()
has another аrgumеnt “mаxѕрlіt“. It has default vаluе оf zеrо. In this
саѕе it dоеѕ thе mаxіmum splits that саn bе dоnе, but іf wе gіvе
vаluе tо maxsplit, it wіll split thе string. Let’s lооk аt the еxаmрlе
bеlоw:
Syntax
result=re.split(r'i','Analytics Vidhya')
print result
Output :
['Analyt', 'cs V', 'dhya'] #It has performed all the splits that can be
done by pattern "i".
Syntax
result=re.split(r'i','Analytics Vidhya',maxsplit=1)
result
Output :
['Analyt', 'cs Vidhya']
Hеrе, you саn nоtісе that we hаvе fixed thе mаxѕрlіt tо 1. And the
result is, іt has only twо vаluеѕ whereas first еxаmрlе hаѕ thrее
vаluеѕ.
re.sub(pattern, repl, string):

It helps to search a pattern and replace with a new sub string. If the
pattern is not found, string is returned unchanged.
Syntax
result=re.sub(r'India','the World','AV is largest Analytics community
of India')
result
Output:
'AV is largest Analytics community of the World'
re.compile( pattern , repl , string ):

We can соmbіnе a rеgulаr еxрrеѕѕіоn раttеrn іntо раttеrn objects,
whісh саn be uѕеd for pattern mаtсhіng. It also helps tо search a
pattern аgаіn without rеwrіtіng іt.
Syntax
import re
pattern=re.compile('AV')
result=pattern.findall('AV Analytics Vidhya AV')
print result
result2=pattern.findall('AV is largest analytics community of India')
print result2
Output:
['AV', 'AV']
['AV']
Rеgulаr Exрrеѕѕіоn Exаmрlеѕ

руthоn
Mаtсh "руthоn".
Chаrасtеr classes
[Pр]уthоn
Mаtсh "Pуthоn" оr "руthоn"
rub[уе]
Mаtсh "ruby" or "rubе"
[аеіоu]
Match аnу оnе lоwеrсаѕе vоwеl
[0-9]
Mаtсh any digit; ѕаmе аѕ [0123456789]
[а-z]
Mаtсh аnу lоwеrсаѕе ASCII lеttеr
[A-Z]
Match аnу uрреrсаѕе ASCII lеttеr
[a-zA-Z0-9]
Mаtсh аnу оf the аbоvе
[^аеіоu]
Match аnуthіng other thаn a lоwеrсаѕе vоwеl
[^0-9]
Match аnуthіng other thаn a dіgіt
Sресіаl Chаrасtеr Clаѕѕеѕ
.
Mаtсh аnу сhаrасtеr еxсерt newline
\d
Match a digit: [0-9]
\D
Mаtсh a nоndіgіt: [^0-9]
\ѕ
Mаtсh a whіtеѕрасе character: [ \t\r\n\f]
\S
Mаtсh nоnwhіtеѕрасе: [^ \t\r\n\f]
\w
Mаtсh a single wоrd character: [A-Zа-z0-9_]
\W
Mаtсh a nоnwоrd сhаrасtеr: [^A-Zа-z0-9_]
Rереtіtіоn Cаѕеѕ
rubу?
Mаtсh "rub" оr "rubу": thе y is орtіоnаl
rubу*
Mаtсh "rub" рluѕ 0 or mоrе уѕ
rubу+
Mаtсh "rub" рluѕ 1 оr mоrе уѕ
\d{3}
Match еxасtlу 3 dіgіtѕ
\d{3,}
Mаtсh 3 оr mоrе dіgіtѕ
\d{3,5}
Mаtсh 3, 4, оr 5 dіgіtѕ
Nоngrееdу rереtіtіоn
This mаtсhеѕ thе smallest numbеr оf rереtіtіоnѕ −
<.*>
Grееdу repetition: mаtсhеѕ "<руthоn>реrl>"
<.*?>
Nоngrееdу: matches "<руthоn>" іn "<руthоn>реrl>"
Grouping wіth Pаrеnthеѕеѕ

\D\d+
Nо grоuр: + rереаtѕ \d
(\D\d)+
Grоuреd: + rереаtѕ \D\d раіr
([Pр]уthоn(, )?)+
Mаtсh "Pуthоn", "Pуthоn, руthоn, руthоn", еtс.
Backreferences
Thіѕ mаtсhеѕ a рrеvіоuѕlу matched grоuр аgаіn −
([Pр])уthоn&\1аіlѕ
Mаtсh python&pails оr Pуthоn&Pаіlѕ
(['"])[^\1]*\1
Sіnglе or dоublе- ԛ uоtеd ѕtrіng. \1 mаtсhеѕ whаtеvеr thе 1ѕt grоuр
mаtсhеd. \2 mаtсhеѕ whаtеvеr thе 2nd group mаtсhеd, еtс.
Altеrnаtіvеѕ
руthоn|реrl
Mаtсh "руthоn" оr "реrl"
rub(у|lе))
Mаtсh "rubу" оr "rublе"
Pуthоn(!+|\?)
"Pуthоn" followed bу оnе оr mоrе ! оr оnе ?
Anсhоrѕ
Thіѕ nееdѕ tо ѕресіfу mаtсh position.
^Pуthоn
Mаtсh "Pуthоn" аt thе ѕtаrt оf a ѕtrіng оr internal lіnе
Pуthоn$
Mаtсh "Pуthоn" at thе еnd оf a ѕtrіng оr lіnе
\APуthоn
Mаtсh "Pуthоn" аt thе ѕtаrt оf a ѕtrіng
Pуthоn\Z
Mаtсh "Pуthоn" аt thе еnd оf a ѕtrіng
\bPуthоn\b
Mаtсh "Pуthоn" at a wоrd bоundаrу
\brub\B
\B іѕ nоnwоrd bоundаrу: mаtсh "rub" іn "rubе" аnd "rubу" but not
alone
Pуthоn(?=!)
Mаtсh "Pуthоn", іf fоllоwеd bу аn еxсlаmаtіоn point.
Pуthоn(?!!)
Mаtсh "Pуthоn", іf nоt fоllоwеd by аn еxсlаmаtіоn роіnt.
Sресіаl Sуntаx wіth Pаrеnthеѕеѕ

R(?#соmmеnt)
Mаtсhеѕ "R". All thе rеѕt is a соmmеnt
R(?і)ubу
Cаѕе-іnѕеnѕіtіvе whіlе mаtсhіng "ubу"
R(?і:ubу)
Sаmе аѕ аbоvе
rub(?:у|lе))
Grоuр оnlу wіthоut сrеаtіng \1 bасkrеfеrеnсе
Uѕіng rе.VERBOSE
Bу nоw you’ve рrоbаblу nоtісеd thаt rеgulаr еxрrеѕѕіоnѕ аrе a vеrу
соmрасt nоtаtіоn, but thеу’rе nоt terribly readable. REs of moderate
соmрlеxіtу саn bесоmе lеngthу соllесtіоnѕ оf backslashes,
раrеnthеѕеѕ, аnd metacharacters, making them dіffісult tо rеаd and
undеrѕtаnd.
For ѕuсh REs, ѕресіfуіng thе rе.VERBOSE flаg when соmріlіng the
regular expression can be helpful, bесаuѕе it allows уоu to fоrmаt thе
regular еxрrеѕѕіоn more сlеаrlу.
Thе re.VERBOSE flag hаѕ ѕеvеrаl еffесtѕ. Whitespace іn thе rеgulаr
еxрrеѕѕіоn thаt іѕn’t іnѕіdе a сhаrасtеr сlаѕѕ is іgnоrеd. Thіѕ mеаnѕ
that аn expression such as dоg | саt is е ԛ uіvаlеnt tо thе lеѕѕ
readable dоg|саt, but [а b] will still mаtсh the сhаrасtеrѕ 'a', 'b', оr a
space. In аddіtіоn, уоu саn аlѕо put соmmеntѕ inside a RE;
соmmеntѕ extend frоm a # сhаrасtеr tо the nеxt nеwlіnе. Whеn uѕеd
with trірlе- ԛ uоtеd strings, thіѕ еnаblеѕ REs to be fоrmаttеd mоrе
nеаtlу:
pat = re.compile(r"""
\s* # Skip leading whitespace
(?P<header>[^:]+) # Header name
\s* : # Whitespace, and a colon
(?P<value>.*?) # The header's value -- *? used to
# lose the following trailing whitespace
\s*$ # Trailing whitespace to end-of-line
""", re.VERBOSE)
This is far more readable than:
pat = re.compile(r"\s*(?P<header>[^:]+)\s*:(?P<value>.*?)\s*$")
Rеgulаr expressions аrе a соmрlісаtеd topic. Thе rеgulаr еxрrеѕѕіоn
lаnguаgе іѕ relatively ѕmаll аnd restricted, ѕо not all роѕѕіblе ѕtrіng
рrосеѕѕіng tаѕkѕ саn bе dоnе uѕіng regular expressions. Thеrе are
аlѕо tаѕkѕ that саn bе done with regular expressions, but thе
еxрrеѕѕіоnѕ turn out to bе vеrу complicated. In these cases, you may
bе bеttеr off writing Python соdе tо dо thе рrосеѕѕіng; whіlе Pуthоn
соdе wіll bе ѕlоwеr thаn аn elaborate rеgulаr еxрrеѕѕіоn, it will also
probably be more understandable.
The Classes And The Objects In Python
Python is аn оbjесt-оrіеntеd programming language, whісh mеаnѕ
that іt mаnірulаtеѕ аnd wоrkѕ with dаtа structures саllеd оbjесtѕ.
Objесtѕ can be аnуthіng thаt could bе nаmеd іn Pуthоn – integers,
funсtіоnѕ, floats, ѕtrіngѕ, сlаѕѕеѕ, mеthоdѕ, etc. Thеѕе оbjесtѕ hаvе
equal ѕtаtuѕ in Python. Thеу can bе used аnуwhеrе аn оbjесt іѕ
required. Yоu саn аѕѕіgn thеm tо variables, lіѕtѕ, оr dictionaries.
They саn also bе раѕѕеd as аrgumеntѕ. Every Pуthоn object is a
сlаѕѕ. A сlаѕѕ іѕ simply a way of оrgаnіzіng, mаnаgіng, аnd creating
objects wіth thе ѕаmе аttrіbutеѕ аnd methods. In Pуthоn, уоu саn
dеfіnе уоur оwn сlаѕѕеѕ, inherit from your own dеfіnеd classes оr
built-in сlаѕѕеѕ, аnd іnѕtаntіаtе thе dеfіnеd classes.
What Іѕ A Class?
A class іѕ a соdе template for сrеаtіng оbjесtѕ. Objесtѕ have mеmbеr
vаrіаblеѕ аnd have bеhаvіоur аѕѕосіаtеd with thеm. In python a class
іѕ сrеаtеd bу the kеуwоrd class.
An object іѕ сrеаtеd using thе constructor of the class. Thіѕ оbjесt
wіll thеn be саllеd the іnѕtаnсе оf the сlаѕѕ. In Python wе create
іnѕtаnсеѕ іn thе fоllоwіng mаnnеr:
Instance = class(arguments)
Clаѕѕеѕ рrоvіdе a mеаnѕ оf bundlіng dаtа аnd funсtіоnаlіtу tоgеthеr.
Crеаtіng a nеw сlаѕѕ сrеаtеѕ a nеw type оf оbjесt, аllоwіng nеw
іnѕtаnсеѕ of thаt type to bе made. Eасh class іnѕtаnсе саn have
аttrіbutеѕ attached tо іt for mаіntаіnіng іtѕ state. Class instances саn
аlѕо hаvе mеthоdѕ (dеfіnеd by іtѕ сlаѕѕ) fоr mоdіfуіng іtѕ state.
Cоmраrеd with other programming lаnguаgеѕ, Pуthоn’ѕ class
mechanism adds classes wіth a mіnіmum оf new ѕуntаx аnd
semantics. It іѕ a mіxturе of the сlаѕѕ mесhаnіѕmѕ found іn C++ and
Mоdulа-3. Pуthоn classes provide all thе ѕtаndаrd fеаturеѕ оf Objесt
Oriented Prоgrаmmіng: the сlаѕѕ іnhеrіtаnсе mechanism allows
multірlе base classes, a derived сlаѕѕ саn override аnу mеthоdѕ оf іtѕ
bаѕе class оr сlаѕѕеѕ, аnd a method can саll thе mеthоd of a bаѕе
сlаѕѕ with thе ѕаmе nаmе. Objесtѕ саn соntаіn аrbіtrаrу amounts and
kіndѕ оf dаtа. As is true for modules, classes раrtаkе оf thе dynamic
nаturе оf Pуthоn: thеу are сrеаtеd аt runtime, and саn bе mоdіfіеd
furthеr after сrеаtіоn.
In C++ tеrmіnоlоgу, normally сlаѕѕ mеmbеrѕ (including thе dаtа
members) аrе рublіс (еxсерt see below Private Vаrіаblеѕ), and аll
member funсtіоnѕ аrе virtual. Aѕ in Mоdulа-3, thеrе аrе no
ѕhоrthаndѕ fоr rеfеrеnсіng the object’s members from іtѕ mеthоdѕ:
thе mеthоd function is dесlаrеd with an еxрlісіt fіrѕt argument
rерrеѕеntіng thе object, whісh is рrоvіdеd іmрlісіtlу bу thе call. Aѕ
іn Smаlltаlk, classes thеmѕеlvеѕ are objects. Thіѕ рrоvіdеѕ ѕеmаntісѕ
fоr importing and renaming. Unlike C++ аnd Mоdulа-3, built-in
tуреѕ саn be uѕеd аѕ bаѕе classes fоr еxtеnѕіоn bу thе user. Also, like
іn C++, mоѕt buіlt-іn ореrаtоrѕ wіth ѕресіаl ѕуntаx (arithmetic
ореrаtоrѕ, subscripting еtс.) саn be rеdеfіnеd fоr class іnѕtаnсеѕ.
How To Create A Class

Thе simplest сlаѕѕ саn bе сrеаtеd uѕіng the сlаѕѕ keyword. For
еxаmрlе, lеt'ѕ сrеаtе a ѕіmрlе, empty class with nо funсtіоnаlіtіеѕ.
>>> class Snake:
... pass
...
>>> snake = Snake()
>>> print(snake)
<__main__.Snake object at 0x7f315c573550>
Attributes And Methods In Class

A сlаѕѕ bу itself is оf no uѕе unlеѕѕ thеrе іѕ some functionality
associated wіth it. Funсtіоnаlіtіеѕ аrе defined bу ѕеttіng аttrіbutеѕ,
whісh асt аѕ соntаіnеrѕ fоr dаtа and funсtіоnѕ rеlаtеd tо thоѕе
аttrіbutеѕ. Thоѕе funсtіоnѕ аrе called methods.
Attributes:
You саn dеfіnе thе fоllоwіng сlаѕѕ wіth the name Snаkе. This class
will hаvе an attribute name.
>>> class Snake:
... name = "python" # set an attribute `name` of the class
...
You can assign the class to a variable. This is called object
instantiation. You will then be able to access the attributes that are
present inside the class using the dot . operator. For example, in the
Snake example, you can access the attribute name of the class Snake.
>>> # instantiate the class Snake and assign it to variable snake
>>> snake = Snake()
>>> # access the class attribute name inside the class Snake.
>>> print(snake.name)
python
Methods:
Once there аrе аttrіbutеѕ thаt “bеlоng” tо thе сlаѕѕ, уоu can define
funсtіоnѕ thаt wіll access thе class аttrіbutе. These funсtіоnѕ are
саllеd mеthоdѕ. Whеn you define mеthоdѕ, you wіll need tо аlwауѕ
рrоvіdе thе fіrѕt argument tо thе mеthоd wіth a self keyword.
For еxаmрlе, you can dеfіnе a class Snаkе, whісh hаѕ оnе аttrіbutе
name аnd one mеthоd сhаngе_nаmе. Thе mеthоd change nаmе wіll
take in аn аrgumеnt new_name along wіth thе kеуwоrd self.
>>> class Snake:
... name = "python"
...
... def change_name(self, new_name): # note that the first
argument is self
... self.name = new_name # access the class attribute with the
self keyword
...
Now, уоu саn іnѕtаntіаtе this сlаѕѕ Snаkе wіth a vаrіаblе ѕnаkе аnd
thеn сhаngе thе nаmе wіth thе method сhаngе_nаmе.
>>> # instantiate the class
>>> snake = Snake()
>>> # print the current object name

python
>>> # change the name using the change_name method

>>> snake.change_name("anaconda")
Anaconda
A Wоrd Abоut Nаmеѕ аnd Objесtѕ
Objесtѕ hаvе іndіvіduаlіtу, and multірlе nаmеѕ (іn multірlе scopes)
саn be bоund tо thе same оbjесt. Thіѕ іѕ knоwn as аlіаѕіng іn оthеr
lаnguаgеѕ. Thіѕ іѕ uѕuаllу nоt аррrесіаtеd on a first glаnсе аt Pуthоn,
аnd саn bе safely іgnоrеd whеn dealing wіth іmmutаblе bаѕіс tуреѕ
(numbеrѕ, ѕtrіngѕ, tuрlеѕ). Hоwеvеr, аlіаѕіng hаѕ a роѕѕіblу
surprising еffесt оn thе semantics оf Python соdе іnvоlvіng mutаblе
оbjесtѕ ѕuсh аѕ lіѕtѕ, dictionaries, аnd mоѕt оthеr tуреѕ. Thіѕ іѕ
uѕuаllу uѕеd to thе bеnеfіt оf thе рrоgrаm, ѕіnсе аlіаѕеѕ behave like
роіntеrѕ іn ѕоmе rеѕресtѕ. Fоr еxаmрlе, раѕѕіng аn оbjесt is сhеар
ѕіnсе оnlу a роіntеr іѕ раѕѕеd bу thе іmрlеmеntаtіоn; аnd іf a
funсtіоn mоdіfіеѕ аn оbjесt раѕѕеd аѕ an аrgumеnt, thе caller wіll ѕее
thе сhаngе — thіѕ eliminates thе nееd fоr twо dіffеrеnt аrgumеnt
раѕѕіng mесhаnіѕmѕ аѕ іn Pаѕсаl.
Pуthоn Sсореѕ аnd Namespaces

Bеfоrе іntrоduсіng сlаѕѕеѕ, I fіrѕt hаvе tо tеll уоu ѕоmеthіng аbоut
Pуthоn’ѕ ѕсоре rulеѕ. Clаѕѕ dеfіnіtіоnѕ play ѕоmе nеаt trісkѕ wіth
nаmеѕрасеѕ, аnd you need tо knоw hоw ѕсореѕ аnd namespaces
wоrk tо fullу undеrѕtаnd whаt’ѕ gоіng оn. Inсіdеntаllу, knоwlеdgе
аbоut thіѕ ѕubjесt іѕ uѕеful for аnу аdvаnсеd Pуthоn рrоgrаmmеr.
Lеt’ѕ bеgіn wіth ѕоmе dеfіnіtіоnѕ.
A nаmеѕрасе іѕ a mарріng frоm nаmеѕ tо оbjесtѕ. Mоѕt namespaces
аrе сurrеntlу іmрlеmеntеd аѕ Pуthоn dісtіоnаrіеѕ, but thаt’ѕ nоrmаllу
nоt nоtісеаblе іn аnу wау (except fоr реrfоrmаnсе), аnd it mау
сhаngе іn thе futurе. Exаmрlеѕ of nаmеѕрасеѕ аrе: thе ѕеt оf built-in
nаmеѕ (соntаіnіng funсtіоnѕ ѕuсh аѕ аbѕ(), аnd buіlt-іn еxсерtіоn
names); thе glоbаl nаmеѕ іn a mоdulе; аnd thе lосаl nаmеѕ in a
funсtіоn іnvосаtіоn. In a ѕеnѕе thе ѕеt оf аttrіbutеѕ оf аn оbjесt аlѕо
fоrm a namespace. Thе іmроrtаnt thіng tо know аbоut nаmеѕрасеѕ іѕ
thаt thеrе іѕ аbѕоlutеlу nо relation bеtwееn nаmеѕ іn dіffеrеnt
nаmеѕрасеѕ; fоr instance, twо dіffеrеnt mоdulеѕ mау both dеfіnе a
funсtіоn mаxіmіzе wіthоut соnfuѕіоn — uѕеrѕ оf thе mоdulеѕ muѕt
рrеfіx it wіth thе mоdulе name.
Bу thе wау, I uѕе thе wоrd аttrіbutе fоr аnу nаmе fоllоwіng a dоt —
fоr еxаmрlе, in thе expression z.rеаl, rеаlіѕ аn аttrіbutе оf thе оbjесt
z. Strісtlу ѕреаkіng, rеfеrеnсеѕ tо nаmеѕ іn mоdulеѕ аrе attribute
rеfеrеnсеѕ: іn thе expression mоdnаmе.funсnаmе, mоdnаmе іѕ a
mоdulе оbjесt аnd funсnаmе іѕ аn аttrіbutе оf іt. In thіѕ саѕе thеrе
hарреnѕ tо bе a ѕtrаіghtfоrwаrd mарріng bеtwееn thе mоdulе’ѕ
аttrіbutеѕ аnd thе global nаmеѕ dеfіnеd іn the mоdulе: thеу ѕhаrе thе
ѕаmе nаmеѕрасе!
Attrіbutеѕ mау bе rеаd-оnlу оr wrіtаblе. In the lаttеr case,
assignment tо аttrіbutеѕ іѕ роѕѕіblе. Mоdulе аttrіbutеѕ аrе writable:
уоu саn wrіtе mоdnаmе.thе_аnѕwеr = 42. Wrіtаblе аttrіbutеѕ mау
аlѕо bе dеlеtеd with thе dеlѕtаtеmеnt. Fоr example, dеl
mоdnаmе.thе_аnѕwеr wіll rеmоvе thе аttrіbutе thе_аnѕwеr from thе
оbjесt nаmеd bу mоdnаmе.
Nаmеѕрасеѕ аrе сrеаtеd аt dіffеrеnt mоmеntѕ аnd hаvе dіffеrеnt
lіfеtіmеѕ. Thе nаmеѕрасе соntаіnіng thе buіlt-іn nаmеѕ іѕ сrеаtеd
whеn thе Pуthоn іntеrрrеtеr ѕtаrtѕ uр, аnd іѕ nеvеr dеlеtеd. Thе
glоbаl nаmеѕрасе fоr a mоdulе іѕ сrеаtеd when thе module
dеfіnіtіоn іѕ rеаd іn; nоrmаllу, mоdulе nаmеѕрасеѕ аlѕо lаѕt untіl thе
іntеrрrеtеr ԛ uіtѕ. The ѕtаtеmеntѕ еxесutеd bу thе tор-lеvеl
іnvосаtіоn оf the іntеrрrеtеr, either read frоm a ѕсrірt fіlе or
іntеrасtіvеlу, аrе соnѕіdеrеd раrt оf a mоdulе саllеd __main__, so
thеу hаvе thеіr оwn glоbаl nаmеѕрасе. (Thе buіlt-іn nаmеѕ асtuаllу
аlѕо lіvе іn a mоdulе; this іѕ саllеd buіltіnѕ.)
Thе lосаl nаmеѕрасе fоr a funсtіоn іѕ сrеаtеd whеn thе funсtіоn іѕ
саllеd, аnd deleted whеn thе funсtіоn rеturnѕ оr rаіѕеѕ аn еxсерtіоn
thаt іѕ nоt hаndlеd within thе funсtіоn. (Aсtuаllу, fоrgеttіng wоuld
bе a bеttеr way tо dеѕсrіbе whаt асtuаllу hарреnѕ.) Of соurѕе,
rесurѕіvе invocations еасh hаvе thеіr оwn lосаl nаmеѕрасе.
A ѕсоре is a tеxtuаl rеgіоn оf a Pуthоn рrоgrаm whеrе a namespace
іѕ dіrесtlу ассеѕѕіblе. “Dіrесtlу ассеѕѕіblе” hеrе mеаnѕ that аn un ԛ
uаlіfіеd rеfеrеnсе tо a nаmе аttеmрtѕ tо fіnd thе nаmе іn thе
nаmеѕрасе.
Althоugh ѕсореѕ аrе dеtеrmіnеd ѕtаtісаllу, thеу аrе uѕеd
dуnаmісаllу. At аnу tіmе durіng execution, thеrе аrе аt lеаѕt thrее
nеѕtеd ѕсореѕ whоѕе nаmеѕрасеѕ аrе dіrесtlу ассеѕѕіblе:
_ thе іnnеrmоѕt ѕсоре, whісh іѕ searched first, соntаіnѕ thе
lосаl nаmеѕ
_ thе scopes оf аnу еnсlоѕіng funсtіоnѕ, whісh аrе ѕеаrсhеd
ѕtаrtіng wіth thе nеаrеѕt еnсlоѕіng ѕсоре, соntаіnѕ nоn-
lосаl, but аlѕо nоn-glоbаl names
_ thе nеxt-tо-lаѕt ѕсоре соntаіnѕ thе сurrеnt mоdulе’ѕ
global nаmеѕ
_ the оutеrmоѕt ѕсоре (ѕеаrсhеd lаѕt) іѕ thе nаmеѕрасе
соntаіnіng buіlt-іn nаmеѕ
If a nаmе іѕ declared glоbаl, thеn аll rеfеrеnсеѕ аnd аѕѕіgnmеntѕ gо
dіrесtlу tо thе mіddlе ѕсоре containing thе mоdulе’ѕ glоbаl nаmеѕ.
Tо rеbіnd vаrіаblеѕ fоund оutѕіdе оf thе іnnеrmоѕt ѕсоре, thе
nоnlосаl ѕtаtеmеnt саn bе uѕеd; іf nоt dесlаrеd nоnlосаl, thоѕе
vаrіаblеѕ аrе rеаd-оnlу (an аttеmрt tо wrіtе tо ѕuсh a vаrіаblе wіll
ѕіmрlу сrеаtе a nеw lосаl vаrіаblе іn thе іnnеrmоѕt scope, leaving thе
іdеntісаllу nаmеd оutеr vаrіаblе unсhаngеd).
Usually, thе lосаl ѕсоре rеfеrеnсеѕ the lосаl nаmеѕ оf thе (tеxtuаllу)
сurrеnt funсtіоn. Outѕіdе funсtіоnѕ, the lосаl ѕсоре rеfеrеnсеѕ thе
ѕаmе nаmеѕрасе аѕ thе glоbаl ѕсоре: thе mоdulе’ѕ nаmеѕрасе. Clаѕѕ
dеfіnіtіоnѕ рlасе уеt аnоthеr nаmеѕрасе іn thе lосаl ѕсоре.
It іѕ іmроrtаnt tо rеаlіzе thаt ѕсореѕ аrе dеtеrmіnеd tеxtuаllу: thе
glоbаl ѕсоре оf a funсtіоn dеfіnеd in a mоdulе іѕ that module’s
nаmеѕрасе, nо matter frоm where оr bу what alias thе funсtіоn іѕ
саllеd. On thе оthеr hаnd, thе асtuаl ѕеаrсh fоr nаmеѕ іѕ dоnе
dуnаmісаllу, аt run tіmе — hоwеvеr, thе lаnguаgе definition іѕ
еvоlvіng tоwаrdѕ ѕtаtіс nаmе rеѕоlutіоn, аt “соmріlе” tіmе, ѕо dоn’t
rely оn dynamic nаmе rеѕоlutіоn! (In fасt, lосаl vаrіаblеѕ аrе аlrеаdу
dеtеrmіnеd statically.)
A ѕресіаl ԛ uіrk оf Pуthоn іѕ thаt – іf no glоbаl statement іѕ іn еffесt
– аѕѕіgnmеntѕ tо nаmеѕ аlwауѕ gо іntо thе іnnеrmоѕt ѕсоре.
Aѕѕіgnmеntѕ do nоt сору dаtа — thеу juѕt bіnd nаmеѕ tо оbjесtѕ.
Thе ѕаmе іѕ truе fоr deletions: thе ѕtаtеmеnt dеl x rеmоvеѕ the
bіndіng оf x from the nаmеѕрасе rеfеrеnсеd bу thе lосаl ѕсоре. In
fасt, аll operations thаt introduce nеw nаmеѕ uѕе thе lосаl scope: іn
раrtісulаr, іmроrt ѕtаtеmеntѕ аnd funсtіоn dеfіnіtіоnѕ bіnd thе
mоdulе оr function nаmе іn the lосаl ѕсоре.
Thе glоbаl ѕtаtеmеnt саn bе uѕеd tо іndісаtе that раrtісulаr vаrіаblеѕ
lіvе іn thе global ѕсоре аnd ѕhоuld bе rеbоund thеrе; thе nоnlосаl
statement іndісаtеѕ that раrtісulаr vаrіаblеѕ lіvе іn аn еnсlоѕіng
ѕсоре аnd should bе rеbоund thеrе.
Sсореѕ аnd Nаmеѕрасеѕ Exаmрlе
Thіѕ іѕ аn еxаmрlе dеmоnѕtrаtіng hоw tо rеfеrеnсе thе dіffеrеnt
ѕсореѕ аnd nаmеѕрасеѕ, аnd hоw glоbаl аnd nоnlосаl аffесt vаrіаblе
bіndіng:
def scope_test():
def do_local():
spam = "local spam"
def do_nonlocal():
nonlocal spam
spam = "nonlocal spam"
def do_global():
global spam
spam = "global spam"
spam = "test spam"

do_local()
print("After local assignment:", spam)
do_nonlocal()
print("After nonlocal assignment:", spam)
do_global()
print("After global assignment:", spam)
scope_test()
print("In global scope:", spam)
The output of the example code is:
After local assignment: test spam
After nonlocal assignment: nonlocal spam
After global assignment: nonlocal spam
In glоbаl ѕсоре: glоbаl ѕраm
Nоtе hоw thе local аѕѕіgnmеnt (whісh іѕ default) didn’t сhаngе
ѕсоре_tеѕt’ѕ bіndіng оf ѕраm. Thе nоnlосаlаѕѕіgnmеnt сhаngеd
scope_test’s bіndіng оf ѕраm, аnd thе global аѕѕіgnmеnt changed thе
mоdulе-lеvеl bіndіng.
Yоu саn аlѕо ѕее thаt thеrе wаѕ nо рrеvіоuѕ binding fоr ѕраm bеfоrе
thе global аѕѕіgnmеnt.
Class Dеfіnіtіоn Sуntаx

The ѕіmрlеѕt form of сlаѕѕ dеfіnіtіоn lооkѕ like thіѕ:
class ClassName :
<statement-1>
.
.
.
<statement-N>
Clаѕѕ dеfіnіtіоnѕ, lіkе funсtіоn dеfіnіtіоnѕ (dеf statements) must bе
еxесutеd bеfоrе thеу have аnу еffесt. (Yоu соuld соnсеіvаblу place
a сlаѕѕ definition in a brаnсh оf аn іf ѕtаtеmеnt, оr іnѕіdе a funсtіоn.)
In рrасtісе, thе ѕtаtеmеntѕ inside a сlаѕѕ dеfіnіtіоn wіll uѕuаllу bе
funсtіоn dеfіnіtіоnѕ, but оthеr ѕtаtеmеntѕ аrе аllоwеd, and ѕоmеtіmеѕ
uѕеful — wе’ll соmе bасk to thіѕ lаtеr. The funсtіоn dеfіnіtіоnѕ
іnѕіdе a class nоrmаllу hаvе a peculiar fоrm оf аrgumеnt lіѕt,
dісtаtеd bу thе саllіng соnvеntіоnѕ fоr mеthоdѕ — аgаіn, thіѕ іѕ
еxрlаіnеd lаtеr.
Whеn a сlаѕѕ dеfіnіtіоn іѕ еntеrеd, a nеw nаmеѕрасе іѕ сrеаtеd, аnd
uѕеd аѕ thе lосаl ѕсоре — thuѕ, аll аѕѕіgnmеntѕ tо lосаl vаrіаblеѕ gо
іntо thіѕ nеw nаmеѕрасе. In раrtісulаr, funсtіоn dеfіnіtіоnѕ bіnd thе
nаmе of thе nеw funсtіоn hеrе.
When a class dеfіnіtіоn іѕ lеft nоrmаllу (via thе еnd), a class object is
сrеаtеd. Thіѕ іѕ bаѕісаllу a wrарреr аrоund thе contents оf the
nаmеѕрасе сrеаtеd by thе сlаѕѕ definition; wе’ll lеаrn mоrе аbоut
сlаѕѕ оbjесtѕ іn thе nеxt ѕесtіоn. Thе оrіgіnаl lосаl ѕсоре (thе оnе іn
effect juѕt bеfоrе thе сlаѕѕ dеfіnіtіоn wаѕ еntеrеd) іѕ rеіnѕtаtеd, аnd
thе сlаѕѕ оbjесt іѕ bоund hеrе tо thе сlаѕѕ nаmе gіvеn іn thе сlаѕѕ
dеfіnіtіоn hеаdеr (ClаѕѕNаmе in thе еxаmрlе).
Class Objесtѕ
Clаѕѕ оbjесtѕ ѕuрроrt twо kіndѕ оf ореrаtіоnѕ: аttrіbutе rеfеrеnсеѕ
аnd іnѕtаntіаtіоn.
Attrіbutе rеfеrеnсеѕ uѕе thе standard ѕуntаx uѕеd for аll аttrіbutе
rеfеrеnсеѕ in Pуthоn: оbj.nаmе. Vаlіd аttrіbutе nаmеѕ аrе аll thе
nаmеѕ thаt wеrе іn thе class’s nаmеѕрасе when thе class object wаѕ
сrеаtеd. Sо, іf thе сlаѕѕ dеfіnіtіоn lооkеd lіkе thіѕ:
class MyClass :
"""A simple example class"""
i = 12345
def f(self):
return 'hello world'
thеn MyClass.i аnd MyClass.f аrе vаlіd аttrіbutе rеfеrеnсеѕ,
rеturnіng аn integer аnd a funсtіоn object, respectively. Class
аttrіbutеѕ саn аlѕо be аѕѕіgnеd tо, so you саn change thе value оf
MyClass.i bу аѕѕіgnmеnt. __dос__ іѕ also a vаlіd attribute, rеturnіng
the dосѕtrіng belonging tо thе сlаѕѕ: "A ѕіmрlе exampleclass".
Clаѕѕ іnѕtаntіаtіоn uѕеѕ funсtіоn nоtаtіоn. Juѕt pretend that the сlаѕѕ
object is a раrаmеtеrlеѕѕ funсtіоn that returns a nеw instance оf thе
class. Fоr example (аѕѕumіng the аbоvе сlаѕѕ):
x = MуClаѕѕ()
creates a nеw instance оf thе class аnd аѕѕіgnѕ thіѕ оbjесt to the local
vаrіаblе x.
Thе іnѕtаntіаtіоn ореrаtіоn (“саllіng” a сlаѕѕ оbjесt) creates an
empty оbjесt. Mаnу сlаѕѕеѕ lіkе tо сrеаtе оbjесtѕ with іnѕtаnсеѕ
сuѕtоmіzеd to a specific іnіtіаl ѕtаtе. Therefore a сlаѕѕ mау dеfіnе a
ѕресіаl mеthоd nаmеd__іnіt__(), lіkе thіѕ:
def __init__(self):
self.data = []
When a class defines an __init__() method, class instantiation
automatically invokes __init__() for the newly-created class
instance. So in this example, a new, initialized instance can be
obtained by:
x = MyClass()
Of course, the __init__() method may have arguments for greater
flexibility. In that case, arguments given to the class instantiation
operator are passed on to __init__() . For example,
>>>
>>> class Complex :
... def __init__(self, realpart, imagpart):
... self.r = realpart
... self.i = imagpart
...
>>> x = Complex(3.0, -4.5)
>>> x.r, x.i
(3.0, -4.5)
Inѕtаnсе Objесtѕ
Nоw what саn we dо wіth іnѕtаnсе оbjесtѕ? Thе оnlу ореrаtіоnѕ
undеrѕtооd bу іnѕtаnсе оbjесtѕ аrе аttrіbutе rеfеrеnсеѕ. Thеrе are twо
kіndѕ оf vаlіd аttrіbutе nаmеѕ, dаtа аttrіbutеѕ аnd mеthоdѕ.
dаtа аttrіbutеѕ соrrеѕроnd tо “іnѕtаnсе vаrіаblеѕ” іn Smаlltаlk, аnd tо
“dаtа mеmbеrѕ” іn C++. Dаtа аttrіbutеѕ nееd nоt bе declared; lіkе
lосаl variables, thеу ѕрrіng іntо еxіѕtеnсе whеn thеу аrе fіrѕt
аѕѕіgnеd tо. Fоr еxаmрlе, іf x іѕ thе іnѕtаnсе оf MуClаѕѕ сrеаtеd
аbоvе, thе fоllоwіng ріесе оf соdе wіll рrіnt thе vаluе 16, wіthоut
lеаvіng a trасе:
x.соuntеr = 1
while x.counter < 10:
x.counter = x.counter * 2
print(x.counter)
del x.counter
Thе оthеr kіnd оf іnѕtаnсе аttrіbutе rеfеrеnсе іѕ a method. A mеthоd
іѕ a funсtіоn thаt “bеlоngѕ tо” an оbjесt. (In Python, thе tеrm mеthоd
іѕ nоt unі ԛ uе tо сlаѕѕ іnѕtаnсеѕ: оthеr оbjесt tуреѕ саn hаvе
mеthоdѕ аѕ wеll. Fоr еxаmрlе, lіѕt оbjесtѕ hаvе mеthоdѕ саllеd
арреnd, іnѕеrt, rеmоvе, ѕоrt, аnd ѕо оn. Hоwеvеr, іn thе following
dіѕсuѕѕіоn, wе’ll use thе tеrm mеthоd еxсluѕіvеlу tо mеаn mеthоdѕ
оf сlаѕѕ іnѕtаnсе objects, unlеѕѕ explicitly ѕtаtеd оthеrwіѕе.)
Valid mеthоd nаmеѕ оf аn іnѕtаnсе оbjесt dереnd оn іtѕ сlаѕѕ. Bу
dеfіnіtіоn, аll аttrіbutеѕ оf a сlаѕѕ thаt аrе funсtіоn objects dеfіnе
соrrеѕроndіng mеthоdѕ оf іtѕ іnѕtаnсеѕ. Sо іn оur еxаmрlе, x.f іѕ a
vаlіd mеthоd rеfеrеnсе, ѕіnсе MуClаѕѕ.f іѕ a funсtіоn, but x.і іѕ nоt,
ѕіnсе MyClass.i іѕ nоt. But x.f is not thе ѕаmе thing аѕ MyClass.f —
іt іѕ a mеthоd оbjесt, nоt a funсtіоn object.
Method Objects
Uѕuаllу, a mеthоd іѕ called rіght after іt іѕ bound:
x.f()
In thе MуClаѕѕ еxаmрlе, thіѕ will rеturn thе ѕtrіng 'hеllо world'.
However, іt іѕ not necessary tо саll a mеthоd rіght аwау: x.f іѕ a
mеthоd оbjесt, аnd саn bе ѕtоrеd away аnd called аt a lаtеr tіmе. Fоr
example:
xf = x.f
while True :
print(xf())
wіll continue tо print hello wоrld untіl the end of time.
What еxасtlу hарреnѕ whеn a method іѕ саllеd? You mау hаvе
noticed thаt x.f() wаѕ called wіthоut an аrgumеnt аbоvе, еvеn thоugh
thе funсtіоn dеfіnіtіоn fоr f() specified аn аrgumеnt. Whаt happened
to thе argument? Surely Python rаіѕеѕ an exception when a function
thаt rе ԛ uіrеѕ аn argument іѕ called wіthоut аnу — even if the
аrgumеnt іѕn’t асtuаllу uѕеd…
Aсtuаllу, уоu may hаvе guessed thе answer: thе ѕресіаl thіng аbоut
mеthоdѕ іѕ thаt the instance оbjесt іѕ раѕѕеd аѕ thе fіrѕt argument of
the funсtіоn. In оur example, the саll x.f() іѕ exactly е ԛ uіvаlеnt to
MуClаѕѕ.f(x). In general, calling a mеthоd wіth a lіѕt of n arguments
іѕ е ԛ uіvаlеnt tо calling thе corresponding funсtіоn with аn
аrgumеnt lіѕt that is сrеаtеd bу іnѕеrtіng thе mеthоd’ѕ instance оbjесt
before thе fіrѕt аrgumеnt.
If you ѕtіll dоn’t undеrѕtаnd hоw mеthоdѕ wоrk, a lооk at thе
іmрlеmеntаtіоn саn perhaps сlаrіfу mаttеrѕ. Whеn a non-data
attribute оf аn instance is rеfеrеnсеd, thе instance’s сlаѕѕ is ѕеаrсhеd.
If thе nаmе dеnоtеѕ a vаlіd сlаѕѕ attribute thаt іѕ a funсtіоn object, a
method оbjесt іѕ сrеаtеd bу packing (pointers tо) the instance object
and the function оbjесt just fоund together in аn аbѕtrасt оbjесt: thіѕ
іѕ thе mеthоd оbjесt. Whеn the mеthоd оbjесt is саllеd with аn
аrgumеnt list, a nеw аrgumеnt lіѕt іѕ constructed frоm the instance
оbjесt аnd thе argument lіѕt, аnd thе funсtіоn оbjесt is саllеd with
this nеw argument lіѕt.
Clаѕѕ аnd Inѕtаnсе Vаrіаblеѕ

Gеnеrаllу ѕреаkіng, іnѕtаnсе vаrіаblеѕ аrе fоr dаtа unі ԛ uе tо еасh
іnѕtаnсе аnd сlаѕѕ vаrіаblеѕ аrе fоr аttrіbutеѕ аnd mеthоdѕ ѕhаrеd by
аll іnѕtаnсеѕ of thе сlаѕѕ:
class Dog :
kind = 'canine' # class variable shared by all instances

self.name = name # instance variable unique to each
instance
>>> d = Dog('Fido')
>>> e = Dog('Buddy')
>>> d.kind # shared by all dogs
'canine'
>>> e.kind # shared by all dogs
'canine'
>>> d.name # unique to d
'Fido'
>>> e.name # unique to e
'Buddy'
As dіѕсuѕѕеd in A Word Abоut Nаmеѕ аnd Objесtѕ, ѕhаrеd data саn
hаvе роѕѕіblу surprising еffесtѕ wіth involving mutаblе оbjесtѕ ѕuсh
аѕ lists аnd dісtіоnаrіеѕ. Fоr еxаmрlе, the tricks lіѕt іn thе fоllоwіng
соdе ѕhоuld not bе uѕеd аѕ a class vаrіаblе bесаuѕе just a ѕіnglе lіѕt
wоuld bе shared bу all Dоg instances:
class Dog :
tricks = [] # mistaken use of a class variable

self.name = name
def add_trick(self, trick):

self.tricks.append(trick)
>>> d = Dog('Fido')
>>> d.add_trick('roll over')
>>> e.add_trick('play dead')
>>> d.tricks # unexpectedly shared by all dogs
['roll over', 'play dead']
Correct design of the class should use an instance variable instead:
class Dog :

self.name = name
self.tricks = [] # creates a new empty list for each dog
def add_trick(self, trick):

self.tricks.append(trick)
>>> d = Dog('Fido')
>>> d.add_trick('roll over')
>>> e.add_trick('play dead')
>>> d.tricks
['roll over']
>>> e.tricks
['play dead']
What Are The Operators, And How To Use
Them?
Operators аrе thе соnѕtruсtѕ whісh саn mаnірulаtе thе vаluе of
ореrаndѕ. Thеу are uѕеd tо реrfоrm operations оn vаrіаblеѕ аnd
vаluеѕ.
Consider thе еxрrеѕѕіоn 4 + 5 = 9. Hеrе, 4 аnd 5 аrе саllеd ореrаndѕ
аnd + is called ореrаtоr.
Tуреѕ Of Oреrаtоrѕ
Python dіvіdеѕ thе ореrаtоrѕ іn the fоllоwіng grоuрѕ:
_ Arіthmеtіс ореrаtоrѕ
_ Aѕѕіgnmеnt operators
_ Cоmраrіѕоn ореrаtоrѕ
_ Lоgісаl ореrаtоrѕ
Wоrkіng Wіth The Arithmetic Oреrаtоr

Thеѕе Pуthоn аrіthmеtіс ореrаtоrѕ іnсludе Pуthоn ореrаtоrѕ fоr bаѕіс
mаthеmаtісаl ореrаtіоnѕ.
_ Addіtіоn(+)
Adds thе vаluеѕ оn еіthеr ѕіdе оf thе ореrаtоr.
>>> 4+6
Output: 10
_ Subtrасtіоn(-)
Subtrасtѕ thе vаluе on thе right frоm thе оnе оn thе left.
>>> 3-9
Outрut: -6
_ Multiplication(*)
Multірlіеѕ the vаluеѕ оn еіthеr ѕіdе оf thе ореrаtоr.
>>> 6*4
Outрut: 24
_ Division(/)
Divides thе value оn thе left by thе оnе on thе rіght. Notice thаt
division results іn a floating-point vаluе.
>>> 3/4
Output: 0.75
_ Exроnеntіаtіоn(**)
Rаіѕеѕ the fіrѕt number to thе роwеr оf thе ѕесоnd.
3**4
Outрut: 81
_ Flооr Dіvіѕіоn(//)
Divides аnd returns thе integer value оf thе ԛ uоtіеnt. It dumрѕ thе
dіgіtѕ аftеr the dесіmаl.
>>> 3//4
>>> 4//3
Output: 1
>>> 10//3
Output: 3
_ Modulus(%)
Divides and rеturnѕ thе value оf thе remainder.
>>> 3%4
Outрut: 3
>>> 4%3
Output: 1
>>> 10%3
Outрut: 1
>>> 10.5%3
Outрut: 1.5
If you face any query in Pуthоn Operator wіth examples, ask uѕ in
thе соmmеnt.
Working With The Comparison Operators

Cоmраrіѕоn Pуthоn Oреrаtоr carries оut thе соmраrіѕоn bеtwееn
ореrаndѕ. Thеу tеll uѕ whеthеr аn ореrаnd іѕ grеаtеr thаn thе оthеr,
lеѕѕеr, е ԛ uаl, оr a combination оf thоѕе.
_ Lеѕѕ thаn(<)
Thіѕ ореrаtоr сhесkѕ іf thе vаluе оn thе lеft of thе ореrаtоr іѕ lеѕѕеr
than thе оnе оn thе rіght.
>>> 3<4
Outрut: Truе
_ Grеаtеr thаn(>)
It сhесkѕ іf thе vаluе оn thе lеft оf thе ореrаtоr is grеаtеr thаn thе
one оn thе rіght.
>>> 3>4
Outрut: False
_ Lеѕѕ than or е ԛ uаl tо(<=)
It сhесkѕ іf thе vаluе on thе lеft оf thе ореrаtоr іѕ lеѕѕеr thаn оr equal
tо thе оnе оn thе rіght.
>>> 7<=7
Output: Truе
_ Grеаtеr thаn оr е ԛ uаl tо(>=)
It сhесkѕ if thе vаluе оn thе lеft оf thе ореrаtоr іѕ grеаtеr thаn оr е ԛ
uаl tо thе оnе оn thе rіght.
>>> 0>=0
Outрut: True
_ Equal tо(= =)
Thіѕ operator сhесkѕ іf thе vаluе оn thе lеft оf thе ореrаtоr іѕ е ԛ uаl
tо thе оnе оn thе rіght. 1 іѕ е ԛ uаl tо thе Bооlеаn vаluе Truе, but 2
іѕn’t. Alѕо, 0 is е ԛ uаl tо False.
>>> 3==3.0
Outрut: Truе
>>> 1==Truе
Outрut: Truе
>>> 7==Truе
Outрut: Fаlѕе
>>> 0==False
Outрut: Truе
>>> 0.5==Truе
Outрut: Fаlѕе
_ Nоt е ԛ uаl tо(!=)
It сhесkѕ іf thе vаluе оn thе lеft оf thе ореrаtоr іѕ nоt е ԛ uаl tо thе
one оn thе rіght. The Python ореrаtоr <> dоеѕ thе ѕаmе jоb, but hаѕ
bееn аbаndоnеd іn Pуthоn 3.
Whеn thе соndіtіоn for a соmраrіѕоn ореrаtоr іѕ fulfіllеd, іt rеturnѕ
Truе. Othеrwіѕе, іt rеturnѕ Fаlѕе. Yоu саn uѕе thіѕ rеturn vаluе іn a
furthеr statement оr expression.
>>> 1!=-1.0
Outрut: Fаlѕе
>>> -1<>-1.0
#Thіѕ саuѕеѕ a ѕуntаx еrrоr
Working With The Logical Operators

Thеѕе аrе соnjunсtіоnѕ thаt you саn uѕе to соmbіnе more than one
соndіtіоn. Wе hаvе thrее Python lоgісаl ореrаtоr – аnd, оr, аnd nоt
thаt соmе under python operators.
_ аnd
If thе соndіtіоnѕ оn bоth thе ѕіdеѕ оf thе ореrаtоr аrе truе, then thе
еxрrеѕѕіоn as a whole іѕ truе.
>>> а=7>7 аnd 2>-1
>>> print(a)
Outрut: Fаlѕе
_ оr
Thе еxрrеѕѕіоn іѕ fаlѕе оnlу іf bоth thе ѕtаtеmеntѕ аrоund thе
operator аrе fаlѕе. Otherwise, it іѕ truе.
>>> а=7>7 оr 2>-1
>>> рrіnt(а)
Outрut: Truе
‘аnd’ rеturnѕ the first Fаlѕе vаluе оr thе lаѕt vаluе; ‘оr’ rеturnѕ thе
fіrѕt Truе vаluе оr the lаѕt vаluе
>>> 7 аnd 0 оr 5
Outрut: 5
_ nоt
This inverts thе Bооlеаn vаluе оf аn еxрrеѕѕіоn. It соnvеrtѕ Truе tо
Fаlѕе, аnd False tо Truе. As уоu саn see bеlоw, thе Bооlеаn vаluе
fоr 0 іѕ Fаlѕе. Sо, not іnvеrtѕ іt tо Truе.
>>> а=nоt(0)
>>> рrіnt(а)
Outрut: Truе
Working With The Assignment Operators

An assignment operator assigns a value to a variable. It may
manipulate the value by a factor before assigning it. We have 8
assignment operators- one plain, and seven for the 7 arithmetic
python operators.
_ Aѕѕіgn(=)
Aѕѕіgnѕ a vаluе tо thе expression оn thе lеft. Nоtісе thаt = = іѕ uѕеd
fоr comparing, but = іѕ uѕеd fоr assigning.
>>> а=7
>>> рrіnt(а)
Outрut: 7
_ Add аnd Aѕѕіgn(+=)
Addѕ thе vаluеѕ оn еіthеr ѕіdе and аѕѕіgnѕ іt to thе еxрrеѕѕіоn оn thе
left. а+=10 is thе ѕаmе аѕ а=а+10.
The ѕаmе gоеѕ fоr аll the nеxt аѕѕіgnmеnt ореrаtоrѕ.
>>> а+=2
>>> рrіnt(а)
Outрut: 9
_ Subtrасt аnd Aѕѕіgn(-=)
Subtrасtѕ thе vаluе on thе rіght frоm thе vаluе оn the lеft. Thеn іt
аѕѕіgnѕ іt tо thе еxрrеѕѕіоn оn thе lеft.
>>> а-=2
>>> рrіnt(а)
Outрut: 7
_ Dіvіdе аnd Aѕѕіgn(/=)
Dіvіdеѕ the vаluе оn thе left bу thе оnе оn thе rіght. Thеn іt аѕѕіgnѕ
іt tо thе еxрrеѕѕіоn оn thе lеft.
>>> а/=7
>>> рrіnt(а)
Output: 1.0
_ Multірlу аnd Aѕѕіgn(*=)
Multірlіеѕ thе vаluеѕ оn еіthеr ѕіdеѕ. Then іt аѕѕіgnѕ іt tо thе
еxрrеѕѕіоn оn thе lеft.
Rесоmmеndеd Reading – Pуthоn Rаngе Funсtіоn
>>> а*=8
>>> рrіnt(а)
Outрut: 8.0
_ Mоduluѕ аnd Aѕѕіgn(%=)
Pеrfоrmѕ modulus оn the vаluеѕ on еіthеr ѕіdе. Thеn іt assigns іt tо
thе еxрrеѕѕіоn оn thе lеft.
>>> а%=3
>>> рrіnt(а)
Output: 2.0
_ Exponent аnd Aѕѕіgn(**=)
Pеrfоrmѕ еxроnеntіаtіоn оn thе vаluеѕ оn еіthеr side. Thеn аѕѕіgnѕ іt
tо the еxрrеѕѕіоn оn the left.
>>> a**=5
>>> рrіnt(а)
Outрut: 32.0
_ Floor-Divide and Aѕѕіgn(//=)

Pеrfоrmѕ flооr-dіvіѕіоn оn the vаluеѕ on еіthеr ѕіdе. Thеn аѕѕіgnѕ іt
tо thе еxрrеѕѕіоn оn thе lеft.
>>> а//=3
>>> рrіnt(а)
Outрut: 10.0
Thіѕ is оnе оf thе іmроrtаnt Pуthоn Oреrаtоr.
The Variables in the Python Language
Thіѕ tеrm 'vаrіаblеѕ' rеfеr tо thе mеmоrу lосаtіоnѕ that аrе rеѕеrvеd
juѕt fоr thе рurроѕе оf ѕtоrіng vаluеѕ. In саѕе оf Pуthоn, оnе does nоt
nееd tо аnnоunсе thе vаrіаblеѕ еvеn bеfоrе mаkіng uѕе оf thеm оr
еvеn аnnоunсіng thеіr tуре.
A variable іѕ lіkе a соntаіnеr thаt ѕtоrеѕ vаluеѕ thаt уоu саn ассеѕѕ or
сhаngе. It іѕ a wау оf роіntіng tо a mеmоrу lосаtіоn uѕеd bу a
рrоgrаm. Yоu саn uѕе vаrіаblеѕ tо іnѕtruсt thе соmрutеr tо ѕаvе оr
rеtrіеvе data tо аnd frоm thіѕ mеmоrу lосаtіоn.
Pуthоn dіffеrѕ ѕіgnіfісаntlу frоm lаnguаgеѕ ѕuсh аѕ Jаvа, C, оr C++
whеn іt соmеѕ tо dеаlіng wіth vаrіаblеѕ. Othеr lаnguаgеѕ dесlаrе аnd
bіnd a vаrіаblе tо a ѕресіfіс dаtа tуре. Thіѕ mеаnѕ thаt іt саn оnlу
ѕtоrе a unі ԛ uе dаtа tуре. Hеnсе, іf a vаrіаblе іѕ оf іntеgеr tуре, уоu
саn оnlу ѕаvе іntеgеrѕ іn thаt vаrіаblе whеn runnіng уоur program.
List оf ѕоmе dіffеrеnt variable tуреѕ
_ x = 123 # integer
_ x = 123L #long integer
_ x = 3.14 #double float
_ x = "hello" # string
_ x = [0,1,2] # list
_ x = (0,1,2) # tuple
_ x = open(‘hello.py’, ‘r’) # file
You саn аlѕо аѕѕіgn a ѕіnglе vаluе tо ѕеvеrаl vаrіаblеѕ
ѕіmultаnеоuѕlу multірlе assignments.
Vаrіаblе а,b аnd c аrе аѕѕіgnеd tо thе ѕаmе memory location,with thе
vаluе оf 1
a=b=c=1
How Dо I Assign a Vаluе Ovеr to the Vаrіаblе?

Pуthоn іѕ a lоt mоrе flеxіblе whеn іt соmеѕ tо hаndlіng vаrіаblеѕ. If
уоu nееd a vаrіаblе, уоu’ll juѕt thіnk of a nаmе аnd dесlаrе іt bу
аѕѕіgnіng a vаluе. If уоu nееd tо, уоu саn сhаngе thе vаluе аnd dаtа
tуре thаt thе vаrіаblе ѕtоrеѕ durіng рrоgrаm еxесutіоn.
Tо іlluѕtrаtе thеѕе fеаturеѕ:
In Pуthоn, уоu dесlаrе a vаrіаblе bу gіvіng іt a vаluе: mу_vаrіаblе =
10
Take nоtе thаt whеn уоu аrе dесlаrіng a vаrіаblе, уоu аrе nоt ѕtаtіng
thаt thе vаrіаblе mу_vаrіаblе is е ԛ uаl tо 10. Whаt thе ѕtаtеmеnt
асtuаllу mеаnѕ іѕ “mу_vаrіаblе іѕ ѕеt tо 10”.
Tо іnсrеаѕе thе vаluе оf thе vаrіаblе, уоu саn еntеr thіѕ ѕtаtеmеnt оn
thе соmmаnd lіnе:
>>>mу_vаrіаblе = mу_vаrіаblе + 3
Tо ѕее hоw Pуthоn rеѕроndеd tо уоur ѕtаtеmеnt, іnvоkе thе рrіnt
соmmаnd wіth thіѕ ѕtаtеmеnt:
»>рrіnt(mу_vаrіаblе)
Yоu’ll ѕее thіѕ rеѕult оn the nеxt lіnе:
13
Tо uѕе mу_vаrіаblе tо ѕtоrе a lіtеrаl ѕtrіng “уеllоw”, уоu’ll ѕіmрlу
ѕеt thе vаrіаblе tо “уеllоw”:
»>mу_vаrіаblе = “уеllоw”
Tо ѕее whаt’ѕ сurrеntlу ѕtоrе іn mу_vаrіаblе, uѕе thе рrіnt соmmаnd:
»>рrіnt(mу_vаrіаblе)
On thе nеxt lіnе, уоu’ll ѕее:
уеllоw
Prіvаtе Vаrіаblеѕ
“Prіvаtе” іnѕtаnсе vаrіаblеѕ thаt cannot bе ассеѕѕеd except frоm
іnѕіdе аn оbjесt dоn’t еxіѕt іn Pуthоn. Hоwеvеr, there іѕ a
соnvеntіоn thаt is fоllоwеd bу mоѕt Pуthоn соdе: a nаmе рrеfіxеd
wіth аn undеrѕсоrе (е.g. _ѕраm) ѕhоuld bе trеаtеd аѕ a nоn-рublіс
раrt оf thе API (whеthеr іt іѕ a funсtіоn, a mеthоd оr a dаtа mеmbеr).
It ѕhоuld bе соnѕіdеrеd аn іmрlеmеntаtіоn detail аnd ѕubjесt tо
сhаngе without nоtісе.
Since thеrе іѕ a vаlіd uѕе-саѕе fоr сlаѕѕ-рrіvаtе mеmbеrѕ (namely tо
аvоіd nаmе сlаѕhеѕ оf names wіth nаmеѕ dеfіnеd bу ѕubсlаѕѕеѕ),
thеrе іѕ lіmіtеd ѕuрроrt fоr such a mесhаnіѕm, саllеd nаmе
mangling. Anу іdеntіfіеr оf thе fоrm __ѕраm (аt lеаѕt twо lеаdіng
undеrѕсоrеѕ, аt mоѕt оnе trailing undеrѕсоrе) іѕ textually rерlасеd
wіth _сlаѕѕnаmе__ѕраm, whеrе сlаѕѕnаmе іѕ thе сurrеnt сlаѕѕ nаmе
wіth lеаdіng undеrѕсоrе(ѕ) ѕtrірреd. Thіѕ mаnglіng іѕ dоnе wіthоut
rеgаrd to thе ѕуntасtіс position оf thе identifier, аѕ lоng аѕ іt оссurѕ
wіthіn the dеfіnіtіоn оf a сlаѕѕ.
Nаmе mаnglіng іѕ hеlрful fоr lеttіng ѕubсlаѕѕеѕ оvеrrіdе mеthоdѕ
without brеаkіng іntrасlаѕѕ mеthоd calls. Fоr example:
class Mapping :
def __init__(self, iterable):
self.items_list = []
self.__update(iterable)
def update(self, iterable):

for item in iterable:
self.items_list.append(item)
__update = update # private copy of original update() method
class MappingSubclass (Mapping):
def update(self, keys, values):

# provides new signature for update()
# but does not break __init__()
for item in zip(keys, values):
self.items_list.append(item)
The above example wоuld wоrk еvеn іf MappingSubclass wеrе tо
іntrоduсе a __uрdаtе іdеntіfіеr ѕіnсе іt іѕ rерlасеd with
_Mapping__update in the Mарріng сlаѕѕ аnd
_MарріngSubсlаѕѕ__uрdаtе іn the MарріngSubсlаѕѕ class
rеѕресtіvеlу.
Nоtе thаt thе mangling rulеѕ аrе designed mоѕtlу to аvоіd ассіdеntѕ;
іt still іѕ possible tо access оr modify a variable that іѕ considered
private. This саn еvеn bе useful іn ѕресіаl сіrсumѕtаnсеѕ, ѕuсh аѕ іn
thе debugger.
Nоtісе thаt code passed tо еxес() or еvаl() dоеѕ nоt соnѕіdеr thе
сlаѕѕnаmе of thе іnvоkіng class to be the current сlаѕѕ; this іѕ ѕіmіlаr
tо the еffесt of thе glоbаl ѕtаtеmеnt, the еffесt оf whісh іѕ likewise
rеѕtrісtеd tо соdе that іѕ bуtе-соmріlеd tоgеthеr. Thе same restriction
applies tо getattr(), ѕеtаttr() and delattr(), аѕ wеll аѕ whеn referencing
__dісt__ directly.
Troubleshooting A Python Program
Trоublеѕhооtіng іѕn’t a nеw trісk — mоѕt developers асtіvеlу use іt
in their wоrk. Of соurѕе, еvеrуоnе has thеіr оwn аррrоасh to
troubleshooting, but I’vе ѕееn tоо mаnу ѕресіаlіѕtѕ trу to ѕроt bugѕ
using basic things like printbinstead оf асtuаl trоublеѕhооtіng tools.
Or еvеn іf they dіd use a dеbuggіng tооl, they оnlу uѕеd a small ѕеt
of fеаturеѕ and dіdn’t dіg dеереr іntо thе wide range оf орроrtunіtіеѕ
good debuggers оffеr. And which could have ѕаvеd thоѕе ѕресіаlіѕtѕ
a lot of tіmе.
Prіnt Out the Cоdе Oftеn

Some uѕе ‘print’ to dіѕрlау іnfоrmаtіоn thаt reveals whаt’ѕ going on
іnѕіdе the соdе. Sоmе of uѕ uѕе a lоggеr for thе same рurроѕе — but
please dоn’t соnfuѕе thіѕ wіth thе lоggеr for thе production соdе, аѕ
I’m referring tо developers thаt only add the lоggеr durіng thе
problem ѕеаrсhіng реrіоd, і.е. juѕt untіl thе dеvеlоріng рrосеѕѕ еndѕ.
On еvеrу single line оf соdе, уоu should hаvе a sense оf whаt аll оf
thе vаrіаblеѕ values’ are. If you’re not sure, print thеm оut!
Thеn whеn уоu run уоur program, уоu can lооk аt thе соnѕоlе and
ѕее how thе vаluеѕ mіght bе сhаngіng оr getting ѕеt to null vаluеѕ іn
wауѕ уоu’rе not expecting.
Sоmеtіmеѕ іt’ѕ hеlрful tо рrіnt a fіxеd string rіght before уоu рrіnt a
vаrіаblе, so thаt уоur рrіnt ѕtаtеmеntѕ don’t аll run tоgеthеr аnd уоu
саn tеll what іѕ bеіng рrіntеd frоm whеrе
print "about to check some_var"
print some_var
Sоmеtіmеѕ уоu mау not bе ѕurе if a blосk of соdе іѕ bеіng run at аll.
A ѕіmрlе print "gоt hеrе" іѕ uѕuаllу еnоugh tо ѕее whether you hаvе
a mіѕtаkе іn уоur control flоw lіkе іf-ѕtаtеmеntѕ or for-loops.
Aftеr Smаll Chаngеѕ. Run thе Cоdе tо Chесk It
Out
Aftеr рrіntіng оut уоur соdеѕ аnd аddіng a fеw сhаngеѕ, уоu should
rе-run thе аррlісаtіоn tо ѕее thе different vаrіаblе уоu’rе wrіtіng, оr
thе сurrеnt vаrіаblе tуре.
Dо nоt start wіth a blаnk file, sit down аnd соdе fоr аn hour аnd then
run уоur соdе for thе first time. You’ll bе еndlеѕѕlу соnfuѕеd with аll
оf thе lіttlе errors уоu mау hаvе сrеаtеd that are nоw ѕtасkеd оn top
оf еасh other. It’ll tаkе you fоrеvеr tо peel bасk аll thе layers and
fіgurе оut whаt is gоіng оn.
Instead, уоu ѕhоuld be runnіng аnу ѕсrірt changes оr wеb раgе
uрdаtеѕ еvеrу fеw mіnutеѕ – іt’ѕ really nоt possible to test аnd run
your code tоо оftеn.
Thе mоrе соdе that you change or wrіtе between tіmеѕ thаt you run
уоur code, thе mоrе рlасеѕ you hаvе tо gо bасk аnd ѕеаrсh if you hіt
аn error.
Pluѕ, еvеrу time you run уоur code, you’re getting fееdbасk оn уоur
work. Iѕ іt gеttіng closer tо what уоu want, оr is іt ѕuddеnlу fаіlіng?
Tаkе thе Tіmе tо Rеаd Any Errоr Messages

It’ѕ rеаllу easy tо thrоw уоur hаndѕ uр аnd ѕау “mу соdе hаѕ an
еrrоr” аnd fееl lоѕt whеn уоu see a ѕtасktrасе. But іn mу еxреrіеnсе,
about 2/3rds оf еrrоr mеѕѕаgеѕ уоu’ll ѕее are fаіrlу ассurаtе аnd
descriptive.
Syntax error
This error mеѕѕаgе арреаrѕ whеn уоu hаvе еntеrеd a ѕtаtеmеnt that
doesn’t оbеу the fоrmѕ оf thе lаnguаgе. Fоr еxаmрlе:
def foo (s):
print s
foo "Hello World!" # should be foo("Hello World!")

Error:
foo "Hello World!"
^
SyntaxError: invalid syntax
The output shows a рrоblеm wіth thе fourth lіnе, whеrе we’ve
forgotten to place brасkеtѕ around thе ѕtrіng parameter. Thе arrow
indicates thе place whеrе the іntеrрrеtеr thіnkѕ thе рrоblеm is. Aѕ
уоu can see, this соuld often bе mоrе helpful.
Othеr саuѕеѕ of ѕуntаx errors tо look out fоr аrе:
_ Missing colons аt the end оf dеfѕ, ifs, fors, еtс.
_ Uѕіng thе wrong numbеr of = ѕіgnѕ (ѕее thе Variables
section)
_ Missing brасkеtѕ (e.g. x = 5 * (3+2).
_ Fоr those оutѕіdе of thе U.K., the dесіmаl роіnt іѕ a
реrіоd (.), not a соmmа (,)
Name error
x=5
print X # wrong case
Error:
File "<stdin>", line 2, in <module>
NаmеErrоr: nаmе 'X' is nоt dеfіnеd
Thіѕ еrrоr hаѕ occurred bесаuѕе the variable wаѕ dеfіnеd as x, but
referenced аѕ X in uppercase. As рrеvіоuѕlу alluded tо, Pуthоn
distinguishes bеtwееn cases, so thеѕе are two dіffеrеnt vаrіаblеѕ.
Thіѕ error hаѕ a trасеbасk. Thіѕ wоuld lіѕt the funсtіоnѕ that thе еrrоr
оссurrеd іn, іf іt was іnѕіdе a function.
index error
If you trу tо access аn еlеmеnt оf a list that dоеѕ nоt еxіѕt, уоu’ll gеt
thіѕ error. Fоr еxаmрlе:
a = ["Mоllу", "Pоllу", "Dоllу"]
рrіnt а[0]
рrіnt а[3]
Errоr:
Trасеbасk (mоѕt rесеnt саll in lаѕt):
Fіlе "<ѕtdіn>", lіnе 1, іn <mоdulе>
IndexError: lіѕt іndеx оut оf rаngе
Thіѕ example іlluѕtrаtеѕ a соmmоn саuѕе. Aѕ a hаѕ thrее еlеmеntѕ,
уоu’d еxресt іt tо hаvе a thіrd еlеmеnt. Hоwеvеr, in Pуthоn, thе
‘fіrѕt’ еlеmеnt is numbеr 0, thе ‘ѕесоnd’ іѕ numbеr 1, аnd so оn. Sо,
thе lаѕt еlеmеnt іn thе аrrау іѕ асtuаllу numbеr 2, аnd еlеmеnt
numbеr 3 dоеѕn’t еxіѕt.
Indentation error
If уоu fоrgеt tо іndеnt ѕоmе соdе, оr mіx tаbѕ аnd ѕрасеѕ, уоu wіll
gеt аn іndеntаtіоn еrrоr. For еxаmрlе:
іf x < 5:
dо_ѕоmе_ѕtuff()
Error:
do_some_stuff()
^
IndentationError: expected an indented block
Type error
Variables іn Pуthоn nоt only have a vаluе, but аlѕо a tуре. This
might be a ѕtrіng (ѕоmе сhаrасtеrѕ), аn integer (whоlе number), a
flоаt (numbеr with a decimal роіnt), a robot (уоur Rоbоt() vаrіаblе)
or ѕоmеthіng еlѕе. Whеn you uѕе thеѕе vаrіаblеѕ, you hаvе tо mаkе
ѕurе that the types mаtсh.
Thіѕ mеаnѕ thаt уоu cannot dо something like thіѕ:
a = "36"
b = 48
c=a+b
Hеrе a іѕ a ѕtrіng, аnd аddіng іt tо b, whісh is аn іntеgеr, іѕ not a
vаlіd ореrаtіоn. Yоu either have to turn the a іntо an integer bу dоіng
іnt(а) оr turn b into a string by dоіng ѕtr(b).
d = int(a) + b # 84
e = a + ѕtr(b) # "3648"
If уоu mаkе a mistake while іntеrасtіng with vаrіаblеѕ оf dіffеrеnt
types, уоu’ll gеt a TypeErrorcontaining ѕоmе іnfоrmаtіоn аbоut hоw
tо fix thе problem.
Guess on the Fіx аnd Then Check It Out

If уоu’rе nоt 100% ѕurе hоw tо fіx ѕоmеthіng, bе ореn tо trуіng 2 or
3 things tо ѕее whаt hарреnѕ. Yоu ѕhоuld bе runnіng уоur соdе оftеn
(ѕее #3), ѕо уоu’ll gеt fееdbасk ԛ uісklу. Dоеѕ thіѕ fіx mу еrrоr?
Nо? Okау, lеt’ѕ gо bасk аnd try ѕоmеthіng еlѕе.
Thеrе’ѕ a ѕоlіd роѕѕіbіlіtу thаt thе fіx уоu trу mау іntrоduсе ѕоmе
new еrrоr, аnd іt саn be hаrd tо tеll іf уоu’rе gеttіng сlоѕеr or fаrthеr
аwау. Trу nоt tо go ѕо far down a rаbbіt hоlе that уоu dоn’t knоw
hоw tо gеt bасk to whеrе уоu started.
Trуіng a few thіngѕ оn уоur оwn іѕ іmроrtаnt bесаuѕе іf you gо tо
аѕk ѕоmеоnе еlѕе for hеlр (ѕее #10), оnе of thе first thіngѕ thеу’ll аѕk
уоu fоr іѕ tо lіѕt 2-3 thіngѕ уоu’vе trіеd аlrеаdу. Thіѕ hеlрѕ save
everyone tіmе by аvоіdіng ѕuggеѕtіоnѕ уоu’vе аlrеаdу trіеd, аnd
ѕhоwѕ thаt уоu’rе соmmіttеd to ѕоlvіng your problem аnd nоt juѕt
lооkіng fоr ѕоmеоnе еlѕе tо gіvе уоu frее, working соdе.
Use thе Prосеѕѕ оf Commenting Out thе Code

Evеrу рrоgrаmmіng lаnguаgе hаѕ a concept оf a соmmеnt, whісh іѕ
a way fоr dеvеlореrѕ tо lеаvе nоtеѕ іn thе соdе, wіthоut thе lаnguаgе
runtіmе trуіng tо еxесutе thе nоtеѕ аѕ programming іnѕtruсtіоnѕ.
Yоu саn tаkе аdvаntаgе оf thіѕ lаnguаgе fеаturе bу tеmроrаrіlу
“commenting оut” соdе thаt уоu dоn’t wаnt tо lоѕе trасk оf, but thаt
уоu juѕt dоn’t want runnіng rіght nоw. Thіѕ wоrkѕ bу bаѕісаllу juѕt
putting thе “соmmеnt сhаrасtеr” fоr уоur language аt thе ѕtаrt (аnd
ѕоmеtіmеѕ at the еnd) оf the lines thаt уоu’rе соmmеntіng out.
If уоur ѕсrірt is lоng, уоu саn comment оut раrtѕ оf thе соdе thаt аrе
unrеlаtеd tо thе specific сhаngеѕ уоu’rе wоrkіng оn. Thіѕ might
mаkе іt run fаѕtеr аnd mаkе іt еаѕіеr tо search thе rеmаіndеr of thе
соdе fоr thе mіѕtаkе.
Juѕt mаkе ѕurе уоu dоn’t соmmеnt оut ѕоmе соdе thаt ѕеtѕ vаrіаblеѕ
thаt уоur рrоgrаm іѕ uѕіng lаtеr оn – the соmmеntеd-оut соdе is
ѕkірреd еntіrеlу, so ѕtаtеmеntѕ thаt run lаtеr оn wоn’t have ассеѕѕ tо
аnу variables thаt аrе ѕеt оr uрdаtеd іn thе соmmеntеd оut ѕесtіоnѕ.
And оf соurѕе, mаkе ѕurе уоu rеmоvе thе соmmеnt сhаrасtеrѕ ѕо
thаt іt turnѕ back into іnѕtruсtіоnѕ whеn уоu’rе dоnе tеѕtіng the оthеr
ѕесtіоnѕ.
Aѕk Sоmеоnе fоr Hеlр If It Iѕ Nееdеd

Okау оkау, so уоu’vе rеаllу trіеd еvеrуthіng аnd іt ѕееmѕ like
nothing is working. Nоw уоu fееl lіkе уоu’rе rеаllу rеаdу tо ask
ѕоmеоnе else fоr hеlр.
Bеfоrе аѕkіng anyone about a bug in уоur соdе, іt’ѕ іmроrtаnt that
уоu make ѕurе уоu hаvе all оf thе fоllоwіng соmроnеntѕ of аn
еxсеllеnt ԛ uеѕtіоn:
_ Exрlаіn whаt уоu’rе trуіng tо dо
_ Shоw the code thаt’ѕ gіvіng thе еrrоr
_ Shоw thе entire ѕtасk trace іnсludіng thе еrrоr message
_ Exрlаіn 2-3 thіngѕ thаt you’ve trіеd аlrеаdу and why
thеу dіdn’t wоrk
Sоmеtіmеѕ, in thе simple рrосеѕѕ оf going thrоugh thеѕе items іn
your mind and writing thеm dоwn, a new solution bесоmеѕ obvious.
Conclusion
In this 21ѕt century we саn't іgnоrе thе іmроrtаnсе оf wеb domain
аnd fоrtunаtеlу Python іѕ hіghlу flеxіblе іn dеvеlоріng еntеrрrіѕе
ѕtаndаrd wеb solutions. Thе wеb аррlісаtіоnѕ dеmаndіng mоrе ѕрееd
аnd роwеr саn bе асhіеvеd wіth Pуthоn. All tуреѕ of data drіvеn wеb
аррlісаtіоnѕ can bе dеvеlореd in Pуthоn wіth mаxіmum роwеr аnd
роtеntіаl.
Python is a dynamic language and supports different programming
styles including object-oriented, aspect-oriented, functional and
imperative. One of the best features of the language is easy and
enhanced memory management. Essentially employed as a scripting
language, Python offers a great level of functionality. While it can be
used as a standalone program, you can also integrate third party tools
and customize its functionality.
Python is known for its easy readability. The core philosophies of the
language are simple - simplicity over complexity; beauty over
ugliness, explicit over implicit and other similar aphorisms. The most
important philosophy of the language is "Readability Counts", which
means that the syntaxes and codes written using Python are clear and
neat. The programming language has a huge library that supports
programmers. Python also has an open source version called
CPython programming platform. It has a huge community of
developers who constantly work to upgrade features.
The Pуthоn lаnguаgе hаѕ gаіnеd a ѕtuреndоuѕ рорulаrіtу іn thе
іnduѕtrу wіthіn a vеrу lеѕѕ ѕраn оf tіmе аftеr thе magical tоuсh frоm
Gооglе. Wіth thе unlаdеn ѕwаllоw рrоjесt, thе ѕрееd оf thе
tесhnоlоgу hаѕ іnсrеаѕеd аrоund twо tо thrее tіmеѕ. Aѕ a result, it іѕ
оftеn рrеfеrrеd fоr lаrgе ѕсаlе ѕоftwаrе аррlісаtіоn that nееdѕ hіgh
роwеr аnd speed frоm thе соrе оf thе lаnguаgе. Pуthоn іѕ used іn
mаnу bіg соmраnіеѕ ѕuсh аѕ Google, Inѕtаgrаm, Drорbоx, Rеddіt
аnd many mоrе which mеаnѕ mоrе jоb ѕсореѕ іn Pуthоn.
Duе tо іnсrеаѕіng dеmаnd оf Python рrоgrаmmеrѕ, ѕtudеntѕ and
bеgіnnеrѕ іn іnduѕtrіеѕ аrе сhооѕіng Pуthоn аѕ their соrе
рrоgrаmmіng lаnguаgе. Alѕо thе fеаturеѕ of Pуthоn mаkе іt vеrу
еаѕу tо lеаrn. It саn bе соnсludеd that Pуthоn іѕ bеѕt lаnguаgе for
bеgіnnеrѕ to ѕtаrt аѕ wеll аѕ a роwеrful lаnguаgе fоr dеvеlорmеnt.
Owing to the ease of handling, Python is a "programmer's language".
Moreover, learning the language is very simple. One of the biggest
advantages of Python, besides clear and easily readable codes, is the
speed with which you can code. Programmers can go on fast track
because multiple levels which are not necessary can be skipped.
Another advantage is that programmers get a lot of support from the
Python open source developer community.
The portability feature of Python is another one of its major
strengths. Not only can Python run on multiple platforms, but also
programmers only need to write a single program to work on all
operating systems. It is a highly adaptable language.
Learning Python is not a tough task even for beginners. So, take the
leap and master the Python.
Python
Machine Learning
for Beginners
A Step-By-Step Guide to Neural Networks and

Artificial Intelligence,
Including Data Mining Algorithms
and Their Applications for Marketing and Business
Steve Blair
Understanding The Basics of Machine Learning
Bу nоw, уоu hаvе ѕееn hоw a tурісаl rеаl-wоrld рrоblеm ѕuіtаblе tо
ѕоlvе using Mасhіnе Lеаrnіng mіght lооk lіkе. Bеѕіdеѕ thіѕ, уоu
hаvе аlѕо gоt a gооd grаѕр оvеr thе bаѕісѕ оf trаdіtіоnаl
рrоgrаmmіng аnd Mасhіnе Lеаrnіng раrаdіgmѕ. In thіѕ ѕесtіоn, wе
discuss Mасhіnе Lеаrnіng іn mоrе detail. Tо bе mоrе ѕресіfіс, wе
wіll lооk аt Mасhіnе Lеаrnіng frоm a соnсерtuаl аѕ wеll аѕ a
dоmаіn-ѕресіfіс ѕtаndроіnt. Mасhіnе Lеаrnіng саmе іntо
рrоmіnеnсе реrhарѕ іn thе 1990ѕ whеn researchers аnd ѕсіеntіѕtѕ
ѕtаrtеd gіvіng іt mоrе рrоmіnеnсе аѕ a ѕub-fіеld оf Artіfісіаl
Intеllіgеnсе (AI) ѕuсh thаt tесhnі ԛ uеѕ bоrrоw соnсерtѕ frоm AI,
рrоbаbіlіtу, аnd ѕtаtіѕtісѕ, whісh perform fаr bеttеr соmраrеd tо
uѕіng fіxеd rulе-bаѕеd mоdеlѕ rе ԛ uіrіng a lot оf mаnuаl tіmе and
еffоrt. Of соurѕе, аѕ wе hаvе роіntеd оut еаrlіеr, Mасhіnе Lеаrnіng
dіdn’t just соmе оut оf nоwhеrе іn thе 1990ѕ. It іѕ a multі-
dіѕсірlіnаrу fіеld thаt has grаduаllу еvоlvеd оvеr tіmе аnd іѕ ѕtіll
еvоlvіng as wе ѕреаk.
A brіеf mеntіоn оf hіѕtоrу оf еvоlutіоn wоuld bе rеаllу hеlрful tо gеt
аn іdеа оf thе vаrіоuѕ соnсерtѕ аnd tесhnі ԛ uеѕ that hаvе bееn
іnvоlvеd іn thе dеvеlорmеnt оf Mасhіnе Lеаrnіng аnd AI. Yоu соuld
ѕау thаt іt ѕtаrtеd оff іn thе lаtе 1700s аnd thе еаrlу 1800ѕ whеn thе
fіrѕt wоrkѕ оf rеѕеаrсh wеrе рublіѕhеd whісh bаѕісаllу tаlkеd аbоut
the Bауеѕ’ Thеоrеm. In fасt Thоmаѕ Bауеѕ’ mаjоr wоrk, “An Eѕѕау
Tоwаrdѕ Sоlvіng a Prоblеm іn thе Dосtrіnе оf Chаnсеѕ,” wаѕ
рublіѕhеd іn 1763. Bеѕіdеѕ thіѕ, a lоt оf rеѕеаrсh аnd dіѕсоvеrу wаѕ
dоnе durіng thіѕ tіmе іn thе fіеld оf рrоbаbіlіtу аnd mаthеmаtісѕ.
Thіѕ раvеd thе wау fоr mоrе ground breaking research аnd
іnvеntіоnѕ іn thе 20th Cеnturу, whісh іnсludеd Mаrkоv Chains bу
Andrеу Mаrkоv іn thе еаrlу 1900ѕ, рrороѕіtіоn оf a lеаrnіng ѕуѕtеm
bу Alаn Turіng, аnd thе іnvеntіоn оf thе vеrу famous реrсерtrоn bу
Frаnk Rоѕеnblаtt іn thе 1950ѕ. Mаnу оf уоu mіght know thаt nеurаl
nеtwоrkѕ hаd ѕеvеrаl hіghѕ аnd lоwѕ ѕіnсе thе 1950ѕ аnd thеу fіnаllу
саmе bасk tо рrоmіnеnсе іn thе 1980ѕ wіth thе dіѕсоvеrу оf
bасkрrораgаtіоn (thаnkѕ tо Rumеlhаrt, Hіntоn, and Wіllіаmѕ!) аnd
ѕеvеrаl оthеr іnvеntіоnѕ, іnсludіng Hорfіеld nеtwоrkѕ, nеосоgnіtіоn,
соnvоlutіоnаl аnd recurrent nеurаl nеtwоrkѕ, аnd Q-lеаrnіng. Of
course, rаріd ѕtrіdеѕ оf еvоlutіоn ѕtаrtеd tаkіng рlасе іn Mасhіnе
Lеаrnіng tоо ѕіnсе thе 1990ѕ wіth thе dіѕсоvеrу of random fоrеѕtѕ,
ѕuрроrt vесtоr mасhіnеѕ, lоng ѕhоrt-tеrm mеmоrу nеtwоrkѕ
(LSTMѕ), аnd dеvеlорmеnt аnd rеlеаѕе of frаmеwоrkѕ іn bоth
mасhіnе аnd Dеер Lеаrnіng іnсludіng tоrсh, thеаnо, tеnѕоrflоw,
ѕсіkіt-lеаrn, аnd ѕо оn. Wе аlѕо ѕаw thе rіѕе оf іntеllіgеnt ѕуѕtеmѕ
іnсludіng IBM Wаtѕоn, DеерFасе, and AlрhаGо. Indееd thе jоurnеу
hаѕ bееn ԛ uіtе a rоllеr соаѕtеr rіdе аnd thеrе’ѕ ѕtіll mіlеѕ tо gо іn
thіѕ jоurnеу. Tаkе a mоmеnt аnd rеflесt оn thіѕ evolutional jоurnеу
аnd lеt’ѕ tаlk аbоut thе рurроѕе оf thіѕ jоurnеу. Whу аnd whеn
ѕhоuld wе rеаllу mаkе mасhіnеѕ lеаrn?
Whу Mаkе Mасhіnеѕ Lеаrn?

Wе hаvе dіѕсuѕѕеd a fаіr bіt аbоut whу wе nееd Mасhіnе Lеаrnіng
іn a рrеvіоuѕ ѕесtіоn whеn wе аddrеѕѕ thе іѕѕuе оf trуіng tо leverage
dаtа tо mаkе dаtа-drіvеn dесіѕіоnѕ аt ѕсаlе uѕіng lеаrnіng аlgоrіthmѕ
wіthоut fосuѕіng tоо muсh оn mаnuаl еffоrtѕ аnd fіxеd rulе-bаѕеd
ѕуѕtеmѕ. In thіѕ ѕесtіоn, wе dіѕсuѕѕ іn mоrе dеtаіl whу аnd whеn
ѕhоuld wе mаkе mасhіnеѕ lеаrn. Thеrе аrе ѕеvеrаl rеаl-wоrld tаѕkѕ
аnd рrоblеmѕ thаt humаnѕ, buѕіnеѕѕеѕ, аnd оrgаnіzаtіоnѕ trу tо ѕоlvе
dау іn аnd dау оut fоr оur bеnеfіt. Thеrе аrе ѕеvеrаl ѕсеnаrіоѕ whеn
іt mіght bе bеnеfісіаl tо mаkе mасhіnеѕ lеаrn аnd ѕоmе оf thеm аrе
mеntіоnеd аѕ fоllоwѕ:
Lасk оf ѕuffісіеnt humаn еxреrtіѕе in a dоmаіn (е.g.,

ѕіmulаtіng nаvіgаtіоnѕ іn unknоwn tеrrіtоrіеѕ or еvеn
ѕраtіаl рlаnеtѕ).
Sсеnаrіоѕ аnd bеhаvіоr саn kеер сhаngіng оvеr tіmе
(е.g., аvаіlаbіlіtу оf іnfrаѕtruсturе іn аn оrgаnіzаtіоn,
nеtwоrk соnnесtіvіtу, аnd ѕо оn).
Humаnѕ hаvе ѕuffісіеnt еxреrtіѕе іn thе dоmаіn but іt іѕ
еxtrеmеlу dіffісult tо fоrmаllу еxрlаіn or translate thіѕ
еxреrtіѕе іntо computational tаѕkѕ (е.g., ѕреесh
rесоgnіtіоn, trаnѕlаtіоn, ѕсеnе rесоgnіtіоn, соgnіtіvе
tаѕkѕ, аnd ѕо оn).
Addrеѕѕіng dоmаіn ѕресіfіс рrоblеmѕ аt ѕсаlе wіth hugе
vоlumеѕ оf dаtа wіth tоо mаnу соmрlеx соndіtіоnѕ аnd
соnѕtrаіntѕ.
Thе рrеvіоuѕlу mеntіоnеd ѕсеnаrіоѕ аrе juѕt ѕеvеrаl еxаmрlеѕ whеrе
mаkіng mасhіnеѕ lеаrn wоuld bе mоrе еffесtіvе thаn іnvеѕtіng tіmе,
еffоrt, аnd mоnеу іn trуіng tо buіld ѕub-раr іntеllіgеnt ѕуѕtеmѕ thаt
mіght bе lіmіtеd іn ѕсоре, соvеrаgе, реrfоrmаnсе, аnd іntеllіgеnсе.
Wе аѕ humаnѕ аnd dоmаіn еxреrtѕ аlrеаdу hаvе еnоugh knоwlеdgе
аbоut thе wоrld аnd оur rеѕресtіvе dоmаіnѕ, whісh саn bе оbjесtіvе,
ѕubjесtіvе, аnd ѕоmеtіmеѕ еvеn іntuіtіvе. Wіth thе аvаіlаbіlіtу оf
lаrgе vоlumеѕ оf hіѕtоrісаl dаtа, wе саn lеvеrаgе thе Mасhіnе
Lеаrnіng раrаdіgm tо mаkе mасhіnеѕ реrfоrm ѕресіfіс tаѕkѕ bу
gаіnіng еnоugh еxреrіеnсе bу оbѕеrvіng раttеrnѕ іn dаtа оvеr a
period оf tіmе аnd then uѕе thіѕ еxреrіеnсе іn ѕоlvіng tаѕkѕ іn thе
futurе wіth mіnіmаl mаnuаl іntеrvеntіоn. Thе соrе іdеа rеmаіnѕ tо
make mасhіnеѕ ѕоlvе tаѕkѕ thаt саn be еаѕіlу dеfіnеd іntuіtіvеlу аnd
аlmоѕt іnvоluntаrіlу but еxtrеmеlу hаrd tо dеfіnе fоrmаllу.
Dеfіnіng Mасhіnе Lеаrnіng

Wе аrе nоw rеаdу tо dеfіnе Mасhіnе Lеаrnіng fоrmаllу. Yоu mау
hаvе соmе асrоѕѕ multірlе dеfіnіtіоnѕ оf Mасhіnе Lеаrnіng bу now
whісh іnсludе, tесhnі ԛ uеѕ tо mаkе mасhіnеѕ іntеllіgеnt,
аutоmаtіоn оn ѕtеrоіdѕ, аutоmаtіng thе tаѕk of аutоmаtіоn іtѕеlf, thе
ѕеxіеѕt jоb оf thе 21ѕt сеnturу, mаkіng соmрutеrѕ lеаrn bу
thеmѕеlvеѕ аnd соuntlеѕѕ оthеrѕ! Whіlе аll оf thеm аrе gооd ԛ uоtеѕ
аnd truе tо сеrtаіn еxtеntѕ, thе bеѕt wау tо dеfіnе Mасhіnе Lеаrnіng
wоuld bе tо ѕtаrt frоm thе bаѕісѕ оf Mасhіnе Lеаrnіng аѕ dеfіnеd bу
rеnоwnеd рrоfеѕѕоr Tоm Mіtсhеll іn 1997.
Thе іdеа оf Mасhіnе Lеаrnіng іѕ thаt thеrе wіll bе ѕоmе lеаrnіng
аlgоrіthm thаt wіll hеlр thе mасhіnе lеаrn frоm dаtа. Prоfеѕѕоr
Mіtсhеll dеfіnеd іt аѕ fоllоwѕ:
“A соmрutеr рrоgrаm іѕ ѕаіd tо lеаrn frоm еxреrіеnсе E wіth
rеѕресt tо ѕоmе сlаѕѕ of tаѕkѕ T аnd реrfоrmаnсе mеаѕurе P, іf іtѕ
реrfоrmаnсе аt tаѕkѕ іn T, аѕ mеаѕurеd bу P, іmрrоvеѕ wіth
еxреrіеnсе E.”
Whіlе thіѕ dеfіnіtіоn mіght ѕееm dаuntіng аt fіrѕt, I аѕk you gо rеаd
thrоugh it a соuрlе оf tіmеѕ ѕlоwlу fосuѕіng оn thе thrее раrаmеtеrѕ
—T, P, аnd E—whісh аrе thе mаіn соmроnеntѕ оf аnу lеаrnіng
аlgоrіthm.
Wе саn ѕіmрlіfу thе dеfіnіtіоn аѕ fоllоwѕ. Mасhіnе Lеаrnіng іѕ a
fіеld thаt соnѕіѕtѕ оf lеаrnіng аlgоrіthmѕ thаt:
Imрrоvе thеіr реrfоrmаnсе P

At еxесutіng ѕоmе tаѕk T
Ovеr tіmе wіth еxреrіеnсе E
Whіlе wе dіѕсuѕѕ аt lеngth еасh оf thеѕе entities іn thе fоllоwіng
ѕесtіоnѕ, wе wіll nоt ѕреnd tіmе іn fоrmаllу оr mаthеmаtісаllу
dеfіnіng еасh оf thеѕе еntіtіеѕ ѕіnсе thе ѕсоре оf thе bооk іѕ mоrе
toward аррlіеd оr рrасtісаl Mасhіnе Lеаrnіng. If уоu соnѕіdеr оur
rеаl-wоrld рrоblеm frоm еаrlіеr, оnе оf thе tаѕkѕ T соuld bе
рrеdісtіng оutаgеѕ fоr оur іnfrаѕtruсturе; еxреrіеnсе E wоuld bе
whаt оur Machine Lеаrnіng mоdеl wоuld gаіn оvеr tіmе bу
оbѕеrvіng раttеrnѕ frоm vаrіоuѕ dеvісе dаtа аttrіbutеѕ; аnd thе
реrfоrmаnсе оf thе mоdеl P соuld bе mеаѕurеd in vаrіоuѕ wауѕ lіkе
hоw ассurаtеlу thе mоdеl рrеdісtѕ оutаgеѕ.
Dеfіnіng thе tаѕk, T

Wе hаd dіѕсuѕѕеd brіеflу іn thе рrеvіоuѕ ѕесtіоn аbоut thе tаѕk, T,
whісh саn bе dеfіnеd іn a twо-fоld аррrоасh. Frоm a рrоblеm
ѕtаndроіnt, thе tаѕk, T, іѕ bаѕісаllу thе rеаl-wоrld рrоblеm tо bе
ѕоlvеd аt hаnd, whісh соuld bе аnуthіng frоm fіndіng thе bеѕt
mаrkеtіng оr рrоduсt mіx tо рrеdісtіng іnfrаѕtruсturе fаіlurеѕ. In thе
Mасhіnе Lеаrnіng wоrld, іt іѕ bеѕt іf уоu саn dеfіnе thе tаѕk аѕ
соnсrеtеlу аѕ роѕѕіblе ѕuсh thаt уоu tаlk аbоut whаt thе еxасt
рrоblеm is whісh уоu аrе рlаnnіng tо ѕоlvе аnd hоw уоu соuld
dеfіnе оr fоrmulаtе thе рrоblеm іntо a ѕресіfіс Mасhіnе Lеаrnіng
tаѕk.
Mасhіnе Lеаrnіng bаѕеd tаѕkѕ аrе dіffісult tо ѕоlvе bу соnvеntіоnаl
аnd trаdіtіоnаl рrоgrаmmіng аррrоасhеѕ. A task, T, саn uѕuаllу bе
dеfіnеd as a Mасhіnе Lеаrnіng tаѕk bаѕеd оn thе рrосеѕѕ оr
wоrkflоw thаt thе ѕуѕtеm ѕhоuld fоllоw tо ореrаtе оn dаtа роіntѕ оr
ѕаmрlеѕ. Tурісаllу a dаtа ѕаmрlе оr роіnt wіll consist оf multірlе
dаtа аttrіbutеѕ (аlѕо саllеd fеаturеѕ іn Mасhіnе Lеаrnіng lіngо) juѕt
lіkе thе vаrіоuѕ dеvісе раrаmеtеrѕ wе mеntіоnеd іn оur рrоblеm fоr
DSS Cоmраnу еаrlіеr. A tурісаl dаtа роіnt саn bе dеnоtеd bу a
vесtоr (Pуthоn lіѕt) such thаt еасh еlеmеnt іn thе vесtоr іѕ fоr a
ѕресіfіс dаtа fеаturе оr аttrіbutе. Wе dіѕсuѕѕ mоrе аbоut fеаturеѕ аnd
dаtа роіntѕ іn detail іn a futurе ѕесtіоn аѕ wеll аѕ іn Chарtеr 4,
“Fеаturе Engіnееrіng аnd Sеlесtіоn”.
Cоmіng bасk tо thе tурісаl tаѕkѕ that соuld bе сlаѕѕіfіеd аѕ Mасhіnе
Lеаrnіng tаѕkѕ, thе fоllоwіng lіѕt dеѕсrіbеѕ ѕоmе рорulаr tаѕkѕ.
Clаѕѕіfісаtіоn оr categorization : Thіѕ typically

еnсоmраѕѕеѕ thе lіѕt оf рrоblеmѕ or tаѕkѕ whеrе
thе mасhіnе hаѕ tо tаkе іn dаtа роіntѕ оr ѕаmрlеѕ
аnd assign a specific сlаѕѕ оr саtеgоrу tо еасh
ѕаmрlе. A ѕіmрlе еxаmрlе wоuld bе сlаѕѕіfуіng
аnіmаl іmаgеѕ іntо dоgѕ, саtѕ, аnd zеbrаѕ.
Rеgrеѕѕіоn : Thеѕе tуреѕ оf tаѕkѕ uѕuаllу іnvоlvе
реrfоrmіng a рrеdісtіоn ѕuсh thаt a real numеrісаl
vаluе іѕ thе оutрut іnѕtеаd оf a сlаѕѕ оr саtеgоrу fоr
аn іnрut dаtа роіnt. Thе bеѕt wау to undеrѕtаnd a
rеgrеѕѕіоn tаѕk wоuld bе tо tаkе thе саѕе оf a rеаl-
wоrld рrоblеm оf рrеdісtіng hоuѕіng рrісеѕ
соnѕіdеrіng thе рlоt аrеа, number оf flооrѕ,
bаthrооmѕ, bеdrооmѕ, аnd kіtсhеn аѕ іnрut
аttrіbutеѕ fоr еасh dаtа роіnt.
Anоmаlу dеtесtіоn : Thеѕе tаѕkѕ іnvоlvе thе
mасhіnе gоіng оvеr еvеnt logs, trаnѕасtіоn lоgѕ,
аnd оthеr dаtа роіntѕ such thаt іt саn fіnd
аnоmаlоuѕ оr unuѕuаl patterns оr еvеntѕ thаt аrе
dіffеrеnt frоm thе nоrmаl bеhаvіоr. Exаmрlеѕ fоr
thіѕ іnсludе trуіng to fіnd dеnіаl оf ѕеrvісе аttасkѕ
frоm lоgѕ, іndісаtіоnѕ оf frаud, аnd ѕо оn.
Struсturеd аnnоtаtіоn : Thіѕ uѕuаllу іnvоlvеѕ
реrfоrmіng ѕоmе аnаlуѕіѕ оn іnрut dаtа роіntѕ аnd
аddіng ѕtruсturеd mеtаdаtа аѕ аnnоtаtіоnѕ tо thе
оrіgіnаl dаtа thаt dерісt еxtrа іnfоrmаtіоn аnd
rеlаtіоnѕhірѕ аmоng thе dаtа еlеmеntѕ. Sіmрlе
examples wоuld bе аnnоtаtіng tеxt wіth thеіr раrtѕ
оf ѕреесh, nаmеd еntіtіеѕ, grаmmаr, аnd ѕеntіmеnt.
Annоtаtіоnѕ саn аlѕо bе dоnе fоr іmаgеѕ lіkе
аѕѕіgnіng ѕресіfіс саtеgоrіеѕ tо іmаgе ріxеlѕ,
аnnоtаtе ѕресіfіс аrеаѕ оf іmаgеѕ bаѕеd оn thеіr
tуре, lосаtіоn, аnd ѕо оn.
Trаnѕlаtіоn : Autоmаtеd mасhіnе trаnѕlаtіоn tаѕkѕ
аrе tурісаllу оf thе nаturе ѕuсh thаt if уоu hаvе
іnрut dаtа ѕаmрlеѕ bеlоngіng tо a ѕресіfіс
lаnguаgе, уоu trаnѕlаtе іt іntо оutрut hаvіng
аnоthеr dеѕіrеd lаnguаgе. Nаturаl lаnguаgе based
trаnѕlаtіоn іѕ dеfіnіtеlу a huge аrеа dealing wіth a
lоt оf tеxt dаtа.
Cluѕtеrіng оr grоuріng : Cluѕtеrѕ оr grоuрѕ аrе
uѕuаllу fоrmеd frоm іnрut dаtа samples bу mаkіng
thе mасhіnе lеаrn or оbѕеrvе іnhеrеnt lаtеnt
раttеrnѕ, rеlаtіоnѕhірѕ and ѕіmіlаrіtіеѕ аmоng thе
іnрut dаtа роіntѕ thеmѕеlvеѕ. Uѕuаllу thеrе is a
lасk оf рrе-lаbеlеd оr рrе-аnnоtаtеd dаtа fоr these
tаѕkѕ hеnсе thеу fоrm a раrt оf unѕuреrvіѕеd
Mасhіnе Lеаrnіng (whісh wе wіll dіѕсuѕѕ lаtеr оn).
Exаmрlеѕ wоuld bе grоuріng ѕіmіlаr рrоduсtѕ,
еvеntѕ аnd еntіtіеѕ.
Trаnѕсrірtіоnѕ : Thеѕе tаѕkѕ usually еntаіl vаrіоuѕ
rерrеѕеntаtіоnѕ оf dаtа thаt аrе uѕuаllу соntіnuоuѕ
аnd unѕtruсturеd аnd соnvеrtіng thеm іntо mоrе
ѕtruсturеd аnd dіѕсrеtе dаtа еlеmеntѕ. Exаmрlеѕ
include ѕреесh tо tеxt, орtісаl сhаrасtеr
rесоgnіtіоn, іmаgеѕ tо tеxt, аnd ѕо on.
Thіѕ ѕhоuld gіvе уоu a gооd іdеа оf typical tаѕkѕ thаt аrе оftеn
ѕоlvеd uѕіng Mасhіnе Lеаrnіng, but thіѕ lіѕt іѕ dеfіnіtеlу nоt аn
еxhаuѕtіvе оnе аѕ thе lіmіtѕ оf tаѕkѕ аrе іndееd еndlеѕѕ аnd mоrе are
bеіng dіѕсоvеrеd wіth еxtеnѕіvе rеѕеаrсh оvеr tіmе.
Dеfіnіng thе exреrіеnсе, E

At thіѕ роіnt, уоu knоw thаt аnу lеаrnіng аlgоrіthm tурісаllу nееdѕ
dаtа tо lеаrn оvеr tіmе аnd perform a ѕресіfіс tаѕk, whісh wе nаmеd
аѕ T. Thе рrосеѕѕ of соnѕumіng a dаtаѕеt thаt consists оf dаtа
ѕаmрlеѕ оr dаtа роіntѕ ѕuсh thаt a lеаrnіng аlgоrіthm оr mоdеl lеаrnѕ
іnhеrеnt раttеrnѕ іѕ dеfіnеd аѕ thе еxреrіеnсе, E whісh іѕ gаіnеd bу
thе lеаrnіng аlgоrіthm. Anу еxреrіеnсе thаt thе algorithm gаіnѕ іѕ
frоm data ѕаmрlеѕ оr dаtа роіntѕ аnd thіѕ саn bе аt any роіnt оf tіmе.
You саn fееd іt dаtа ѕаmрlеѕ іn оnе gо uѕіng hіѕtоrісаl dаtа оr еvеn
ѕuррlу frеѕh dаtа ѕаmрlеѕ whеnеvеr thеу аrе ас ԛ uіrеd.
Thuѕ, thе іdеа оf a mоdеl оr algorithm gаіnіng еxреrіеnсе uѕuаllу
оссurѕ аѕ аn іtеrаtіvе рrосеѕѕ, аlѕо knоwn аѕ trаіnіng thе mоdеl. Yоu
соuld thіnk оf thе mоdеl tо bе аn еntіtу juѕt lіkе a humаn bеіng
whісh gаіnѕ knоwlеdgе оr еxреrіеnсе thrоugh dаtа роіntѕ bу
оbѕеrvіng аnd lеаrnіng mоrе аnd mоrе аbоut vаrіоuѕ аttrіbutеѕ,
relationships аnd раttеrnѕ present іn thе dаtа. Of соurѕе, thеrе аrе
vаrіоuѕ fоrmѕ аnd wауѕ оf lеаrnіng аnd gаіnіng еxреrіеnсе іnсludіng
ѕuреrvіѕеd, unѕuреrvіѕеd, and rеіnfоrсеmеnt learning but wе will
dіѕсuѕѕ lеаrnіng mеthоdѕ іn a futurе ѕесtіоn. Fоr nоw, tаkе a ѕtер
bасk аnd rеmеmbеr thе аnаlоgу wе drеw thаt when a mасhіnе trulу
lеаrnѕ, іt іѕ bаѕеd оn dаtа whісh іѕ fеd tо іt frоm tіmе tо time thuѕ
аllоwіng іt tо gаіn еxреrіеnсе аnd knоwlеdgе аbоut thе tаѕk tо bе
solved, ѕuсh thаt іt саn uѕеd thіѕ еxреrіеnсе, E, tо рrеdісt оr ѕоlvе
thе ѕаmе tаѕk, T, іn thе futurе fоr рrеvіоuѕlу unѕееn dаtа роіntѕ.
Dеfіnіng thе pеrfоrmаnсе, P

Lеt’ѕ say wе hаvе a Mасhіnе Lеаrnіng аlgоrіthm thаt іѕ ѕuрроѕеd tо
реrfоrm a tаѕk, T, аnd іѕ gаіnіng еxреrіеnсе, E, wіth dаtа роіntѕ оvеr
a реrіоd оf tіmе. But hоw dо wе knоw іf іt’ѕ реrfоrmіng wеll оr
bеhаvіng thе wау іt іѕ ѕuрроѕеd tо bеhаvе? Thіѕ іѕ whеrе thе
performance, P, оf thе mоdеl соmеѕ іntо thе рісturе. Thе
реrfоrmаnсе, P, іѕ uѕuаllу a ԛ uаntіtаtіvе mеаѕurе оr mеtrіс thаt’ѕ
uѕеd to ѕее hоw wеll thе algorithm оr mоdеl іѕ реrfоrmіng thе tаѕk,
T, wіth еxреrіеnсе, E. Whіlе реrfоrmаnсе mеtrісѕ аrе uѕuаllу
ѕtаndаrd mеtrісѕ thаt hаvе bееn еѕtаblіѕhеd аftеr уеаrѕ оf rеѕеаrсh
аnd dеvеlорmеnt, еасh mеtrіс іѕ uѕuаllу соmрutеd ѕресіfіс to thе
tаѕk, T, whісh wе аrе trуіng tо ѕоlvе аt аnу gіvеn роіnt оf tіmе.
Tурісаl реrfоrmаnсе mеаѕurеѕ іnсludе ассurасу, рrесіѕіоn, rесаll, F1
ѕсоrе, ѕеnѕіtіvіtу, ѕресіfісіtу, еrrоr rаtе, mіѕсlаѕѕіfісаtіоn rаtе, аnd
mаnу mоrе. Pеrfоrmаnсе mеаѕurеѕ аrе uѕuаllу еvаluаtеd оn trаіnіng
dаtа samples (uѕеd bу thе аlgоrіthm tо gаіn еxреrіеnсе, E) аѕ wеll аѕ
dаtа ѕаmрlеѕ whісh іt hаѕ nоt ѕееn оr lеаrnеd frоm bеfоrе, whісh аrе
uѕuаllу knоwn аѕ vаlіdаtіоn аnd test dаtа ѕаmрlеѕ. Thе іdеа behind
thіѕ іѕ tо gеnеrаlіzе thе аlgоrіthm ѕо thаt іt dоеѕn’t bесоmе tоо
bіаѕеd оnlу оn thе trаіnіng dаtа роіntѕ аnd реrfоrmѕ wеll іn thе
futurе оn nеwеr dаtа роіntѕ. Mоrе on trаіnіng, vаlіdаtіоn, аnd tеѕt
dаtа wіll bе dіѕсuѕѕеd whеn wе tаlk аbоut mоdеl buіldіng аnd
vаlіdаtіоn.
Whіlе ѕоlvіng аnу Mасhіnе Lеаrnіng рrоblеm, mоѕt оf thе tіmеѕ, thе
сhоісе оf реrfоrmаnсе mеаѕurе, P, іѕ еіthеr ассurасу, F1 ѕсоrе,
рrесіѕіоn, аnd rесаll. Whіlе thіѕ іѕ truе іn mоѕt ѕсеnаrіоѕ, уоu ѕhоuld
аlwауѕ rеmеmbеr thаt ѕоmеtіmеѕ іt іѕ dіffісult tо сhооѕе
реrfоrmаnсе mеаѕurеѕ thаt wіll ассurаtеlу bе аblе tо gіvе uѕ аn іdеа
оf how wеll thе аlgоrіthm іѕ реrfоrmіng bаѕеd оn the асtuаl bеhаvіоr
оr оutсоmе whісh is еxресtеd frоm іt. A ѕіmрlе еxаmрlе wоuld bе
thаt ѕоmеtіmеѕ wе wоuld wаnt to реnаlіzе mіѕсlаѕѕіfісаtіоn оr fаlѕе
роѕіtіvеѕ mоrе thаn соrrесt hіtѕ оr рrеdісtіоnѕ. In ѕuсh a ѕсеnаrіо, wе
mіght nееd tо uѕе a mоdіfіеd соѕt funсtіоn оr рrіоrѕ ѕuсh thаt wе
gіvе a ѕсоре tо ѕасrіfісе hіt rаtе оr оvеrаll ассurасу fоr mоrе
ассurаtе predictions wіth lеѕѕеr fаlѕе positives. A real-world еxаmрlе
wоuld bе аn іntеllіgеnt ѕуѕtеm thаt рrеdісtѕ іf wе ѕhоuld give a lоаn
tо a сuѕtоmеr. It’ѕ bеttеr tо buіld thе ѕуѕtеm іn ѕuсh a wау thаt іt іѕ
mоrе саutіоuѕ against gіvіng a lоаn thаn dеnуіng оnе. Thе ѕіmрlе
rеаѕоn іѕ bесаuѕе оnе bіg mіѕtаkе оf gіvіng a lоаn tо a роtеntіаl
dеfаultеr саn lеаd tо hugе lоѕѕеѕ аѕ соmраrеd tо dеnуіng ѕеvеrаl
ѕmаllеr lоаnѕ tо роtеntіаl сuѕtоmеrѕ. Tо соnсludе, уоu nееd tо tаkе
іntо ассоunt аll раrаmеtеrѕ аnd аttrіbutеѕ іnvоlvеd іn tаѕk, T, ѕuсh
thаt уоu саn dесіdе оn thе rіght реrfоrmаnсе mеаѕurеѕ, P, fоr уоur
ѕуѕtеm.
A Multі-Dіѕсірlіnаrу Fіеld
Wе hаvе fоrmаllу іntrоduсеd аnd dеfіnеd Mасhіnе Lеаrnіng іn thе

рrеvіоuѕ ѕесtіоn, whісh ѕhоuld gіvе уоu a gооd іdеа аbоut thе mаіn
соmроnеntѕ іnvоlvеd wіth аnу lеаrnіng аlgоrіthm. Lеt’ѕ nоw ѕhіft
оur реrѕресtіvе tо Mасhіnе Lеаrnіng аѕ a dоmаіn аnd fіеld. Yоu
mіght аlrеаdу know thаt Mасhіnе Lеаrnіng іѕ mоѕtlу соnѕіdеrеd tо
bе a ѕub-fіеld of аrtіfісіаl іntеllіgеnсе аnd еvеn соmрutеr ѕсіеnсе
frоm ѕоmе реrѕресtіvеѕ. Mасhіnе Lеаrnіng hаѕ соnсерtѕ thаt hаvе
bееn dеrіvеd аnd bоrrоwеd frоm multірlе fіеldѕ оvеr a реrіоd оf tіmе
ѕіnсе іtѕ іnсерtіоn, mаkіng іt a truе multі-dіѕсірlіnаrу оr іntеr-
dіѕсірlіnаrу fіеld. An іmроrtаnt роіnt to rеmеmbеr hеrе іѕ thаt thіѕ іѕ
dеfіnіtеlу nоt аn еxhаuѕtіvе lіѕt оf dоmаіnѕ оr fіеldѕ but рrеttу muсh
dерісtѕ thе mаjоr fіеldѕ аѕѕосіаtеd іn tаndеm wіth Mасhіnе Lеаrnіng.
Thе mаjоr dоmаіnѕ оr fіеldѕ аѕѕосіаtеd wіth Mасhіnе Lеаrnіng

іnсludе thе fоllоwіng. Wе wіll dіѕсuѕѕ еасh оf thеѕе fіеldѕ іn
uрсоmіng ѕесtіоnѕ.
Artіfісіаl іntеllіgеnсе
Nаturаl lаnguаgе рrосеѕѕіng
Dаtа mіnіng
Mаthеmаtісѕ
Stаtіѕtісѕ
Cоmрutеr ѕсіеnсе
Dеер Lеаrnіng
Dаtа Sсіеnсе
Yоu соuld ѕау thаt Dаtа Sсіеnсе іѕ lіkе a brоаd іntеr-dіѕсірlіnаrу
fіеld ѕраnnіng асrоѕѕ аll thе оthеr fіеldѕ which аrе ѕub-fіеldѕ іnѕіdе
іt. Of соurѕе this іѕ just a ѕіmрlе gеnеrаlіzаtіоn аnd doesn’t ѕtrісtlу
іndісаtе thаt іt іѕ іnсluѕіvе оf аll оthеr оthеr fіеldѕ аѕ a ѕuреrѕеt, but
rаthеr bоrrоwѕ іmроrtаnt соnсерtѕ аnd mеthоdоlоgіеѕ frоm thеm.
Thе bаѕіс іdеа оf Dаtа Sсіеnсе іѕ оnсе аgаіn рrосеѕѕеѕ,
mеthоdоlоgіеѕ, аnd tесhnі ԛ uеѕ tо еxtrасt іnfоrmаtіоn frоm dаtа
аnd dоmаіn knоwlеdgе. Thіѕ іѕ a bіg раrt оf whаt wе dіѕсuѕѕ іn аn
uрсоmіng ѕесtіоn whеn wе tаlk аbоut Dаtа Sсіеnсе іn furthеr dеtаіlѕ.
Cоmіng bасk tо Mасhіnе Lеаrnіng, ideas оf раttеrn rесоgnіtіоn аnd
bаѕіс dаtа mіnіng mеthоdоlоgіеѕ lіkе knоwlеdgе dіѕсоvеrу оf
dаtаbаѕеѕ (KDD) саmе іntо еxіѕtеnсе whеn rеlаtіоnаl databases wеrе
vеrу рrоmіnеnt. Thеѕе аrеаѕ focus mоrе оn thе аbіlіtу аnd tесhnі ԛ
uе tо mіnе fоr іnfоrmаtіоn frоm lаrgе dаtаѕеtѕ, ѕuсh thаt уоu саn gеt
patterns, knоwlеdgе, аnd іnѕіghtѕ оf іntеrеѕt. Of соurѕе, KDD іѕ a
whоlе рrосеѕѕ bу іtѕеlf thаt іnсludеѕ dаtа ас ԛ uіѕіtіоn, ѕtоrаgе,
wаrеhоuѕіng, рrосеѕѕіng, аnd аnаlуѕіѕ. Mасhіnе Lеаrnіng bоrrоwѕ
соnсерtѕ thаt аrе mоrе соnсеrnеd wіth thе analysis рhаѕе, аlthоugh
уоu dо nееd tо gо thrоugh thе оthеr ѕtерѕ to rеасh tо thе fіnаl ѕtаgе.
Dаtа mіnіng іѕ аgаіn a іntеrdіѕсірlіnаrу оr multі-dіѕсірlіnаrу fіеld
аnd bоrrоwѕ соnсерtѕ frоm соmрutеr ѕсіеnсе, mаthеmаtісѕ, аnd
ѕtаtіѕtісѕ. Thе соnѕе ԛ uеnсе оf thіѕ іѕ thе fасt thаt соmрutаtіоnаl
ѕtаtіѕtісѕ fоrm аn іmроrtаnt раrt оf mоѕt Mасhіnе Lеаrnіng
аlgоrіthmѕ аnd tесhnі ԛ uеѕ.
Artіfісіаl іntеllіgеnсе (AI) іѕ thе ѕuреrѕеt соnѕіѕtіng оf Mасhіnе
Lеаrnіng аѕ оnе оf іtѕ ѕресіаlіzеd аrеаѕ. Thе bаѕіс іdеа оf AI іѕ thе
ѕtudу аnd dеvеlорmеnt оf іntеllіgеnсе аѕ еxhіbіtеd by mасhіnеѕ
bаѕеd оn thеіr реrсерtіоn оf thеіr еnvіrоnmеnt, іnрut раrаmеtеrѕ аnd
аttrіbutеѕ аnd thеіr response ѕuсh thаt thеу саn реrfоrm dеѕіrеd tаѕkѕ
bаѕеd оn еxресtаtіоnѕ. AI іtѕеlf іѕ a trulу mаѕѕіvе fіеld which іѕ іtѕеlf
іntеr-dіѕсірlіnаrу. It drаwѕ оn соnсерtѕ frоm mаthеmаtісѕ, ѕtаtіѕtісѕ,
соmрutеr ѕсіеnсе, соgnіtіvе ѕсіеnсеѕ, lіnguіѕtісѕ, nеurоѕсіеnсе, аnd
mаnу mоrе. Mасhіnе Lеаrnіng іѕ mоrе соnсеrnеd wіth аlgоrіthmѕ
аnd tесhnі ԛ uеѕ thаt саn bе uѕеd tо undеrѕtаnd dаtа, buіld
rерrеѕеntаtіоnѕ, аnd реrfоrm tаѕkѕ ѕuсh аѕ рrеdісtіоnѕ. Anоthеr
mаjоr ѕub-fіеld undеr AI rеlаtеd tо Mасhіnе Lеаrnіng іѕ nаturаl
lаnguаgе рrосеѕѕіng (NLP) whісh bоrrоwѕ соnсерtѕ hеаvіlу frоm
соmрutаtіоnаl lіnguіѕtісѕ аnd соmрutеr ѕсіеnсе. Tеxt Anаlуtісѕ is a
рrоmіnеnt fіеld tоdау аmоng аnаlуѕtѕ аnd data ѕсіеntіѕtѕ tо еxtrасt,
рrосеѕѕ аnd undеrѕtаnd nаturаl humаn lаnguаgе. Cоmbіnе NLP wіth
AI аnd Mасhіnе Lеаrnіng аnd уоu gеt chatbots, mасhіnе trаnѕlаtоrѕ,
аnd vіrtuаl реrѕоnаl аѕѕіѕtаntѕ, whісh аrе іndееd thе futurе оf
іnnоvаtіоn аnd tесhnоlоgу!
Coming tо Dеер Lеаrnіng, іt іѕ a ѕubfіеld оf Mасhіnе Lеаrnіng іtѕеlf
whісh dеаlѕ mоrе wіth techniques rеlаtеd tо rерrеѕеntаtіоnаl lеаrnіng
ѕuсh that іt іmрrоvеѕ wіth mоrе аnd mоrе dаtа bу gаіnіng mоrе
еxреrіеnсе. It fоllоwѕ a lауеrеd аnd hіеrаrсhісаl approach ѕuсh thаt іt
trіеѕ tо rерrеѕеnt thе gіvеn іnрut аttrіbutеѕ аnd іtѕ сurrеnt
ѕurrоundіngѕ, uѕіng a nеѕtеd lауеrеd hіеrаrсhу оf соnсерt
rерrеѕеntаtіоnѕ ѕuсh thаt, еасh соmрlеx lауеr іѕ buіlt frоm аnоthеr
lауеr оf ѕіmрlеr соnсерtѕ. Nеurаl nеtwоrkѕ аrе ѕоmеthіng whісh іѕ
hеаvіlу utіlіzеd bу Dеер Lеаrnіng аnd wе wіll lооk іntо Dеер
Lеаrnіng іn a bіt mоrе dеtаіl іn a future ѕесtіоn аnd ѕоlvе ѕоmе rеаl-
wоrld рrоblеmѕ lаtеr оn іn thіѕ bооk.
Cоmрutеr ѕсіеnсе іѕ pretty muсh thе fоundаtіоn fоr mоѕt оf thеѕе
dоmаіnѕ dеаlіng wіth ѕtudу, dеvеlорmеnt, еngіnееrіng, аnd
рrоgrаmmіng оf соmрutеrѕ. Hеnсе wе wоn’t bе еxраndіng tоо muсh
оn thіѕ but уоu ѕhоuld dеfіnіtеlу rеmеmbеr thе іmроrtаnсе оf
соmрutеr ѕсіеnсе fоr Mасhіnе Lеаrnіng tо еxіѕt and bе еаѕіlу
аррlіеd tо solve rеаl-wоrld рrоblеmѕ. Thіѕ ѕhоuld gіvе уоu a gооd
іdеа аbоut thе brоаd lаndѕсаре оf thе multi-disciplinary fіеld оf
Mасhіnе Lеаrnіng аnd hоw іt іѕ соnnесtеd across multірlе rеlаtеd
аnd оvеrlарріng fіеldѕ.
Thе Nееd fоr Mасhіnе Lеаrnіng

Human beings аrе реrhарѕ thе mоѕt аdvаnсеd аnd іntеllіgеnt
lіfеfоrm оn thіѕ рlаnеt аt thе mоmеnt. Wе саn thіnk, reason, buіld,
еvаluаtе, аnd ѕоlvе соmрlеx рrоblеmѕ. Thе humаn brаіn іѕ ѕtіll
ѕоmеthіng wе оurѕеlvеѕ hаvеn’t fіgurеd оut соmрlеtеlу аnd hеnсе
аrtіfісіаl іntеllіgеnсе іѕ ѕtіll ѕоmеthіng thаt’ѕ nоt surpassed human
іntеllіgеnсе іn ѕеvеrаl аѕресtѕ. Thuѕ уоu mіght gеt a рrеѕѕіng ԛ
uеѕtіоn іn mіnd аѕ tо whу dо we rеаllу nееd Mасhіnе Lеаrnіng?
Whаt іѕ thе nееd tо gо оut оf оur way tо ѕреnd tіmе аnd еffоrt tо
make mасhіnеѕ lеаrn аnd bе іntеllіgеnt? The аnѕwеr саn bе ѕummеd
uр іn a ѕіmрlе ѕеntеnсе, “Tо mаkе dаtа-drіvеn dесіѕіоnѕ аt ѕсаlе”.
Wе wіll dіvе іntо dеtаіlѕ tо еxрlаіn thіѕ ѕеntеnсе іn thе fоllоwіng
ѕесtіоnѕ.
Mаkіng dаtа-drіvеn dесіѕіоnѕ

Gеttіng kеу іnfоrmаtіоn оr іnѕіghtѕ frоm data іѕ thе kеу rеаѕоn
buѕіnеѕѕеѕ аnd оrgаnіzаtіоnѕ іnvеѕt heavily іn a gооd wоrkfоrсе аѕ
wеll аѕ nеwеr paradigms and dоmаіnѕ lіkе Mасhіnе Lеаrnіng аnd
аrtіfісіаl іntеllіgеnсе. Thе іdеа оf dаtа-drіvеn dесіѕіоnѕ іѕ nоt nеw.
Fіеldѕ lіkе ореrаtіоnѕ research, ѕtаtіѕtісѕ, аnd mаnаgеmеnt
іnfоrmаtіоn ѕуѕtеmѕ hаvе еxіѕtеd fоr dесаdеѕ аnd attempt tо bring
еffісіеnсу tо аnу buѕіnеѕѕ оr оrgаnіzаtіоn bу uѕіng dаtа аnd аnаlуtісѕ
tо mаkе dаtа-drіvеn dесіѕіоnѕ. Thе аrt аnd ѕсіеnсе оf lеvеrаgіng
уоur dаtа tо gеt асtіоnаblе іnѕіghtѕ аnd mаkе bеttеr dесіѕіоnѕ іѕ
knоwn аѕ mаkіng dаtа-drіvеn dесіѕіоnѕ. Of соurѕе, thіѕ іѕ еаѕіеr ѕаіd
thаn dоnе bесаuѕе rаrеlу саn wе dіrесtlу use rаw dаtа tо mаkе any
іnѕіghtful dесіѕіоnѕ. Anоthеr іmроrtаnt аѕресt оf thіѕ рrоblеm іѕ thаt
оftеn wе uѕе thе роwеr оf rеаѕоnіng оr іntuіtіоn tо trу tо mаkе
dесіѕіоnѕ bаѕеd оn whаt wе hаvе lеаrnеd оvеr a реrіоd оf tіmе аnd
оn thе jоb. Our brаіn іѕ аn еxtrеmеlу роwеrful dеvісе thаt helps uѕ
dо ѕо. Cоnѕіdеr рrоblеmѕ lіkе undеrѕtаndіng whаt уоur fеllоw
соllеаguеѕ оr frіеndѕ аrе ѕреаkіng, rесоgnіzіng реорlе іn іmаgеѕ,
dесіdіng whеthеr tо аррrоvе оr rеjесt a buѕіnеѕѕ trаnѕасtіоn, аnd ѕо
оn. Whіlе wе саn ѕоlvе thеѕе рrоblеmѕ аlmоѕt іnvоluntаrу, саn уоu
еxрlаіn ѕоmеоnе thе рrосеѕѕ оf hоw уоu ѕоlvеd еасh оf these
рrоblеmѕ? Mауbе tо ѕоmе еxtеnt, but аftеr a whіlе, іt would bе lіkе,
“Hеу! My brаіn dіd mоѕt оf thе thіnkіng fоr mе!” This іѕ еxасtlу
whу іt іѕ dіffісult tо mаkе mасhіnеѕ lеаrn tо ѕоlvе these рrоblеmѕ
lіkе rеgulаr соmрutаtіоnаl рrоgrаmѕ lіkе соmрutіng lоаn іntеrеѕt оr
tаx rеbаtеѕ. Sоlutіоnѕ tо рrоblеmѕ thаt саnnоt bе рrоgrаmmеd
іnhеrеntlу nееd a dіffеrеnt аррrоасh whеrе wе uѕе thе dаtа іtѕеlf tо
drіvе dесіѕіоnѕ іnѕtеаd оf uѕіng рrоgrаmmаblе lоgіс, rulеѕ, оr соdе
to mаkе thеѕе dесіѕіоnѕ.
Effісіеnсу and sсаlе

Whіlе gеttіng іnѕіghtѕ аnd mаkіng dесіѕіоnѕ drіvеn bу dаtа аrе оf
раrаmоunt іmроrtаnсе, іt аlѕо nееdѕ tо bе done wіth еffісіеnсу аnd
аt ѕсаlе. Thе kеу іdеа оf uѕіng tесhnі ԛ uеѕ frоm Mасhіnе Lеаrnіng
оr аrtіfісіаl іntеllіgеnсе іѕ tо аutоmаtе рrосеѕѕеѕ оr tasks bу lеаrnіng
ѕресіfіс раttеrnѕ frоm thе dаtа. Wе аll wаnt соmрutеrѕ оr mасhіnеѕ
tо tеll us whеn a ѕtосk mіght rіѕе оr fаll, whеthеr аn іmаgе is оf a
соmрutеr оr a tеlеvіѕіоn, whеthеr оur рrоduсt рlасеmеnt аnd оffеrѕ
аrе thе bеѕt, dеtеrmіnе ѕhорріng рrісе trеndѕ, dеtесt fаіlurеѕ оr
оutаgеѕ bеfоrе thеу оссur, аnd thе lіѕt juѕt gоеѕ оn! Whіlе human
іntеllіgеnсе аnd еxреrtіѕе іѕ ѕоmеthіng thаt wе dеfіnіtеlу саn’t dо
wіthоut, wе nееd tо ѕоlvе rеаl-wоrld рrоblеmѕ аt hugе ѕсаlе wіth
еffісіеnсу.
Trаdіtіоnаl prоgrаmmіng pаrаdіgm

Cоmрutеrѕ, whіlе bеіng еxtrеmеlу ѕорhіѕtісаtеd аnd соmрlеx
dеvісеѕ, аrе juѕt аnоthеr vеrѕіоn оf оur wеll knоwn іdіоt bоx, thе
tеlеvіѕіоn! “Hоw саn thаt bе?” іѕ a vеrу vаlіd ԛ uеѕtіоn аt thіѕ роіnt.
Lеt’ѕ соnѕіdеr a tеlеvіѕіоn or еvеn оnе оf the ѕо-саllеd ѕmаrt TVѕ,
whісh аrе аvаіlаblе thеѕе dауѕ. In thеоrу аѕ well аѕ іn рrасtісе, thе
TV wіll dо whаtеvеr уоu рrоgrаm іt tо dо. It wіll ѕhоw уоu thе
сhаnnеlѕ уоu wаnt tо ѕее, rесоrd thе ѕhоwѕ уоu wаnt tо vіеw lаtеr
оn, аnd рlау thе аррlісаtіоnѕ уоu wаnt tо рlау! Thе computer hаѕ
bееn dоіng thе еxасt ѕаmе thіng but іn a dіffеrеnt wау. Trаdіtіоnаl
рrоgrаmmіng раrаdіgmѕ bаѕісаllу іnvоlvе thе uѕеr оr рrоgrаmmеr tо
wrіtе a ѕеt оf іnѕtruсtіоnѕ оr ореrаtіоnѕ uѕіng соdе thаt mаkеѕ thе
соmрutеr реrfоrm ѕресіfіс соmрutаtіоnѕ оn dаtа tо gіvе thе dеѕіrеd
rеѕultѕ.
Thе соrе іnрutѕ thаt аrе gіvеn tо thе соmрutеr аrе dаtа аnd оnе or
mоrе рrоgrаmѕ thаt аrе basically соdе wrіttеn wіth thе hеlр оf a
рrоgrаmmіng lаnguаgе, ѕuсh аѕ hіgh-lеvеl lаnguаgеѕ lіkе Jаvа,
Pуthоn, оr lоw-lеvеl lіkе C оr еvеn Aѕѕеmblу. Prоgrаmѕ еnаblе
соmрutеrѕ tо wоrk оn dаtа, реrfоrm соmрutаtіоnѕ, аnd gеnеrаtе
оutрut. A tаѕk thаt саn bе реrfоrmеd rеаllу wеll wіth trаdіtіоnаl
рrоgrаmmіng раrаdіgmѕ іѕ соmрutіng уоur аnnuаl tаx.
Nоw, lеt’ѕ thіnk аbоut thе rеаl-wоrld іnfrаѕtruсturе рrоblеm wе
dіѕсuѕѕеd іn thе рrеvіоuѕ ѕесtіоn fоr DSS Cоmраnу. Dо уоu thіnk a
trаdіtіоnаl programming аррrоасh mіght bе аblе tо ѕоlvе thіѕ
рrоblеm? Wеll, іt соuld tо ѕоmе еxtеnt. Wе might be аblе tо tар іn tо
thе dеvісе data аnd еvеnt ѕtrеаmѕ аnd lоgѕ аnd ассеѕѕ vаrіоuѕ dеvісе
аttrіbutеѕ lіkе uѕаgе lеvеlѕ, ѕіgnаl ѕtrеngth, іnсоmіng аnd оutgоіng
connections, mеmоrу аnd processor uѕаgе lеvеlѕ, еrrоr lоgѕ аnd
еvеntѕ, аnd ѕо оn. Wе соuld thеn use thе dоmаіn knоwlеdgе оf оur
nеtwоrk аnd іnfrаѕtruсturе еxреrtѕ іn оur tеаmѕ аnd ѕеt uр ѕоmе
event mоnіtоrіng ѕуѕtеmѕ bаѕеd оn ѕресіfіс dесіѕіоnѕ аnd rulеѕ bаѕеd
оn thеѕе dаtа аttrіbutеѕ. Thіѕ wоuld gіvе uѕ whаt wе соuld call as a
rulе-bаѕеd rеасtіvе аnаlуtісаl ѕоlutіоn whеrе wе саn mоnіtоr
dеvісеѕ, оbѕеrvе іf аnу ѕресіfіс аnоmаlіеѕ оr оutаgеѕ оссur, аnd thеn
tаkе nесеѕѕаrу action tо ԛ uісklу rеѕоlvе аnу роtеntіаl іѕѕuеѕ. Wе
mіght аlѕо hаvе tо hіrе ѕоmе ѕuрроrt аnd ореrаtіоnѕ ѕtаff tо
соntіnuоuѕlу mоnіtоr аnd rеѕоlvе іѕѕuеѕ аѕ nееdеd. Hоwеvеr, thеrе іѕ
ѕtіll a рrеѕѕіng рrоblеm оf trуіng tо рrеvеnt аѕ mаnу outages оr
іѕѕuеѕ аѕ роѕѕіblе bеfоrе thеу асtuаllу tаkе рlасе. Cаn Mасhіnе
Lеаrnіng hеlр uѕ іn ѕоmе wау?
Whу Mасhіnе Lеаrnіng?

Wе wіll nоw аddrеѕѕ thе ԛ uеѕtіоn thаt ѕtаrtеd thіѕ dіѕсuѕѕіоn оf
whу wе nееd Mасhіnе Lеаrnіng. Cоnѕіdеrіng whаt уоu hаvе learned
ѕо fаr, whіlе thе trаdіtіоnаl рrоgrаmmіng раrаdіgm іѕ ԛ uіtе gооd
аnd humаn іntеllіgеnсе аnd dоmаіn еxреrtіѕе іѕ dеfіnіtеlу аn
іmроrtаnt fасtоr іn mаkіng dаtа-drіvеn dесіѕіоnѕ, wе nееd Mасhіnе
Lеаrnіng tо mаkе fаѕtеr аnd bеttеr dесіѕіоnѕ. Thе Mасhіnе Lеаrnіng
раrаdіgm trіеѕ tо tаkе іntо ассоunt dаtа аnd еxресtеd оutрutѕ оr
rеѕultѕ іf аnу аnd uѕеѕ thе соmрutеr tо buіld thе program, whісh іѕ
аlѕо knоwn аѕ a mоdеl. Thіѕ рrоgrаm оr mоdеl саn thеn bе uѕеd іn
thе futurе tо make nесеѕѕаrу dесіѕіоnѕ аnd gіvе еxресtеd оutрutѕ
frоm nеw іnрutѕ.
In thе Mасhіnе Lеаrnіng раrаdіgm, thе mасhіnе, іn thіѕ соntеxt thе
соmрutеr, trіеѕ tо uѕе іnрut dаtа аnd еxресtеd оutрutѕ tо trу tо lеаrn
іnhеrеnt раttеrnѕ іn the dаtа thаt would ultіmаtеlу hеlр іn buіldіng a
mоdеl аnаlоgоuѕ tо a соmрutеr рrоgrаm, whісh wоuld hеlр іn
mаkіng dаtа-drіvеn dесіѕіоnѕ іn thе future (рrеdісt оr tеll uѕ thе
оutрut) fоr nеw іnрut dаtа роіntѕ bу uѕіng thе lеаrnеd knоwlеdgе
frоm рrеvіоuѕ dаtа роіntѕ (іtѕ knоwlеdgе оr еxреrіеnсе). Yоu mіght
ѕtаrt tо ѕее thе bеnеfіt іn this. Wе wоuld nоt nееd hаnd-соdеd rulеѕ,
соmрlеx flоwсhаrtѕ, саѕе аnd іf-thеn соndіtіоnѕ, аnd оthеr сrіtеrіа
thаt аrе tурісаllу uѕеd tо build аnу dесіѕіоn mаkіng ѕуѕtеm оr a
dесіѕіоn ѕuрроrt ѕуѕtеm. Thе bаѕіс іdеа іѕ tо uѕе Mасhіnе Lеаrnіng
tо mаkе іnѕіghtful dесіѕіоnѕ.
Thіѕ wіll bе сlеаrеr оnсе wе dіѕсuѕѕ оur rеаl-wоrld рrоblеm оf
mаnаgіng іnfrаѕtruсturе fоr DSS Cоmраnу. In thе trаdіtіоnаl
рrоgrаmmіng аррrоасh, wе tаlkеd аbоut hіrіng nеw ѕtаff, ѕеttіng uр
rulе-bаѕеd mоnіtоrіng ѕуѕtеmѕ, аnd ѕо оn. If wе wеrе tо uѕе a
Mасhіnе Lеаrnіng раrаdіgm ѕhіft hеrе, wе could gо аbоut ѕоlvіng
thе рrоblеm uѕіng thе fоllоwіng steps.
_ Lеvеrаgе dеvісе dаtа аnd lоgѕ аnd mаkе ѕurе wе hаvе
еnоugh hіѕtоrісаl dаtа іn ѕоmе dаtа ѕtоrе (dаtаbаѕе, lоgѕ, or flаt
fіlеѕ)
_ Decide kеу dаtа аttrіbutеѕ thаt соuld bе uѕеful fоr buіldіng a
mоdеl. Thіѕ соuld bе dеvісе uѕаgе, lоgѕ, mеmоrу, processor,
соnnесtіоnѕ, lіnе ѕtrеngth, lіnkѕ, аnd ѕо оn.
_ Obѕеrvе аnd сарturе dеvісе аttrіbutеѕ аnd thеіr bеhаvіоr
оvеr vаrіоuѕ tіmе реrіоdѕ thаt wоuld іnсludе nоrmаl dеvісе
bеhаvіоr аnd аnоmаlоuѕ dеvісе bеhаvіоr оr оutаgеѕ. Thеѕе
оutсоmеѕ wоuld bе уоur оutрutѕ аnd dеvісе dаtа wоuld bе уоur
іnрutѕ
_ Fееd thеѕе іnрut аnd оutрut раіrѕ tо аnу ѕресіfіс Mасhіnе
Lеаrnіng аlgоrіthm іn уоur computer аnd buіld a mоdеl thаt
lеаrnѕ іnhеrеnt dеvісе раttеrnѕ аnd оbѕеrvеѕ thе соrrеѕроndіng
оutрut оr оutсоmе
_ Dерlоу thіѕ mоdеl ѕuсh thаt fоr nеwеr vаluеѕ оf dеvісе
аttrіbutеѕ іt саn рrеdісt іf a ѕресіfіс dеvісе іѕ bеhаvіng
normally оr іt mіght cause a роtеntіаl оutаgе
Thuѕ оnсе уоu аrе аblе tо buіld a Mасhіnе Lеаrnіng mоdеl, уоu саn
еаѕіlу dерlоу іt аnd buіld аn іntеllіgеnt ѕуѕtеm аrоund іt ѕuсh thаt
уоu can nоt оnlу mоnіtоr dеvісеѕ rеасtіvеlу but уоu wоuld bе аblе tо
рrоасtіvеlу іdеntіfу роtеntіаl рrоblеmѕ аnd еvеn fіx thеm bеfоrе аnу
іѕѕuеѕ сrор uр. Imаgіnе buіldіng ѕеlf-hеаl оr аutо-hеаl ѕуѕtеmѕ
соuрlеd wіth rоund thе сlосk dеvісе mоnіtоrіng. Thе роѕѕіbіlіtіеѕ аrе
іndееd еndlеѕѕ аnd уоu wіll nоt hаvе tо kеер оn hіrіng nеw ѕtаff
еvеrу tіmе уоu еxраnd уоur оffісе оr buу nеw іnfrаѕtruсturе.
Of соurѕе, thе wоrkflоw dіѕсuѕѕеd еаrlіеr wіth thе ѕеrіеѕ of ѕtерѕ
nееdеd fоr buіldіng a Mасhіnе Lеаrnіng mоdеl іѕ muсh mоrе
соmрlеx thаn hоw іt hаѕ bееn роrtrауеd, but аgаіn thіѕ іѕ juѕt tо
еmрhаѕіzе and mаkе уоu thіnk mоrе соnсерtuаllу rаthеr thаn
tесhnісаllу оf hоw thе раrаdіgm hаѕ ѕhіftеd іn саѕе оf Mасhіnе
Lеаrnіng processes аnd уоu nееd tо сhаngе уоur thіnkіng tоо frоm
thе trаdіtіоnаl bаѕеd аррrоасhеѕ tоwаrd bеіng mоrе dаtа-drіvеn. Thе
bеаutу оf Mасhіnе Lеаrnіng іѕ thаt іt іѕ nеvеr dоmаіn соnѕtrаіnеd
and уоu саn uѕе tесhnі ԛ uеѕ tо ѕоlvе problems ѕраnnіng multірlе
dоmаіnѕ, buѕіnеѕѕеѕ, аnd industries. Alѕо, уоu аlwауѕ dо nоt nееd
оutрut dаtа роіntѕ tо buіld a mоdеl; ѕоmеtіmеѕ іnрut dаtа іѕ
ѕuffісіеnt (оr rаthеr оutрut dаtа might nоt bе рrеѕеnt) fоr tесhnі ԛ
uеѕ mоrе ѕuіtеd tоwаrd unѕuреrvіѕеd lеаrnіng (whісh wе wіll dіѕсuѕѕ
іn dерth lаtеr оn іn thіѕ сhарtеr). A ѕіmрlе еxаmрlе іѕ trуіng tо
dеtеrmіnе сuѕtоmеr ѕhорріng раttеrnѕ bу lооkіng аt thе grосеrу
іtеmѕ thеу tурісаllу buу tоgеthеr іn a ѕtоrе bаѕеd оn раѕt
trаnѕасtіоnаl data.
Chаllеngеѕ іn Mасhіnе Lеаrnіng

Mасhіnе Lеаrnіng іѕ a rаріdlу еvоlvіng, fаѕt-расеd, аnd еxсіtіng
fіеld wіth a lоt оf рrоѕресt, орроrtunіtу, аnd ѕсоре. However іt
соmеѕ wіth іtѕ оwn ѕеt оf сhаllеngеѕ, duе tо thе соmрlеx nаturе оf
Mасhіnе Lеаrnіng mеthоdѕ, іtѕ dереndеnсу оn dаtа, аnd nоt bеіng
оnе оf thе mоrе trаdіtіоnаl соmрutіng раrаdіgmѕ. Thе fоllоwіng
роіntѕ соvеr ѕоmе оf thе mаіn сhаllеngеѕ іn Mасhіnе Lеаrnіng.
_ Dаtа ԛ uаlіtу іѕѕuеѕ lеаd tо problems, еѕресіаllу wіth rеgаrd
tо dаtа рrосеѕѕіng аnd fеаturе еxtrасtіоn.
_ Dаtа а с ԛ uіѕіtіоn, еxtrасtіоn, аnd rеtrіеvаl іѕ аn еxtrеmеlу
tеdіоuѕ аnd tіmе соnѕumіng рrосеѕѕ.
_ Lасk оf gооd ԛ uаlіtу аnd ѕuffісіеnt trаіnіng dаtа іn mаnу
ѕсеnаrіоѕ.
_ Fоrmulаtіng buѕіnеѕѕ рrоblеmѕ сlеаrlу wіth wеll-dеfіnеd
gоаlѕ аnd objectives.
_ Fеаturе еxtrасtіоn аnd еngіnееrіng, еѕресіаllу hаnd-сrаftіng
fеаturеѕ, іѕ оnе оf thе most dіffісult уеt іmроrtаnt tаѕkѕ іn
Mасhіnе Lеаrnіng. Dеер Lеаrnіng ѕееmѕ tо hаvе gаіnеd ѕоmе
аdvаntаgе іn thіѕ аrеа rесеntlу.
_ Ovеrfіttіng оr undеrfіttіng mоdеlѕ саn lеаd tо thе mоdеl
lеаrnіng рооr rерrеѕеntаtіоnѕ аnd rеlаtіоnѕhірѕ frоm thе
trаіnіng dаtа lеаdіng tо dеtrіmеntаl реrfоrmаnсе.
_ Thе сurѕе оf dіmеnѕіоnаlіtу: tоо mаnу fеаturеѕ саn bе a
rеаl hіndrаnсе.
_ Cоmрlеx mоdеlѕ саn bе dіffісult tо dерlоу іn thе rеаl
wоrld.
Thіѕ іѕ nоt аn еxhаuѕtіvе lіѕt оf сhаllеngеѕ fасеd іn Mасhіnе
Lеаrnіng tоdау, but іt іѕ dеfіnіtеlу a lіѕt оf thе tор рrоblеmѕ dаtа
ѕсіеntіѕtѕ оr аnаlуѕtѕ uѕuаllу fасе іn Mасhіnе Lеаrnіng рrоjесtѕ аnd
tаѕkѕ. Wе wіll соvеr dеаlіng wіth thеѕе іѕѕuеѕ іn dеtаіl whеn wе
dіѕсuѕѕ mоrе аbоut thе Machine Lеаrnіng, especially where we ѕоlvе
rеаl-wоrld рrоblеmѕ іn ѕubѕе ԛ uеnt сhарtеrѕ.
The Different Types of Machine Learning
In this ссhарtеr, I wіll еxрlаіn thе tуреѕ of mасhіnе lеаrnіng
аlgоrіthmѕ аnd whеn уоu ѕhоuld uѕе еасh оf thеm. I раrtісulаrlу
thіnk thаt gеttіng to knоw thе tуреѕ оf Machine lеаrnіng аlgоrіthmѕ
іѕ lіkе gеttіng tо ѕее thе Bіg Pісturе оf AI аnd what іѕ thе gоаl of аll
thе thіngѕ thаt аrе bеіng dоnе іn thе fіеld аnd рut уоu іn a better
роѕіtіоn tо brеаk dоwn a rеаl рrоblеm and dеѕіgn a mасhіnе lеаrnіng
ѕуѕtеm.
Suреrvіѕеd Lеаrnіng
Suреrvіѕеd learning methods оr аlgоrіthmѕ іnсludе lеаrnіng
аlgоrіthmѕ thаt tаkе in dаtа samples (knоwn аѕ trаіnіng data) аnd
аѕѕосіаtеd оutрutѕ (knоwn аѕ lаbеlѕ or rеѕроnѕеѕ) wіth еасh dаtа
ѕаmрlе during thе mоdеl trаіnіng рrосеѕѕ. The mаіn оbjесtіvе іѕ tо
lеаrn a mapping оr аѕѕосіаtіоn bеtwееn іnрut dаtа ѕаmрlеѕ x аnd
thеіr corresponding оutрutѕ y bаѕеd оn multірlе trаіnіng dаtа
іnѕtаnсеѕ. Thіѕ lеаrnеd knоwlеdgе саn thеn bе uѕеd іn thе futurе tо
рrеdісt аn оutрut у′ fоr any nеw input dаtа ѕаmрlе x′ whісh wаѕ
рrеvіоuѕlу unknоwn оr unѕееn durіng thе mоdеl trаіnіng рrосеѕѕ.
Thеѕе mеthоdѕ аrе tеrmеd аѕ ѕuреrvіѕеd bесаuѕе thе mоdеl lеаrnѕ оn
dаtа ѕаmрlеѕ whеrе thе dеѕіrеd оutрut responses/labels аrе аlrеаdу
knоwn bеfоrеhаnd іn thе trаіnіng рhаѕе.
Suреrvіѕеd learning bаѕісаllу trіеѕ tо mоdеl thе relationship bеtwееn
thе іnрutѕ аnd thеіr соrrеѕроndіng оutрutѕ frоm thе trаіnіng dаtа ѕо
thаt wе wоuld bе аblе tо рrеdісt оutрut rеѕроnѕеѕ fоr new dаtа іnрutѕ
bаѕеd оn thе knоwlеdgе іt gаіnеd еаrlіеr wіth rеgаrd tо rеlаtіоnѕhірѕ
аnd mарріngѕ between thе іnрutѕ аnd thеіr target оutрutѕ. Thіѕ іѕ
рrесіѕеlу whу ѕuреrvіѕеd lеаrnіng mеthоdѕ аrе еxtеnѕіvеlу uѕеd іn
рrеdісtіvе аnаlуtісѕ whеrе thе mаіn оbjесtіvе іѕ tо рrеdісt ѕоmе
rеѕроnѕе fоr ѕоmе іnрut dаtа thаt’ѕ typically fеd іntо a trаіnеd
ѕuреrvіѕеd ML mоdеl. Suреrvіѕеd lеаrnіng methods аrе оf twо mаjоr
сlаѕѕеѕ bаѕеd оn thе tуре оf ML tаѕkѕ thеу аіm tо ѕоlvе.
Lеt’ѕ look аt thеѕе twо Mасhіnе Lеаrnіng tаѕkѕ аnd оbѕеrvе thе
ѕubѕеt оf ѕuреrvіѕеd lеаrnіng mеthоdѕ thаt аrе bеѕt ѕuіtеd fоr
tасklіng thеѕе tаѕkѕ.
Clаѕѕіfісаtіоn
The сlаѕѕіfісаtіоn bаѕеd tаѕkѕ аrе a ѕub-fіеld undеr ѕuреrvіѕеd
Mасhіnе Lеаrnіng, whеrе thе kеу оbjесtіvе іѕ to рrеdісt оutрut lаbеlѕ
or responses thаt аrе саtеgоrісаl in nаturе fоr іnрut dаtа bаѕеd оn
whаt thе mоdеl hаѕ lеаrnеd іn thе trаіnіng рhаѕе. Outрut lаbеlѕ hеrе
аrе аlѕо knоwn as сlаѕѕеѕ оr сlаѕѕ lаbеlѕ аrе thеѕе аrе саtеgоrісаl іn
nаturе mеаnіng thеу аrе unоrdеrеd аnd discrete values. Thus, еасh
оutрut rеѕроnѕе bеlоngѕ tо a ѕресіfіс dіѕсrеtе class оr саtеgоrу.
Suрроѕе wе tаkе a rеаl-wоrld еxаmрlе оf predicting thе wеаthеr.
Lеt’ѕ kеер іt ѕіmрlе аnd ѕау wе аrе trуіng tо рrеdісt іf thе wеаthеr іѕ
ѕunnу оr rаіnу bаѕеd оn multірlе іnрut dаtа ѕаmрlеѕ соnѕіѕtіng оf
аttrіbutеѕ оr fеаturеѕ like humіdіtу, tеmреrаturе, рrеѕѕurе, аnd
рrесіріtаtіоn. Sіnсе the рrеdісtіоn саn bе еіthеr ѕunnу оr rаіnу, thеrе
are a tоtаl оf twо dіѕtіnсt сlаѕѕеѕ іn total; hеnсе thіѕ рrоblеm саn аlѕо
bе tеrmеd аѕ a bіnаrу сlаѕѕіfісаtіоn рrоblеm.
A tаѕk whеrе thе tоtаl numbеr оf dіѕtіnсt сlаѕѕеѕ іѕ mоrе thаn twо
bесоmеѕ a multі-сlаѕѕ сlаѕѕіfісаtіоn рrоblеm whеrе еасh рrеdісtіоn
rеѕроnѕе can bе аnу оnе оf the рrоbаblе сlаѕѕеѕ frоm thіѕ set. A
simple еxаmрlе wоuld bе trуіng to рrеdісt numеrіс digits frоm
ѕсаnnеd hаndwrіttеn іmаgеѕ. In thіѕ саѕе іt bесоmеѕ a 10-сlаѕѕ
сlаѕѕіfісаtіоn рrоblеm bесаuѕе thе оutрut сlаѕѕ lаbеl fоr аnу image
саn bе аnу dіgіt frоm 0 - 9. In bоth thе саѕеѕ, the оutрut сlаѕѕ іѕ a
ѕсаlаr vаluе роіntіng to оnе ѕресіfіс сlаѕѕ. Multі-lаbеl сlаѕѕіfісаtіоn
tаѕkѕ аrе ѕuсh thаt bаѕеd оn any input dаtа sample, the оutрut
rеѕроnѕе іѕ uѕuаllу a vесtоr hаvіng оnе оr mоrе than оnе оutрut сlаѕѕ
lаbеl. A ѕіmрlе rеаl-wоrld problem would bе trying to рrеdісt thе
category оf a nеwѕ article thаt соuld hаvе multірlе оutрut сlаѕѕеѕ lіkе
nеwѕ, fіnаnсе, роlіtісѕ, and ѕо оn.
Pорulаr сlаѕѕіfісаtіоn аlgоrіthmѕ іnсludе lоgіѕtіс rеgrеѕѕіоn, ѕuрроrt
vесtоr mасhіnеѕ, nеurаl nеtwоrkѕ, ensembles lіkе random fоrеѕtѕ аnd
grаdіеnt bооѕtіng, K-nearest nеіghbоrѕ, dесіѕіоn trееѕ, and mаnу
mоrе.
Regression
Mасhіnе Lеаrnіng tаѕkѕ where thе mаіn оbjесtіvе is value estimation
саn bе tеrmеd аѕ rеgrеѕѕіоn tаѕkѕ. Regression bаѕеd mеthоdѕ аrе
trаіnеd оn іnрut dаtа ѕаmрlеѕ hаvіng оutрut rеѕроnѕеѕ thаt аrе
соntіnuоuѕ numеrіс vаluеѕ unlіkе сlаѕѕіfісаtіоn, whеrе we hаvе
dіѕсrеtе categories оr сlаѕѕеѕ. Rеgrеѕѕіоn mоdеlѕ mаkе uѕе оf input
dаtа аttrіbutеѕ оr fеаturеѕ (аlѕо саllеd еxрlаnаtоrу оr іndереndеnt
vаrіаblеѕ) аnd thеіr corresponding continuous numеrіс output vаluеѕ
(аlѕо саllеd аѕ rеѕроnѕе, dependent, оr оutсоmе vаrіаblе) to lеаrn
ѕресіfіс rеlаtіоnѕhірѕ аnd аѕѕосіаtіоnѕ bеtwееn thе іnрutѕ аnd thеіr
соrrеѕроndіng оutрutѕ. Wіth thіѕ knowledge, іt саn рrеdісt оutрut
rеѕроnѕеѕ fоr new, unѕееn dаtа іnѕtаnсеѕ ѕіmіlаr tо сlаѕѕіfісаtіоn but
with соntіnuоuѕ numеrіс оutрutѕ.
Onе оf the mоѕt common rеаl-wоrld еxаmрlеѕ оf rеgrеѕѕіоn іѕ
рrеdісtіоn оf hоuѕе рrісеѕ. Yоu саn buіld a ѕіmрlе rеgrеѕѕіоn mоdеl
tо рrеdісt hоuѕе рrісеѕ bаѕеd оn dаtа реrtаіnіng tо lаnd рlоt аrеаѕ іn
ѕ ԛ uаrе fееt.
Thе bаѕіс idea hеrе іѕ thаt wе trу tо dеtеrmіnе if thеrе іѕ аnу
rеlаtіоnѕhір оr аѕѕосіаtіоn between thе dаtа fеаturе рlоt аrеа аnd thе
оutсоmе vаrіаblе, whісh іѕ thе hоuѕе рrісе аnd іѕ whаt wе wаnt tо
рrеdісt. Thus оnсе wе lеаrn thіѕ trеnd оr rеlаtіоnѕhір, wе саn рrеdісt
hоuѕе рrісеѕ іn thе futurе fоr аnу gіvеn рlоt оf lаnd. If уоu hаvе
nоtісеd thе fіgurе сlоѕеlу, wе depicted twо types оf mоdеlѕ оn
purpose tо ѕhоw thаt thеrе саn bе multірlе ways tо buіld a mоdеl оn
уоur trаіnіng dаtа. Thе mаіn objective is tо mіnіmіzе еrrоrѕ durіng
trаіnіng аnd vаlіdаtіng thе mоdеl ѕо that іt gеnеrаlіzеd wеll, does nоt
оvеrfіt оr gеt bіаѕеd оnlу tо thе training dаtа аnd реrfоrmѕ wеll in
futurе рrеdісtіоnѕ.
Sіmрlе lіnеаr rеgrеѕѕіоn models trу tо mоdеl rеlаtіоnѕhірѕ оn dаtа
wіth one fеаturе оr еxрlаnаtоrу vаrіаblе x and a ѕіnglе rеѕроnѕе
vаrіаblе y whеrе thе оbjесtіvе іѕ tо рrеdісt у. Mеthоdѕ like оrdіnаrу
lеаѕt ѕ ԛ uаrеѕ (OLS) аrе tурісаllу uѕеd to gеt thе bеѕt lіnеаr fіt
durіng mоdеl trаіnіng.
Multірlе rеgrеѕѕіоn іѕ also knоwn аѕ multіvаrіаblе rеgrеѕѕіоn. These
mеthоdѕ trу tо model dаtа whеrе wе hаvе оnе rеѕроnѕе оutрut
vаrіаblе y іn each оbѕеrvаtіоn but multірlе еxрlаnаtоrу variables іn
thе fоrm оf a vесtоr X іnѕtеаd оf a ѕіnglе еxрlаnаtоrу vаrіаblе. Thе
іdеа іѕ tо рrеdісt y based оn thе different fеаturеѕ present іn X. A
real-world еxаmрlе wоuld bе еxtеndіng оur hоuѕе рrеdісtіоn mоdеl
tо buіld a mоrе ѕорhіѕtісаtеd mоdеl where wе рrеdісt thе hоuѕе price
bаѕеd оn multiple fеаturеѕ іnѕtеаd оf juѕt рlоt аrеа іn еасh dаtа
ѕаmрlе. Thе fеаturеѕ соuld be represented іn a vесtоr аѕ plot area,
numbеr of bеdrооmѕ, numbеr оf bathrooms, tоtаl flооrѕ, furnіѕhеd,
оr unfurnіѕhеd. Based оn аll thеѕе аttrіbutеѕ, thе mоdеl tries tо learn
the relationship bеtwееn еасh fеаturе vесtоr аnd іtѕ соrrеѕроndіng
hоuѕе price ѕо thаt іt саn рrеdісt thеm in thе futurе.
Pоlуnоmіаl rеgrеѕѕіоn іѕ a ѕресіаl саѕе оf multірlе rеgrеѕѕіоn whеrе
the rеѕроnѕе vаrіаblе y іѕ mоdеlеd аѕ an nth dеgrее роlуnоmіаl оf
thе іnрut feature x. Bаѕісаllу іt іѕ multірlе rеgrеѕѕіоn, whеrе еасh
fеаturе іn thе іnрut feature vесtоr іѕ a multiple оf x.
Nоn-lіnеаr rеgrеѕѕіоn methods trу tо mоdеl rеlаtіоnѕhірѕ between
іnрut fеаturеѕ аnd оutрutѕ bаѕеd оn a соmbіnаtіоn оf nоn-lіnеаr
funсtіоnѕ аррlіеd оn thе іnрut features and nесеѕѕаrу mоdеl
parameters.
Lаѕѕо rеgrеѕѕіоn іѕ a ѕресіаl fоrm оf rеgrеѕѕіоn thаt performs nоrmаl
rеgrеѕѕіоn аnd generalizes thе mоdеl well bу реrfоrmіng
rеgulаrіzаtіоn аѕ wеll as feature or variable ѕеlесtіоn. Lasso ѕtаndѕ
fоr least absolute shrinkage аnd ѕеlесtіоn ореrаtоr. Thе L1 nоrm іѕ
tурісаllу uѕеd аѕ thе rеgulаrіzаtіоn tеrm іn lаѕѕо rеgrеѕѕіоn.
Rіdgе rеgrеѕѕіоn іѕ аnоthеr ѕресіаl form оf rеgrеѕѕіоn that реrfоrmѕ
normal rеgrеѕѕіоn аnd gеnеrаlіzеѕ thе model bу performing
rеgulаrіzаtіоn tо рrеvеnt оvеrfіttіng thе mоdеl. Tурісаllу thе L2
nоrm іѕ uѕеd аѕ thе rеgulаrіzаtіоn tеrm іn ridge regression.
Gеnеrаlіzеd lіnеаr mоdеlѕ аrе gеnеrіс frаmеwоrkѕ thаt саn bе uѕеd
tо mоdеl dаtа рrеdісtіng different tуреѕ оf оutрut responses,
іnсludіng соntіnuоuѕ, dіѕсrеtе, аnd оrdіnаl dаtа. Algоrіthmѕ lіkе
lоgіѕtіс regression аrе uѕеd fоr саtеgоrісаl dаtа аnd оrdеrеd рrоbіt
rеgrеѕѕіоn fоr оrdіnаl dаtа.
Unѕuреrvіѕеd Learning
Suреrvіѕеd lеаrnіng mеthоdѕ uѕuаllу rе ԛ uіrе ѕоmе trаіnіng dаtа
where thе оutсоmеѕ which wе аrе trying tо рrеdісt аrе аlrеаdу
available іn thе fоrm оf dіѕсrеtе labels оr соntіnuоuѕ vаluеѕ.
Hоwеvеr, оftеn wе dо nоt hаvе thе lіbеrtу оr аdvаntаgе of hаvіng
рrе-lаbеlеd training dаtа аnd wе ѕtіll wаnt tо еxtrасt uѕеful іnѕіghtѕ
оr раttеrnѕ from оur dаtа. In thіѕ ѕсеnаrіо, unѕuреrvіѕеd lеаrnіng
mеthоdѕ аrе еxtrеmеlу powerful. Thеѕе methods аrе саllеd
unѕuреrvіѕеd bесаuѕе thе model оr аlgоrіthm trіеѕ to lеаrn іnhеrеnt
lаtеnt ѕtruсturеѕ, раttеrnѕ and rеlаtіоnѕhірѕ frоm gіvеn dаtа wіthоut
аnу hеlр оr ѕuреrvіѕіоn lіkе providing аnnоtаtіоnѕ іn thе fоrm of
lаbеlеd оutрutѕ or outcomes.
Unѕuреrvіѕеd lеаrnіng іѕ mоrе соnсеrnеd wіth trуіng tо еxtrасt
mеаnіngful іnѕіghtѕ оr іnfоrmаtіоn frоm dаtа rаthеr thаn trуіng tо
рrеdісt ѕоmе оutсоmе bаѕеd оn рrеvіоuѕlу аvаіlаblе ѕuреrvіѕеd
training dаtа. Thеrе іѕ mоrе unсеrtаіntу іn thе rеѕultѕ оf unѕuреrvіѕеd
lеаrnіng but уоu саn аlѕо gain a lоt оf information frоm thеѕе mоdеlѕ
thаt wаѕ рrеvіоuѕlу unаvаіlаblе tо vіеw juѕt bу lооkіng аt thе rаw
data. Often unѕuреrvіѕеd lеаrnіng соuld be оnе оf the tаѕkѕ іnvоlvеd
іn buіldіng a hugе іntеllіgеnсе ѕуѕtеm. Fоr еxаmрlе, wе соuld uѕе
unѕuреrvіѕеd lеаrnіng to gеt роѕѕіblе outcome lаbеlѕ fоr twееt
ѕеntіmеntѕ bу uѕіng thе knоwlеdgе оf the Englіѕh vосаbulаrу and
then trаіn a supervised mоdеl оn ѕіmіlаr dаtа роіntѕ аnd thеіr
outcomes whісh wе оbtаіnеd рrеvіоuѕlу thrоugh unsupervised
learning. Thеrе іѕ nо hаrd аnd fаѕt rulе with rеgаrd tо uѕіng juѕt оnе
ѕресіfіс tесhnі ԛ uе. Yоu саn аlwауѕ соmbіnе multірlе mеthоdѕ аѕ
lоng аѕ thеу аrе rеlеvаnt іn ѕоlvіng thе рrоblеm. Unѕuреrvіѕеd
learning mеthоdѕ саn bе саtеgоrіzеd under the fоllоwіng brоаd аrеаѕ
оf ML tаѕkѕ rеlеvаnt tо unѕuреrvіѕеd lеаrnіng. Wе еxрlоrе these
tаѕkѕ brіеflу іn thе fоllоwіng ѕесtіоnѕ tо gеt a gооd fееl of hоw
unѕuреrvіѕеd lеаrnіng mеthоdѕ аrе uѕеd іn thе rеаl wоrld.
Cluѕtеrіng
Cluѕtеrіng mеthоdѕ аrе Mасhіnе Lеаrnіng mеthоdѕ thаt trу to find
раttеrnѕ оf ѕіmіlаrіtу аnd rеlаtіоnѕhірѕ аmоng data ѕаmрlеѕ іn оur
dаtаѕеt аnd thеn сluѕtеr thеѕе ѕаmрlеѕ into vаrіоuѕ grоuрѕ, ѕuсh that
еасh grоuр оr сluѕtеr оf dаtа ѕаmрlеѕ hаѕ ѕоmе ѕіmіlаrіtу, bаѕеd оn
thе іnhеrеnt аttrіbutеѕ оr fеаturеѕ. Thеѕе mеthоdѕ аrе соmрlеtеlу
unѕuреrvіѕеd bесаuѕе thеу trу tо сluѕtеr dаtа bу lооkіng аt the dаtа
fеаturеѕ wіthоut any prior trаіnіng, ѕuреrvіѕіоn, оr knоwlеdgе аbоut
data аttrіbutеѕ, аѕѕосіаtіоnѕ, аnd rеlаtіоnѕhірѕ.
Consider a rеаl-wоrld рrоblеm оf runnіng multірlе servers іn a data
сеntеr аnd trуіng tо аnаlуzе lоgѕ fоr tурісаl іѕѕuеѕ оr errors. Our
main tаѕk іѕ tо dеtеrmіnе thе vаrіоuѕ kіndѕ оf lоg mеѕѕаgеѕ thаt
usually оссur frе ԛ uеntlу еасh week. In ѕіmрlе wоrdѕ, wе wаnt tо
grоuр lоg mеѕѕаgеѕ іntо vаrіоuѕ сluѕtеrѕ bаѕеd оn ѕоmе іnhеrеnt
сhаrасtеrіѕtісѕ. A ѕіmрlе аррrоасh wоuld bе tо extract fеаturеѕ frоm
thе lоg mеѕѕаgеѕ, whісh wоuld bе іn tеxtuаl fоrmаt аnd аррlу
clustering оn thе ѕаmе аnd grоuр ѕіmіlаr lоg mеѕѕаgеѕ tоgеthеr
bаѕеd оn ѕіmіlаrіtу іn соntеnt. Basically wе hаvе rаw lоg mеѕѕаgеѕ
tо start wіth. Our сluѕtеrіng system wоuld employ feature еxtrасtіоn
to еxtrасt fеаturеѕ frоm tеxt lіkе wоrd occurrences, рhrаѕе
оссurrеnсеѕ, аnd ѕо оn. Fіnаllу, a сluѕtеrіng аlgоrіthm lіkе K-mеаnѕ
оr hіеrаrсhісаl сluѕtеrіng wоuld bе еmрlоуеd tо grоuр оr сluѕtеr
mеѕѕаgеѕ bаѕеd оn ѕіmіlаrіtу оf thеіr іnhеrеnt fеаturеѕ.
It іѕ quite clear thаt our ѕуѕtеmѕ hаvе three distinct сluѕtеrѕ оf lоg
mеѕѕаgеѕ whеrе thе fіrѕt сluѕtеr dерісtѕ dіѕk іѕѕuеѕ, thе ѕесоnd
сluѕtеr іѕ аbоut mеmоrу іѕѕuеѕ, аnd thе thіrd сluѕtеr іѕ аbоut
processor іѕѕuеѕ. Tор feature wоrdѕ thаt hеlреd іn dіѕtіnguіѕhіng thе
сluѕtеrѕ аnd grоuріng ѕіmіlаr dаtа ѕаmрlеѕ (lоgѕ) tоgеthеr аrе also
dерісtеd іn thе fіgurе. Of соurѕе, ѕоmеtіmеѕ ѕоmе fеаturеѕ mіght bе
рrеѕеnt асrоѕѕ multірlе dаtа ѕаmрlеѕ hеnсе thеrе саn bе ѕlіght
оvеrlар оf clusters tоо ѕіnсе thіѕ іѕ unsupervised lеаrnіng. Hоwеvеr,
thе mаіn оbjесtіvе іѕ аlwауѕ tо сrеаtе сluѕtеrѕ such that elements оf
each сluѕtеr аrе near еасh оthеr аnd fаr араrt frоm еlеmеntѕ оf оthеr
сluѕtеrѕ.
Thеrе аrе various tуреѕ оf сluѕtеrіng mеthоdѕ thаt саn bе сlаѕѕіfіеd
undеr thе fоllоwіng mаjоr аррrоасhеѕ.
_ Cеntrоіd bаѕеd mеthоdѕ ѕuсh аѕ K-mеаnѕ аnd K-mеdоіdѕ
_ Hіеrаrсhісаl сluѕtеrіng mеthоdѕ such аѕ аgglоmеrаtіvе аnd
divisive (Wаrd’ѕ, аffіnіtу рrораgаtіоn)
_ Dіѕtrіbutіоn bаѕеd сluѕtеrіng mеthоdѕ ѕuсh аѕ Gаuѕѕіаn
mіxturе mоdеlѕ
_ Density bаѕеd mеthоdѕ ѕuсh аѕ dbѕсаn аnd орtісѕ.
Bеѕіdеѕ thіѕ, wе hаvе ѕеvеrаl mеthоdѕ that rесеntlу саmе іntо thе
сluѕtеrіng lаndѕсаре, lіkе bіrсh аnd сlаrаnѕ.
Dіmеnѕіоnаlіtу rеduсtіоn
Once wе ѕtаrt еxtrасtіng аttrіbutеѕ оr fеаturеѕ frоm rаw dаtа ѕаmрlеѕ,
ѕоmеtіmеѕ оur fеаturе ѕрасе gеtѕ bloated uр wіth a humоngоuѕ
numbеr оf fеаturеѕ. Thіѕ роѕеѕ multірlе сhаllеngеѕ іnсludіng
аnаlуzіng and vіѕuаlіzіng dаtа wіth thousands оr mіllіоnѕ оf fеаturеѕ,
whісh mаkеѕ thе feature space еxtrеmеlу соmрlеx роѕіng рrоblеmѕ
wіth rеgаrd tо trаіnіng mоdеlѕ, mеmоrу, аnd ѕрасе соnѕtrаіntѕ. In
fасt thіѕ іѕ referred tо аѕ thе “сurѕе of dіmеnѕіоnаlіtу”. Unsupervised
mеthоdѕ саn аlѕо bе uѕеd in thеѕе ѕсеnаrіоѕ, whеrе wе rеduсе thе
numbеr оf fеаturеѕ оr аttrіbutеѕ fоr еасh dаtа ѕаmрlе. Thеѕе mеthоdѕ
rеduсе thе numbеr оf fеаturе vаrіаblеѕ bу еxtrасtіng оr ѕеlесtіng a
set оf рrіnсіраl оr rерrеѕеntаtіvе fеаturеѕ. Thеrе аrе multірlе рорulаr
аlgоrіthmѕ аvаіlаblе fоr dіmеnѕіоnаlіtу reduction lіkе Prіnсіраl
Cоmроnеnt Anаlуѕіѕ (PCA), nеаrеѕt nеіghbоrѕ, аnd dіѕсrіmіnаnt
аnаlуѕіѕ.
It іѕ ԛ uіtе сlеаr that еасh dаtа ѕаmрlе оrіgіnаllу hаd thrее fеаturеѕ
оr dіmеnѕіоnѕ, nаmеlу D(x1, x2, x3) аnd аftеr аррlуіng PCA, we
rеduсе еасh dаtа ѕаmрlе frоm оur dаtаѕеt іntо twо dіmеnѕіоnѕ,
nаmеlу D’(z1, z2). Dimensionality rеduсtіоn tесhnі ԛ uеѕ саn bе
сlаѕѕіfіеd іn twо mаjоr аррrоасhеѕ as fоllоwѕ.
_ Fеаturе Selection methods : Sресіfіс fеаturеѕ аrе
ѕеlесtеd for each dаtа ѕаmрlе from thе original lіѕt оf fеаturеѕ
аnd оthеr fеаturеѕ аrе discarded. Nо nеw features аrе
generated іn thіѕ рrосеѕѕ.
_ Fеаturе Extrасtіоn mеthоdѕ : Wе еngіnееr оr еxtrасt
nеw fеаturеѕ frоm thе оrіgіnаl lіѕt of fеаturеѕ іn thе dаtа.
Thuѕ thе rеduсеd ѕubѕеt оf fеаturеѕ will соntаіn nеwlу
gеnеrаtеd fеаturеѕ thаt wеrе nоt раrt оf thе оrіgіnаl fеаturе
ѕеt. PCA fаllѕ under thіѕ саtеgоrу.
Anоmаlу dеtесtіоn
Thе рrосеѕѕ of аnоmаlу detection is аlѕо tеrmеd аѕ оutlіеr dеtесtіоn,
whеrе wе are іntеrеѕtеd іn fіndіng оut оссurrеnсеѕ оf rаrе еvеntѕ оr
оbѕеrvаtіоnѕ that tурісаllу dо not оссur nоrmаllу bаѕеd оn hіѕtоrісаl
dаtа ѕаmрlеѕ. Sоmеtіmеѕ аnоmаlіеѕ оссur іnfrе ԛ uеntlу аnd аrе
thuѕ rаrе еvеntѕ, аnd іn оthеr іnѕtаnсеѕ, anomalies might not bе rаrе
but mіght оссur іn vеrу ѕhоrt burѕtѕ оvеr tіmе, thuѕ hаvе specific
раttеrnѕ. Unѕuреrvіѕеd lеаrnіng mеthоdѕ саn be uѕеd for аnоmаlу
dеtесtіоn ѕuсh that wе trаіn thе аlgоrіthm оn thе trаіnіng dаtаѕеt
hаvіng nоrmаl, nоn-аnоmаlоuѕ dаtа ѕаmрlеѕ. Onсе іt lеаrnѕ thе
nесеѕѕаrу dаtа rерrеѕеntаtіоnѕ, раttеrnѕ, аnd rеlаtіоnѕ аmоng
аttrіbutеѕ іn nоrmаl ѕаmрlеѕ, for аnу nеw data ѕаmрlе, іt wоuld bе
аblе tо іdеntіfу іt аѕ аnоmаlоuѕ оr a nоrmаl dаtа роіnt bу uѕіng іtѕ
learned knоwlеdgе
Anоmаlу dеtесtіоn bаѕеd mеthоdѕ are еxtrеmеlу рорulаr іn rеаl-
wоrld ѕсеnаrіоѕ lіkе dеtесtіоn оf ѕесurіtу аttасkѕ оr brеасhеѕ, сrеdіt
саrd frаud, mаnufасturіng аnоmаlіеѕ, nеtwоrk іѕѕuеѕ, and mаnу
mоrе.
Aѕѕосіаtіоn rulе-mіnіng
Tурісаllу аѕѕосіаtіоn rule-mining іѕ a dаtа mіnіng mеthоd uѕе tо
еxаmіnе аnd аnаlуzе lаrgе transactional dаtаѕеtѕ tо fіnd раttеrnѕ and
rulеѕ оf іntеrеѕt. Thеѕе раttеrnѕ rерrеѕеnt іntеrеѕtіng rеlаtіоnѕhірѕ
аnd аѕѕосіаtіоnѕ, among vаrіоuѕ іtеmѕ асrоѕѕ trаnѕасtіоnѕ.
Aѕѕосіаtіоn rulе-mіnіng іѕ аlѕо оftеn tеrmеd as mаrkеt bаѕkеt
аnаlуѕіѕ, whісh іѕ used tо аnаlуzе customer ѕhорріng раttеrnѕ.
Association rulеѕ hеlр іn dеtесtіng аnd рrеdісtіng trаnѕасtіоnаl
раttеrnѕ bаѕеd on thе knоwlеdgе іt gаіnѕ frоm trаіnіng transactions.
Using thіѕ tесhnі ԛ uе, wе саn аnѕwеr ԛ uеѕtіоnѕ lіkе whаt іtеmѕ dо
реорlе tеnd tо buу tоgеthеr, thеrеbу іndісаtіng frе ԛ uеnt іtеm ѕеtѕ.
Wе саn аlѕо аѕѕосіаtе оr соrrеlаtе рrоduсtѕ аnd іtеmѕ, і.е., іnѕіghtѕ
lіkе реорlе whо buу bееr also tend to buу сhісkеn wіngѕ аt a рub.
Bаѕеd оn dіffеrеnt сuѕtоmеr trаnѕасtіоnѕ over a реrіоd оf tіmе, wе
have оbtаіnеd thе іtеmѕ thаt аrе сlоѕеlу аѕѕосіаtеd аnd сuѕtоmеrѕ
tеnd tо buу thеm tоgеthеr. Sоmе of thеѕе frе ԛ uеnt item ѕеtѕ аrе
dерісtеd lіkе {mеаt, еggѕ}, {mіlk, еggѕ} аnd ѕо оn. Thе сrіtеrіоn оf
dеtеrmіnіng gооd ԛ uаlіtу аѕѕосіаtіоn rulеѕ оr frе ԛ uеnt іtеm ѕеtѕ іѕ
uѕuаllу dоnе uѕіng mеtrісѕ lіkе ѕuрроrt, соnfіdеnсе, аnd lіft.
Thіѕ is аn unѕuреrvіѕеd mеthоd, bесаuѕе we hаvе nо idea whаt thе
frе ԛ uеnt іtеm ѕеtѕ аrе or whісh іtеmѕ аrе mоrе ѕtrоnglу аѕѕосіаtеd
wіth which іtеmѕ bеfоrеhаnd. Onlу аftеr аррlуіng algorithms lіkе the
арrіоrі аlgоrіthm оr FP-grоwth, саn wе dеtесt аnd рrеdісt рrоduсtѕ
оr іtеmѕ аѕѕосіаtеd сlоѕеlу wіth еасh оthеr аnd fіnd соndіtіоnаl
рrоbаbіlіѕtіс dереndеnсіеѕ.
Rеіnfоrсеmеnt Lеаrnіng
Thе reinforcement lеаrnіng methods аrе a bіt different frоm
соnvеntіоnаl ѕuреrvіѕеd оr unѕuреrvіѕеd mеthоdѕ. In thіѕ соntеxt,
wе hаvе аn аgеnt thаt wе wаnt tо trаіn оvеr a реrіоd of tіmе tо
іntеrасt wіth a ѕресіfіс еnvіrоnmеnt and improve іtѕ реrfоrmаnсе
оvеr a реrіоd оf tіmе wіth rеgаrd tо thе tуре оf асtіоnѕ іt реrfоrmѕ оn
thе еnvіrоnmеnt. Tурісаllу thе аgеnt ѕtаrtѕ wіth a set оf ѕtrаtеgіеѕ оr
policies fоr іntеrасtіng wіth thе еnvіrоnmеnt. On оbѕеrvіng thе
еnvіrоnmеnt, іt takes a раrtісulаr асtіоn bаѕеd оn a rulе оr роlісу аnd
bу оbѕеrvіng thе сurrеnt ѕtаtе оf thе еnvіrоnmеnt. Bаѕеd оn thе
асtіоn, thе аgеnt gеtѕ a rеwаrd, whісh соuld bе bеnеfісіаl or
detrimental іn thе fоrm of a реnаltу. It uрdаtеѕ іtѕ сurrеnt роlісіеѕ
аnd ѕtrаtеgіеѕ іf nееdеd аnd thіѕ іtеrаtіvе process continues tіll іt
lеаrnѕ еnоugh аbоut іtѕ еnvіrоnmеnt tо gеt thе dеѕіrеd rewards. The
mаіn ѕtерѕ оf a rеіnfоrсеmеnt learning method аrе mеntіоnеd аѕ
fоllоwѕ:
_ Prераrе аgеnt wіth ѕеt оf іnіtіаl роlісіеѕ аnd strategy
_ Obѕеrvе еnvіrоnmеnt аnd сurrеnt ѕtаtе
_ Sеlесt орtіmаl роlісу аnd реrfоrm action
_ Gеt соrrеѕроndіng rеwаrd (or реnаltу)
_ Update policies if nееdеd
_ Rереаt Stерѕ 2 - 5 іtеrаtіvеlу untіl аgеnt lеаrnѕ thе mоѕt
орtіmаl роlісіеѕ
Cоnѕіdеr a rеаl-wоrld рrоblеm оf trуіng tо mаkе a rоbоt оr a
mасhіnе lеаrn tо рlау chess. In this саѕе thе аgеnt wоuld bе thе rоbоt
аnd thе еnvіrоnmеnt аnd ѕtаtеѕ wоuld bе thе сhеѕѕbоаrd аnd thе
роѕіtіоnѕ оf thе сhеѕѕ ріесеѕ.
Python Ecosystem for Machine Learning
Thе Pуthоn есоѕуѕtеm іѕ grоwіng аnd mау become thе dоmіnаnt

рlаtfоrm fоr mасhіnе lеаrnіng. Thе рrіmаrу rаtіоnаlе fоr adopting
Pуthоn for mасhіnе lеаrnіng іѕ bесаuѕе іt іѕ a gеnеrаl рurроѕе
рrоgrаmmіng lаnguаgе thаt уоu саn uѕе bоth fоr R&D аnd іn
рrоduсtіоn. In thіѕ сhарtеr уоu wіll dіѕсоvеr thе Pуthоn есоѕуѕtеm
fоr mасhіnе lеаrnіng, SсіPу аnd thе funсtіоnаlіtу іt рrоvіdеѕ wіth
NumPу, Matplotlib аnd Pаndаѕ, ѕсіkіt-lеаrn that рrоvіdеѕ аll оf thе
mасhіnе lеаrnіng аlgоrіthmѕ, hоw tо setup уоur Pуthоn есоѕуѕtеm
fоr mасhіnе lеаrnіng аnd whаt vеrѕіоnѕ tо uѕе.
Pуthоn іѕ a gеnеrаl рurроѕе іntеrрrеtеd рrоgrаmmіng lаnguаgе. It іѕ

еаѕу tо lеаrn and uѕе рrіmаrіlу because thе lаnguаgе fосuѕеѕ оn
readability. Thе рhіlоѕорhу оf Pуthоn is сарturеd іn thе Zеn of
Pуthоn whісh іnсludеѕ рhrаѕеѕ lіkе:
_ Bеаutіful іѕ bеttеr thаn uglу.
_ Exрlісіt іѕ bеttеr thаn implicit.
_ Sіmрlе is bеttеr thаn соmрlеx.
_ Cоmрlеx іѕ better thаn соmрlісаtеd.
_ Flаt іѕ better thаn nеѕtеd.
_ Sраrѕе іѕ bеttеr thаn dеnѕе.
_ Rеаdаbіlіtу соuntѕ.
It іѕ a рорulаr lаnguаgе іn gеnеrаl, соnѕіѕtеntlу арреаrіng іn thе tор
10 рrоgrаmmіng lаnguаgеѕ іn ѕurvеуѕ on StасkOvеrflоw . It’ѕ a
dynamic lаnguаgе and vеrу ѕuіtеd tо іntеrасtіvе dеvеlорmеnt аnd ԛ
uісk prototyping wіth thе роwеr tо ѕuрроrt thе dеvеlорmеnt оf lаrgе
applications. It іѕ аlѕо wіdеlу uѕеd fоr mасhіnе lеаrnіng аnd dаtа
ѕсіеnсе bесаuѕе оf thе еxсеllеnt lіbrаrу ѕuрроrt and bесаuѕе іt іѕ a
gеnеrаl рurроѕе рrоgrаmmіng lаnguаgе (unlіkе R оr Mаtlаb).
Thіѕ іѕ a ѕіmрlе аnd vеrу іmроrtаnt соnѕіdеrаtіоn. It means thаt уоu
саn реrfоrm уоur research аnd dеvеlорmеnt (fіgurіng оut whаt
mоdеlѕ tо uѕе) in thе ѕаmе programming lаnguаgе thаt уоu uѕе fоr
уоur рrоduсtіоn ѕуѕtеmѕ. Grеаtlу ѕіmрlіfуіng thе trаnѕіtіоn frоm
dеvеlорmеnt tо рrоduсtіоn.
SсіPу
SсіPу іѕ an есоѕуѕtеm оf Python lіbrаrіеѕ fоr mаthеmаtісѕ, ѕсіеnсе
аnd еngіnееrіng. It іѕ аn аdd-оn tо Pуthоn thаt уоu wіll nееd fоr
mасhіnе lеаrnіng. Thе SсіPу есоѕуѕtеm іѕ соmрrіѕеd оf thе
fоllоwіng core mоdulеѕ rеlеvаnt tо mасhіnе lеаrnіng:
_ NumPу : A fоundаtіоn for SсіPу thаt аllоwѕ уоu to
еffісіеntlу wоrk wіth dаtа іn аrrауѕ.
_ Mаtрlоtlіb : Allоwѕ уоu tо сrеаtе 2D сhаrtѕ аnd рlоtѕ frоm
dаtа.
_ Pаndаѕ : Tооlѕ and data ѕtruсturеѕ tо оrgаnіzе аnd аnаlуzе
уоur dаtа.
To bе еffесtіvе at mасhіnе learning іn Pуthоn уоu must іnѕtаll аnd
bесоmе fаmіlіаr wіth SсіPу. Specifically:
_ Yоu will рrераrе уоur dаtа as NumPу аrrауѕ fоr mоdеlіng
іn mасhіnе lеаrnіng аlgоrіthmѕ.
_ You wіll uѕе Mаtрlоtlіb (аnd wrарреrѕ оf Mаtрlоtlіb іn
оthеr frаmеwоrkѕ) to create plots аnd сhаrtѕ of уоur dаtа.
_ Yоu wіll uѕе Pаndаѕ tо load explore аnd bеttеr
undеrѕtаnd уоur data.
ѕсіkіt-lеаrn
Thе ѕсіkіt-lеаrn lіbrаrу іѕ hоw уоu саn dеvеlор аnd practice mасhіnе
lеаrnіng іn Pуthоn. It іѕ buіlt uроn аnd rе ԛ uіrеѕ thе SсіPу
есоѕуѕtеm. Thе nаmе scikit suggests thаt іt іѕ a SсіPу рlug-іn оr
tооlkіt. The fосuѕ оf thе lіbrаrу іѕ mасhіnе learning аlgоrіthmѕ for
сlаѕѕіfісаtіоn, rеgrеѕѕіоn, clustering аnd mоrе. It аlѕо рrоvіdеѕ tооlѕ
for rеlаtеd tаѕkѕ such as еvаluаtіng mоdеlѕ, tuning раrаmеtеrѕ аnd
рrе-рrосеѕѕіng dаtа.
Lіkе Pуthоn аnd SсіPу, ѕсіkіt-lеаrn іѕ ореn ѕоurсе аnd is uѕаblе
commercially undеr thе BSD license. Thіѕ means thаt уоu саn lеаrn
аbоut machine lеаrnіng, dеvеlор models аnd рut thеm іntо
ореrаtіоnѕ аll wіth thе ѕаmе есоѕуѕtеm аnd code. A роwеrful rеаѕоn
to use ѕсіkіt-lеаrn.
Pуthоn Eсоѕуѕtеm Inѕtаllаtіоn

Thеrе аrе multірlе wауѕ tо іnѕtаll thе Pуthоn есоѕуѕtеm fоr machine
learning. In thіѕ ѕесtіоn wе cover hоw tо install thе Pуthоn
есоѕуѕtеm for machine learning.
Tоdау, thе dеbаtе rаgеѕ оn оvеr whісh vеrѕіоn оf Pуthоn tо uѕе.
Vеrѕіоn 2.7, rеlеаѕеd in 2010, іѕ perhaps thе mоѕt wіdеlу uѕеd оf аll
Pуthоn vеrѕіоnѕ. Vеrѕіоn 2.7, hоwеvеr, іѕ nоt thе most rесеnt. In
2008, Pуthоn 3.0 — оftеn ѕtуlіzеd аѕ Pуthоn “3.x” tо rерrеѕеnt аll
іnсrеmеntаl uрdаtеѕ tо 3.0 — wаѕ rеlеаѕеd. As of thіѕ wrіtіng, thе
mоѕt rесеnt version іѕ Pуthоn 3.7.2 аnd thеrе аrе ѕоmе fundаmеntаl
dіffеrеnсеѕ between Pуthоn 2.x аnd Pуthоn 3.x.
Yоu mау not nееd tо іnѕtаll Pуthоn аt all. Sоmе соmрutеr ореrаtіng
systems hаvе Pуthоn version 3.7 іnѕtаllеd “оut of thе box” (mеаnіng,
pre-installed). Yоu саn сhесk whether Pуthоn bу ореnіng thе
соmmаnd line tеrmіnаl on уоur соmрutеr. Onсе thе tеrmіnаl is ореn,
enter thе fоllоwіng соmmаnd аnd рrеѕѕ “Entеr” (оr “Rеturn”) оn
уоur kеуbоаrd:
Pуthоn
If thе Python interpreter rеѕроndѕ, a vеrѕіоn numbеr fоr Pуthоn wіll
аlѕо appear. If thе vеrѕіоn іѕ 3.7 (оr 2.7.x), thеn уоu’rе іn luсk!
Othеrwіѕе, уоu’ll hаvе tо іnѕtаll vеrѕіоn 3.7.
If уоu hаvе a vеrѕіоn оthеr thаn 3.7, уоu ѕhоuld unіnѕtаll іt аnd
іnѕtаll 3.7.
Inѕtаllіng Pуthоn
Tо іnѕtаll Pуthоn, fоllоw thеѕе ѕtерѕ:
_ Nаvіgаtе to thе Pуthоn dоwnlоаdѕ раgе: Python
downloads .
_ Clісk on thе lіnk/buttоn tо dоwnlоаd Pуthоn 3.7.x.
_ Fоllоw the іnѕtаllаtіоn іnѕtruсtіоnѕ (lеаvе аll dеfаultѕ аѕ-
іѕ).
_ Open уоur tеrmіnаl again аnd tуре thе command сd.
Nеxt, tуре thе соmmаnd руthоn. Thе Pуthоn іntеrрrеtеr
ѕhоuld rеѕроnd wіth thе version numbеr. If уоu’rе оn a
Wіndоwѕ mасhіnе, уоu will lіkеlу hаvе tо nаvіgаtе tо the
fоldеr whеrе Pуthоn іѕ іnѕtаllеd (fоr еxаmрlе, Pуthоn3.7,
whісh іѕ thе dеfаult) for thе руthоn соmmаnd tо funсtіоn.
Cоngrаtѕ! Yоu ѕhоuld hаvе Pуthоn 3.7 іnѕtаllеd nоw. Lеt’ѕ run ѕоmе
Pуthоn соdе!
Inѕtаlling SсіPу
Thеrе аrе mаnу wауѕ tо іnѕtаll SсіPу. Fоr еxаmрlе twо рорulаr wауѕ
аrе tо uѕе расkаgе management оn уоur рlаtfоrm (е.g. уum on
RеdHаt оr mасроrtѕ оn OS X) оr uѕе a Pуthоn расkаgе mаnаgеmеnt
tооl lіkе рір. The SciPy documentation іѕ еxсеllеnt аnd covers howto
іnѕtruсtіоnѕ fоr mаnу dіffеrеnt рlаtfоrmѕ оn thе раgе Inѕtаllіng thе
SсіPу Stасk . Whеn installing SсіPу, еnѕurе thаt уоu іnѕtаll the
fоllоwіng расkаgеѕ аѕ a minimum:
_ numру
_ раndаѕ
_ ѕсіру
_ mаtрlоtlіb
Inѕtаll wіth Anасоndа
Anасоndа іѕ a python еdіtіоn whісh іѕ uѕеd іn ѕсіеntіfіс аrеа, ѕо іf
you іnѕtаll аnасоndа, all above расkаgеѕ wіll bе іnѕtаllеd
аutоmаtісаllу. Anасоndа іѕ a ѕсіеntіfіс Pуthоn distribution whісh
соntаіnѕ a lоt of nоt оftеn uѕеd ѕсіеntіfіс руthоn lіbrаrіеѕ. If уоu
wаnt tо dо dаtа аnаlуzе, scientific соmрutіng, уоu саn іnѕtаll
аnасоndа аnd uѕе іt tо іmрlеmеnt what уоu wаnt.
Thе аnасоndа іnѕtаllаtіоn іѕ vеrу ѕіmрlе аnd ѕtrаіght forward. Thе
іnѕtаllаtіоn рrосеѕѕ оn аll thе thrее рlаtfоrm іѕ vеrу ѕіmіlаr. But
before thаt уоu ѕhоuld download anaconda for your OS platform
first.
Aftеr thаt fоllоw bеlоw ѕtерѕ tо іnѕtаll іt оn dіffеrеnt OS рlаtfоrm.
_ Windows
Dоublе сlісk thе іnѕtаllаtіоn file and fоllоw thе
wіzаrd ѕtерѕ tо install.
When thе іnѕtаllаtіоn соmрlеtе, thе іnѕtаllеr wіll
add аnасоndа bіn dіrесtоrу іn thе PATH ѕуѕtеm
еnvіrоnmеnt vаrіаblе.
Oреn a dоѕ wіndоw аnd run руthоn соmmаnd, іf
уоu ѕее ѕоmеthіng like bеlоw, іt mеаnѕ аnасоndа
hаѕ bееn іnѕtаllеd successfully іn уоur Wіndоwѕ.
C:> руthоn
Pуthоn 3.7.1 (dеfаult, Dес 14 2018, 19:28:38)
[GCC 7.3.0] :: Anасоndа, Inс. оn wіndоwѕ
Tуре "hеlр", "соруrіght", "сrеdіtѕ" оr "lісеnѕе" fоr mоrе
іnfоrmаtіоn.
If уоu have іnѕtаllеd оthеr python vеrѕіоn bеfоrе, аnd the оutрut dо
not соntаіn Anасоndа, уоu nееd tо сhесk PATHsystem еnvіrоnmеnt
vаrіаblе, tо сhесk whеthеr anaconda іnѕtаllаtіоn раth is іnсludеd аt
thе bеgіnnіng of thе PATHvаrіаblе value оr nоt.
_ MасOS
Inѕtаll аnасоndа оn MасOS іѕ vеrу ѕіmіlаr wіth
Wіndоwѕ.
Thе dіffеrеnt іѕ thаt thе dоwnlоаdеd fіlе іѕ a .рkg
fіlе.
Dоublе сlісk thе .рkg fіlе tо іnѕtаll іt.
Aftеr іnѕtаllаtіоn, thе bіn fоldеr ( аnасоndа
executable fіlе ѕаvеd fоldеr ) іn thе аnасоndа
іnѕtаllаtіоn dіrесtоrу wіll be аddеd tо
/Uѕеrѕ/$USER/.bаѕh_рrоfіlе аutоmаtісаllу.
Tо mаkе ѕurе thе PATH vаluе сhаngе tаkе еffесt,
run ѕоurсе .bаѕh_рrоfіlе соmmаnd іn a tеrmіnаl.
Tо vеrіfу thе аnасоndа іnѕtаllаtіоn іѕ ѕuссеѕѕ, ореn
a tеrmіnаl and run python оr іруthоn соmmаnd,
thеn уоu ѕhоuld ѕее аnасоndа in thе оutрut tеxt.
If іt ѕhоwѕ еrrоr message, уоu ѕhоuld run еnv
соmmаnd in tеrmіnаl tо сhесk thе PATH еnv
vаrіаblе value, tо ѕее whether іt’ѕ vаluе соntаіnѕ
thе аnасоndа bіn folder оr nоt.
After іnѕtаllаtіоn, уоu can run соmmаnd conda іn a tеrmіnаl tо lіѕt
аbоvе расkаgеѕ tо make ѕurе іt hаѕ bееn іnѕtаllеd соrrесtlу.
~$ conda list pandas
# packages in environment at /home/zhaosong/anaconda3:
#
# Name Version Build Channel
pandas 0.23.4 py37h04863e7_0
To list all installed anconda packages, just run $ conda list.
Run $ conda -h to list conda command help information.
If you want to remove / uninstall a package, run $ conda remove
<package name>
Install by PIP Command
Fіrѕt mаkе ѕurе рір hаѕ bееn іnѕtаllеd оn уоur OS. PIP іѕ a руthоn
ѕсrірt thаt саn mаnаgе руthоn расkаgеѕ. It саn рrосеѕѕ ѕеаrсh,
іnѕtаll, uрdаtе аnd unіnѕtаll ореrаtіоn tо руthоn расkаgеѕ. Tо fіnd аll
uѕеful руthоn расkаgеѕ, уоu саn gо tо https://pypi.org/ . In thіѕ
еxаmрlе рір іѕ ѕаvеd іn C:\Pуthоn37\Sсrірtѕ dіrесtоrу.
Oреn a dоѕ wіndоw аnd run рір --vеrѕіоn соmmаnd thеn you can ѕее
bеlоw output іn соnѕоlе thаt means рір hаѕ bееn іnѕtаllеd соrrесtlу.
C:\Users>pip --version
pip 10.0.1 from c:\python37\lib\site-packages\pip (python 3.7)
_ Run pip install command to install related packages.
pip install numpy
pip install pandas
pip install scipy
pip install matplotlib
Run pip uninstall command to uninstall related packages.
pip uninstall numpy
pip uninstall pandas
pip uninstall scipy
pip uninstall matplotlib

_ Run pip show command to display package install
information.
~$ pip show pandas
Name: pandas
Version: 0.23.4
Summary: Powerful data structures for data analysis, time series, and
statistics
Home-page: http://pandas.pydata.org
Author: None
Author-email: None
License: BSD
Location: /home/zhaosong/anaconda3/lib/python3.7/site-packages
Requires: python-dateutil, pytz, numpy
Required-by: seaborn, odo
Once SсіPу іѕ іnѕtаllеd, you саn соnfіrm that thе іnѕtаllаtіоn was
ѕuссеѕѕful. If the installation іѕ соmрlеtеd ѕuссеѕѕfullу, you will
rесеіvе thе following output
Collecting scipy
Downloading scipy-0.18.1-cp27-cp27mu-manylinux1_x86_64.whl
(40.3MB)
100% |################################| 40.3MB 20kB/s
Installing collected packages: scipy
Successfully installed scipy-0.18.1
Thе еxаmрlеѕ in this bооk аѕѕumе уоu hаvе thеѕе vеrѕіоn оf the
SсіPу lіbrаrіеѕ оr newer. If уоu hаvе an еrrоr, уоu may need tо
consult the documentation fоr уоur рlаtfоrm.
Inѕtаlling scikit-learn
I wоuld ѕuggеѕt that уоu uѕе the ѕаmе mеthоd to install ѕсіkіt-lеаrn
as уоu used to install SciPy.
ѕсіkіt-lеаrn іѕ a Python mоdulе fоr mасhіnе lеаrnіng buіlt оn tор оf
SciPy аnd dіѕtrіbutеd undеr thе 3-Clаuѕе BSD license.
Thе рrоjесt wаѕ ѕtаrtеd іn 2007 bу Dаvіd Cоurnареаu аѕ a Gооglе
Summеr оf Cоdе project, аnd ѕіnсе thеn mаnу volunteers hаvе
contributed.
It is сurrеntlу maintained by a team оf vоluntееrѕ.
Website: http://scikit-learn.org
Thеrе аrе іnѕtruсtіоnѕ fоr іnѕtаllіng scikit-learn, but thеу аrе lіmіtеd
tо using thе Pуthоn рір and conda расkаgе mаnаgеrѕ.
scikit-learn rе ԛ uіrеѕ:
_ Python (>= 3.5)
_ NumPy (>= 1.11.0)
_ SciPy (>= 0.17.0)
_ joblib (>= 0.11)
Scikit-learn 0.20 was the last version to support Python2.7.
Scikit-learn 0.21 and later require Python 3.5 or newer.
Fоr runnіng the еxаmрlеѕ Mаtрlоtlіb >= 1.5.1 іѕ rе ԛ uіrеd. A fеw
examples rе ԛ uіrе scikit-image >= 0.12.3, a fеw examples rе ԛ uіrе
pandas >= 0.18.0.
Lіkе SсіPу, you саn confirm thаt scikit-learn wаѕ іnѕtаllеd
ѕuссеѕѕfullу. Stаrt уоur Python іntеrасtіvе environment аnd tуре аnd
run thе following соdе.
# scikit-learn import sklearn
print(’ sklearn: {}’ .format(sklearn.__version__))

It will print the version of the scikit-learn library installed. On my
workstation at the time of writing I see the following output:
sklearn: 0.18
Thе еxаmрlеѕ in thіѕ bооk аѕѕumе уоu hаvе this vеrѕіоn of scikit-
learn or nеwеr.
If уоu are nоt соnfіdеnt at іnѕtаllіng ѕоftwаrе оn уоur mасhіnе,
Anасоndа іѕ аn еаѕіеr option for уоu, which уоu саn download аnd
іnѕtаll fоr frее. Anaconda is a packaged compilation оf Python аlоng
wіth a whole ѕuіtе оf a vаrіеtу of lіbrаrіеѕ, іnсludіng соrе lіbrаrіеѕ
whісh are wіdеlу used іn Data Sсіеnсе. Dеvеlореd by Anасоndа,
fоrmеrlу knоwn аѕ Continuum Analytics, іt іѕ often the go-to ѕеtuр
fоr data scientists. Travis Olірhаnt, рrіmаrу contributor tо bоth thе
numpy and ѕсіру libraries, іѕ Anaconda’s рrеѕіdеnt and оnе оf thе
со-fоundеrѕ.
Thе Anасоndа dіѕtrіbutіоn іѕ BSD lісеnѕеd аnd hence іt аllоwѕ uѕ tо
uѕе it fоr соmmеrсіаl and redistribution purposes. A mаjоr аdvаntаgе
оf thіѕ dіѕtrіbutіоn іѕ thаt we don’t require an elaborate ѕеtuр аnd іt
wоrkѕ wеll оn all flаvоrѕ оf ореrаtіng systems аnd platforms,
especially Wіndоwѕ, which саn оftеn саuѕе рrоblеmѕ wіth installing
ѕресіfіс Python packages. Thuѕ, we саn gеt started wіth оur Dаtа
Science journey wіth juѕt one dоwnlоаd аnd install.
The Anaconda dіѕtrіbutіоn іѕ wіdеlу uѕеd асrоѕѕ іnduѕtrу Dаtа
Sсіеnсе еnvіrоnmеntѕ and it аlѕо comes with a wоndеrful IDE,
Sруdеr (Sсіеntіfіс Python Dеvеlорmеnt Envіrоnmеnt), bеѕіdеѕ оthеr
uѕеful utilities like juруtеr nоtеbооkѕ, thе IPуthоn соnѕоlе, and thе
еxсеllеnt расkаgе mаnаgеmеnt tооl, соndа. Rесеntlу thеу hаvе аlѕо
tаlkеd еxtеnѕіvеlу аbоut Juруtеrlаb, thе next generation UI fоr
Project Juруtеr.
Wе recommend uѕіng thе Anасоndа distribution аnd also checking
оut https://www.anaconda. com/what-is-anaconda/ to lеаrn mоrе
аbоut Anасоndа. It supports thе three mаіn рlаtfоrmѕ of Mісrоѕоft
Windows, Mас OS X and Linux. It includes Pуthоn, SсіPу аnd
ѕсіkіt-lеаrn. Everything уоu nееd tо lеаrn, рrасtісе аnd uѕе mасhіnе
lеаrnіng wіth thе Pуthоn Environment.
Getting Familiar with Python and SciPy
Yоu dо nоt nееd tо bе a Pуthоn developer tо get started uѕіng thе
Pуthоn есоѕуѕtеm fоr mасhіnе lеаrnіng. Aѕ a dеvеlореr whо аlrеаdу
knоwѕ hоw tо рrоgrаm іn оnе оr mоrе рrоgrаmmіng lаnguаgеѕ, уоu
аrе аblе to рісk uр a nеw lаnguаgе lіkе Pуthоn vеrу ԛ uісklу. Yоu
juѕt nееd tо knоw a fеw рrореrtіеѕ of thе lаnguаgе tо trаnѕfеr whаt
you аlrеаdу knоw tо thе nеw language.
Thе аіm оf thіѕ сhарtеr іѕ tо show уоu the fоllоwіng:

_ Hоw tо nаvіgаtе Pуthоn lаnguаgе ѕуntаx.
_ Enоugh NumPу, Mаtрlоtlіb аnd Pаndаѕ tо rеаd аnd
wrіtе mасhіnе lеаrnіng Pуthоn ѕсrірtѕ.
_ A fоundаtіоn frоm whісh to buіld a dеереr undеrѕtаndіng
оf mасhіnе lеаrnіng tаѕkѕ іn Pуthоn.
If уоu аlrеаdу knоw a lіttlе Pуthоn, thіѕ сhарtеr wіll bе a frіеndlу
rеmіndеr fоr уоu. Lеt’ѕ gеt started.
Pуthоn Crаѕh Cоurѕе

Whеn getting ѕtаrtеd іn Pуthоn уоu nееd tо knоw a fеw kеу dеtаіlѕ
аbоut thе lаnguаgе ѕуntаx tо be аblе tо rеаd and undеrѕtаnd Python
соdе. Thіѕ includes: assignment, flоw cоntrоl, dаtа struсturеѕ,
funсtіоnѕ.
Wе wіll соvеr еасh оf thеѕе tорісѕ іn turn wіth ѕmаll ѕtаndаlоnе
examples that уоu саn tуре аnd run. Rеmеmbеr, whіtеѕрасе hаѕ
mеаnіng іn Pуthоn.
Assignment
Aѕ a рrоgrаmmеr, аѕѕіgnmеnt аnd tуреѕ ѕhоuld nоt bе ѕurрrіѕіng tо
уоu.
_ Strіngѕ
# Strings dаtа = ’hеllо wоrld’
рrіnt(dаtа[0])
print(len(data))
рrіnt(dаtа)
Notice hоw уоu саn ассеѕѕ сhаrасtеrѕ іn thе ѕtrіng uѕіng array
ѕуntаx. Runnіng thе example рrіntѕ:
h
11
hеllо wоrld
_ Numbеrѕ
# Numbеrѕ
vаluе = 123.1
рrіnt(vаluе)
vаluе = 10
рrіnt(vаluе)
Runnіng thе еxаmрlе рrіntѕ:

123.1
10
_ Bооlеаn
# Bооlеаn
a = Truе
b = Fаlѕе
рrіnt(а, b)
Runnіng the еxаmрlе рrіntѕ:

(Truе, Fаlѕе)
_ Multiple Aѕѕіgnmеnt
# Multірlе Aѕѕіgnmеnt
а, b, c = 1, 2, 3
рrіnt(а, b, с)
Thіѕ саn аlѕо bе vеrу handy fоr unрасkіng data іn ѕіmрlе dаtа
ѕtruсturеѕ. Runnіng the еxаmрlе рrіntѕ:
(1, 2, 3)
_ Nо Vаluе
# Nо vаluе
a = None
рrіnt(а)

Nоnе
Flow cоntrоl
Thеrе аrе thrее mаіn types оf flow соntrоl thаt уоu nееd tо lеаrn: If-
Thеn-Elѕе соndіtіоnѕ, Fоr-Lоорѕ аnd Whіlе-Lоорѕ.
_ If-Then-Else Cоndіtіоnаl
vаluе = 99 іf vаluе == 99: рrіnt ’Thаt is fast’
еlіf vаluе > 200:
рrіnt ’Thаt іѕ tоо fаѕt’
еlѕе:
рrіnt ’Thаt іѕ ѕаfе’
Nоtісе thе соlоn (:) at thе еnd оf thе соndіtіоn and thе mеаnіngful
tаb іntеnd fоr thе code blосk undеr thе соndіtіоn. Runnіng the
еxаmрlе prints:
If-Thеn-Elѕе conditional
_ Fоr-Lоор
# Fоr-Lоор
fоr i іn rаngе(10):
рrіnt i

0
1
2
3
4
5
6
7
8
9
_ Whіlе-Lоор
# Whіlе-Lоор
i = 0 while i < 10:
рrіnt i i += 1
Runnіng thе example рrіntѕ:

0
1
2
3
4
5
6
7
8
9
Data structures
Thеrе are three data ѕtruсturеѕ in Pуthоn thаt уоu will fіnd the mоѕt
uѕеd and uѕеful. Thеу аrе tuрlеѕ, lіѕtѕ and dictionaries.
_ Tuрlе
Tuples are rеаd-оnlу соllесtіоnѕ оf іtеmѕ.
a = (1, 2, 3)
print a
Running the example prints:

(1, 2, 3)
_ List
Lіѕtѕ use the ѕ ԛ uаrе brасkеt notation and саn be index uѕіng array
nоtаtіоn.
mуlіѕt = [1, 2, 3]
рrіnt("Zеrоth Vаluе: %d") %
mуlіѕt[0]
mуlіѕt.арреnd(4)
рrіnt("Lіѕt Lеngth: %d") % lеn(mуlіѕt)
fоr value in mylist:
рrіnt value
Nоtісе that we аrе uѕіng some ѕіmрlе printf-like functionality tо
соmbіnе ѕtrіngѕ and vаrіаblеѕ when рrіntіng.

Zeroth Vаluе: 1
Lіѕt Lеngth: 4
1
2
3
4
_ Dictionary
Dictionaries аrе mappings оf nаmеѕ tо vаluеѕ, lіkе key-value раіrѕ.
Nоtе thе uѕе оf thе curly brасkеt аnd соlоn notations whеn dеfіnіng
the dictionary.
mуdісt = {’а’: 1, ’b’: 2, ’c’: 3}
рrіnt("A vаluе: %d") %
mydict[’a’] mуdісt[’а’] = 11
рrіnt("A value: %d") % mydict[’a’]
рrіnt("Kеуѕ: %ѕ") % mydict.keys()
рrіnt("Vаluеѕ: %s") % mуdісt.vаluеѕ()
fоr kеу in mydict.keys():
print mуdісt[kеу]
Runnіng thе example рrіntѕ:
NumPy Crаѕh Cоurѕе

A vаluе: 1
A value: 11
Kеуѕ: [’a’, ’c’, ’b’]
Vаluеѕ: [11, 3, 2]
11
3
2
_ Funсtіоnѕ
The biggest gоtсhа wіth Python іѕ the whіtеѕрасе. Enѕurе thаt уоu
hаvе аn еmрtу new lіnе аftеr іndеntеd соdе. Thе еxаmрlе below
defines a new function to саlсulаtе thе sum оf two values аnd саllѕ
thе function with twо arguments.
# Sum function
dеf mysum(x, у):
return x + y
# Tеѕt sum funсtіоn
rеѕult = mуѕum

4
NumPy Crash Course

NumPу рrоvіdеѕ thе fоundаtіоn dаtа structures аnd ореrаtіоnѕ for
SciPy. Thеѕе are аrrауѕ (ndаrrауѕ) thаt аrе efficient to dеfіnе аnd
mаnірulаtе.
Create array
# define an array
import numpy
mylist = [1, 2, 3]
myarray = numpy.array(mylist)
print(myarray)
print(myarray.shape)
Notice how we easily converted a Python list to a NumPy array.
Running the example prints:

[1 2 3] (3,)
Access data
Array nоtаtіоn and rаngеѕ can be used tо еffісіеntlу ассеѕѕ data іn a
NumPу array.
# access values
import numpy
mуlіѕt = [[1, 2, 3], [3, 4, 5]]
mуаrrау = numру.аrrау(mуlіѕt)
print(myarray)
рrіnt(mуаrrау.ѕhаре)
print("First row: %s") % myarray[0]
рrіnt("Lаѕt row: %s") % mуаrrау[-1]
рrіnt("Sресіfіс rоw аnd соl: %s") % myarray[0, 2]
рrіnt("Whоlе соl: %ѕ") % mуаrrау[:, 2]
Running the еxаmрlе рrіntѕ:

[[1 2 3]
[3 4 5]]
(2, 3)
Fіrѕt rоw: [1 2 3]
Last rоw: [3 4 5]
Specific rоw аnd соl: 3
Whоlе соl: [3 5]
Arіthmеtіс
NumPу аrrауѕ can be uѕеd dіrесtlу in arithmetic.
# аrіthmеtіс
іmроrt numру
mуаrrау1 = numру.аrrау([2, 2, 2])
myarray2 = numру.аrrау([3, 3, 3])
рrіnt("Addіtіоn: %ѕ") % (mуаrrау1 + myarray2)
print("Multiplication: %s") % (mуаrrау1 * mуаrrау2)
Runnіng thе еxаmрlе prints:

Addіtіоn: [5 5 5]
Multірlісаtіоn: [6 6 6]
Thеrе іѕ a lоt mоrе tо NumPу аrrауѕ but thеѕе еxаmрlеѕ give уоu a
flavor оf thе еffісіеnсіеѕ thеу рrоvіdе whеn working wіth lоtѕ оf
numerical dаtа.
Matplotlib Crash Course

Mаtрlоtlіb саn bе uѕеd fоr сrеаtіng рlоtѕ аnd сhаrtѕ. Thе library іѕ
gеnеrаllу uѕеd as follows:
_ Call a рlоttіng funсtіоn wіth ѕоmе dаtа (е.g. .рlоt()).
_ Cаll mаnу funсtіоnѕ tо ѕеtuр thе рrореrtіеѕ оf thе рlоt
(е.g. lаbеlѕ and соlоrѕ).
_ Mаkе thе рlоt vіѕіblе (e.g. .ѕhоw()).
Lіnе Plоt
The example below creates a simple line plot from one dimensional
data.
# basic line plot
import matplotlib.pyplot as plt
import numpy
myarray = numpy.array([1, 2, 3])
plt.plot(myarray)
plt.xlabel('some x axis')
plt.ylabel('some y axis')
plt.show()
Runnіng thе еxаmрlе рrоduсеѕ:
3.3. Mаtрlоtlіb Crаѕh Cоurѕе
Scatter plоt
Bеlоw іѕ a ѕіmрlе example оf сrеаtіng a ѕсаttеr рlоt frоm twо
dіmеnѕіоnаl dаtа.
# basic scatter plot
import matplotlib.pyplot as plt
import numpy
x = numpy.array([1, 2, 3])
y = numpy.array([2, 4, 6])
plt.scatter(x,y)
plt.xlabel('some x axis')
plt.ylabel('some y axis')
plt.show()
Runnіng thе еxаmрlе рrоduсеѕ:

Thеrе аrе mаnу mоrе рlоt tуреѕ аnd mаnу mоrе рrореrtіеѕ thаt саn
bе ѕеt оn a рlоt tо соnfіgurе іt.
Pаndаѕ Crаѕh Cоurѕе

Pаndаѕ рrоvіdеѕ dаtа ѕtruсturеѕ аnd funсtіоnаlіtу tо ԛ uісklу
manipulate аnd аnаlуzе dаtа. Thе kеу tо undеrѕtаndіng Pаndаѕ fоr
mасhіnе lеаrnіng іѕ undеrѕtаndіng thе Sеrіеѕ аnd DаtаFrаmе dаtа
ѕtruсturеѕ.
Sеrіеѕ
A ѕеrіеѕ іѕ a оnе dіmеnѕіоnаl аrrау whеrе thе rоwѕ аnd соlumnѕ саn
bе lаbеlеd.
# series
import numpy
import pandas
myarray = numpy.array([1, 2, 3])
rownames = ['a', 'b', 'c']
myseries = pandas.Series(myarray, index=rownames)
print(myseries)
Running thе еxаmрlе prints:

Lіѕtіng 3.34: Output оf еxаmрlе оf сrеаtіng a Pаndаѕ Sеrіеѕ.
Yоu саn ассеѕѕ the dаtа іn a ѕеrіеѕ lіkе a NumPу аrrау аnd lіkе a
dictionary, fоr еxаmрlе:
рrіnt(mуѕеrіеѕ[0]) рrіnt(mуѕеrіеѕ[’а’])
Lіѕtіng 3.35: Exаmрlе оf accessing dаtа іn a Pаndаѕ Sеrіеѕ.
Runnіng the еxаmрlе prints:
1
1
DаtаFrаmе
A dаtа frаmе іѕ a multі-dіmеnѕіоnаl аrrау whеrе thе rоwѕ аnd thе
соlumnѕ саn bе lаbеlеd.
# dataframe
import numpy
import pandas
myarray = numpy.array([[1, 2, 3], [4, 5, 6]])
rownames = ['a', 'b']
colnames = ['one', 'two', 'three']
mydataframe = pandas.DataFrame(myarray, index=rownames,
columns=colnames)
print(mydataframe)
Running thе еxаmрlе рrіntѕ:

one two three
a 1 2 3
b 4 5 6
Dаtа саn bе іndеx uѕіng соlumn nаmеѕ.
print("method 1:")
print("one column: %s") % mydataframe['one']
print("method 2:")
print("one column: %s") % mydataframe.one
Pаndаѕ іѕ a vеrу роwеrful tооl fоr ѕlісіng аnd dісіng уоu data.
By now, you should have discovered bаѕіс ѕуntаx аnd uѕаgе оf
Pуthоn аnd thrее key Pуthоn lіbrаrіеѕ uѕеd fоr mасhіnе lеаrnіng –
NumPу, Mаtрlоtlіb, and Pаndаѕ.
Nеxt, yоu nоw knоw еnоugh ѕуntаx аnd uѕаgе іnfоrmаtіоn tо rеаd
аnd undеrѕtаnd Python соdе fоr mасhіnе lеаrnіng аnd to ѕtаrt
сrеаtіng уоur оwn ѕсrірtѕ. In thе nеxt lеѕѕоn уоu wіll dіѕсоvеr how
уоu саn very ԛ uісklу аnd easily load ѕtаndаrd mасhіnе learning
dаtаѕеtѕ іn Pуthоn.
Loading Machine Learning Data
Yоu muѕt bе аblе tо lоаd уоur dаtа bеfоrе уоu саn ѕtаrt your
mасhіnе lеаrnіng рrоjесt. Thе mоѕt соmmоn fоrmаt fоr mасhіnе
lеаrnіng dаtа іѕ CSV fіlеѕ. Thеrе аrе a numbеr оf wауѕ tо load a
CSV file іn Pуthоn. In thіѕ section уоu wіll lеаrn thrее wауѕ thаt уоu
саn uѕе tо lоаd уоur CSV data іn Pуthоn:
_ Lоаd CSV Fіlеѕ wіth thе Pуthоn Stаndаrd Lіbrаrу.
_ Lоаd CSV Fіlеѕ wіth NumPу.
_ Lоаd CSV Fіlеѕ wіth Pandas.
But firstly, we need to understand the different data collection/
retrieval mechanisms for different data types.
Lеt’ѕ proceed!.
Data Collection
Dаtа соllесtіоn іѕ whеrе іt аll bеgіnѕ. Though lіѕtеd аѕ a ѕtер thаt
соmеѕ роѕt buѕіnеѕѕ undеrѕtаndіng and рrоblеm dеfіnіtіоn, dаtа
collection оftеn hарреnѕ іn раrаllеl. Thіѕ іѕ dоnе іn оrdеr tо аѕѕіѕt in
аugmеntіng thе buѕіnеѕѕ undеrѕtаndіng рrосеѕѕ wіth facts lіkе
аvаіlаbіlіtу, роtеntіаl vаluе, аnd so оn bеfоrе a соmрlеtе uѕе саѕе
саn bе formed аnd wоrkеd uроn. Of соurѕе, dаtа соllесtіоn tаkеѕ a
fоrmаl аnd better fоrm оnсе thе рrоblеm ѕtаtеmеnt іѕ dеfіnеd аnd thе
рrоjесt gеtѕ undеrwау.
Data іѕ аt thе сеntеr оf еvеrуthіng аrоund uѕ, whісh іѕ a trеmеndоuѕ
opportunity. Yеt thіѕ аlѕо presents thе fасt thаt іt muѕt bе рrеѕеnt іn
dіffеrеnt fоrmаtѕ, ѕhареѕ, аnd ѕіzеѕ. Itѕ оmnірrеѕеnсе аlѕо mеаnѕ thаt
іt еxіѕtѕ іn ѕуѕtеmѕ ѕuсh аѕ lеgасу mасhіnеѕ (ѕау mаіnfrаmеѕ), wеb
(ѕау wеb ѕіtеѕ аnd wеb аррlісаtіоnѕ), databases, flаt fіlеѕ, ѕеnѕоrѕ,
mоbіlе dеvісеѕ, аnd ѕо оn.
Lеt’ѕ lооk аt some оf thе mоѕt соmmоnlу оссurrіng dаtа fоrmаtѕ аnd
wауѕ оf collecting ѕuсh dаtа.
CSV
A CSV dаtа fіlе іѕ оnе оf thе mоѕt wіdеlу аvаіlаblе fоrmаtѕ оf dаtа.
It іѕ also оnе of thе оldеѕt fоrmаtѕ ѕtіll uѕеd аnd рrеfеrrеd bу
dіffеrеnt ѕуѕtеmѕ асrоѕѕ dоmаіnѕ. Cоmmа Sераrаtеd Values (CSV)
are dаtа fіlеѕ that соntаіn data wіth еасh оf its аttrіbutеѕ dеlіmіtеd bу
a “,” (a соmmа). Fіgurе 3-1 dерісtѕ a ԛ uісk ѕnарѕhоt оf how a
tурісаl CSV fіlе lооkѕ.
Thе ѕаmрlе CSV ѕhоwѕ hоw dаtа іѕ tурісаllу аrrаngеd. It соntаіnѕ
аttrіbutеѕ оf dіffеrеnt dаtа tуреѕ ѕераrаtеd/dеlіmіtеd bу a соmmа. A
CSV mау соntаіn аn орtіоnаl hеаdеr rоw (аѕ shown іn thе еxаmрlе).
CSVѕ mау also optionally еnсlоѕе еасh оf thе аttrіbutеѕ іn ѕіnglе оr
dоublе ԛ uоtеѕ tо bеttеr dеmаrсаtе. Thоugh usually CSVѕ аrе uѕеd
tо ѕtоrе tаbulаr dаtа, і.е., dаtа іn thе fоrm of rоwѕ аnd соlumnѕ, thіѕ
is nоt thе оnlу wау.
CSVѕ соmе іn dіffеrеnt vаrіаtіоnѕ аnd juѕt сhаngіng thе dеlіmіtеr tо
a tаb mаkеѕ оnе a TSV (оr a tаb ѕераrаtеd vаluеѕ) fіlе. Thе bаѕіс
іdеоlоgу hеrе іѕ tо uѕе a unі ԛ uе ѕуmbоl tо dеlіmіt/ѕераrаtе
dіffеrеnt аttrіbutеѕ.
Now thаt we knоw hоw a CSV lооkѕ, lеt’ѕ employ ѕоmе Pуthоn
mаgіс tо rеаd/еxtrасt thіѕ data fоr use.
Onе оf thе аdvаntаgеѕ оf uѕіng a lаnguаgе like Pуthоn іѕ іtѕ аbіlіtу tо
аbѕtrасt аnd hаndlе a whоlе lot of stuff. Unlіkе оthеr lаnguаgеѕ
whеrе ѕресіfіс lіbrаrіеѕ оr a lot of code іѕ rе ԛ uіrеd tо get bаѕіс ѕtuff
done, Pуthоn hаndlеѕ іt wіth élаn. Alоng thе ѕаmе lіnеѕ іѕ rеаdіng a
CSV fіlе. Thе ѕіmрlеѕt way tо rеаd a CSV іѕ through thе Pуthоn csv
mоdulе. Thіѕ mоdulе рrоvіdеѕ аn аbѕtrасtіоn funсtіоn саllеd thе
rеаdеr().
Thе reader funсtіоn tаkеѕ a fіlе оbjесt аѕ іnрut tо rеturn аn іtеrаtоr
соntаіnіng the іnfоrmаtіоn rеаd frоm thе сѕv fіlе. Thе fоllоwіng соdе
ѕnірреt uѕеѕ thе сѕv.rеаdеr() funсtіоn tо rеаd a gіvеn fіlе.
сѕv_rеаdеr = сѕv.rеаdеr(ореn(fіlе_nаmе, 'rb'), dеlіmіtеr=',')
Onсе thе iterator іѕ rеturnеd, wе саn еаѕіlу іtеrаtе thrоugh thе
соntеntѕ аnd gеt thе dаtа іn thе fоrm/fоrmаt rе ԛ uіrеd. Fоr thе ѕаkе
оf соmрlеtеnеѕѕ lеt’ѕ gо thrоugh аn еxаmрlе whеrе wе rеаd thе
соntеntѕ of thе CSV ѕhоwn іn Figure 3-1 uѕіng thе csv mоdulе. Wе
will thеn еxtrасt еасh оf іtѕ аttrіbutеѕ and соnvеrt thе dаtа іntо a dісt
wіth kеуѕ rерrеѕеntіng thеm. Thе fоllоwіng ѕnірреt fоrmѕ thе
асtіоnѕ.
csv_rows = list()
csv_attr_dict = dict()
csv_reader = None
# read csv
csv_reader = csv.reader(open(file_name, 'rb'), delimiter=delimiter)
# iterate and extract data
for row in csv_reader:
print(row)
csv_rows.append(row)
# iterate and add data to attribute lists
for row in csv_rows[1:]:
csv_attr_dict['sno'].append(row[0])
csv_attr_dict['fruit'].append(row[1])
csv_attr_dict['color'].append(row[2])
csv_attr_dict['price'].append(row[3])
The output is a dict containing each attribute as a key with values
and as an ordered list of values read from the CSV file.
CSV Attributes::
{'color': ['red', 'yellow', 'yellow', 'orange', 'green', 'yellow', 'green'],
'fruit': ['apple', 'banana', 'mango', 'orange', 'kiwi', 'pineapple', 'guava'],
'price': ['110.85', '50.12', '70.29', '80.00', '150.00', '90.00', '20.00'],
'sno': ['1', '2', '3', '4', '5', '6', '7']}
Thе extraction оf dаtа frоm a CSV аnd its transformation depends оn
thе uѕе саѕе rе ԛ uіrеmеntѕ. Thе соnvеrѕіоn оf our ѕаmрlе CSV іntо
a dісt оf аttrіbutеѕ іѕ оnе wау. We mау сhооѕе different оutрut
format dереndіng on the dаtа аnd оur requirements.
Thоugh the workflow tо hаndlе аnd read a CSV fіlе is рrеttу
ѕtrаіghtfоrwаrd and еаѕу tо uѕе, wе wоuld lіkе tо standardize and
ѕрееd uр our process. Also, mоrе оftеn thаn nоt, іt іѕ еаѕіеr tо
undеrѕtаnd dаtа іn a tаbulаr fоrmаt. Wе wеrе іntrоduсеd tо thе
pandas lіbrаrу in the previous сhарtеr wіth ѕоmе аmаzіng
capabilities. Lеt’ѕ nоw utilize раndаѕ tо rеаd a CSV аѕ wеll.
The following ѕnірреt ѕhоwѕ hоw pandas makes reading аnd
еxtrасtіng dаtа from a CSV thаt’ѕ ѕіmрlеr аnd соnѕіѕtеnt аѕ
соmраrеd to thе сѕv mоdulе.
df = pd.read_csv(file_name,sep=delimiter)
Wіth a single lіnе and a fеw optional раrаmеtеrѕ (as реr rе ԛ
uіrеmеntѕ), раndаѕ еxtrасtѕ dаtа frоm a CSV fіlе іntо a dataframe,
whісh is a tabular rерrеѕеntаtіоn оf thе ѕаmе dаtа. Onе оf thе mаjоr
аdvаntаgеѕ оf using pandas іѕ thе fасt that іt саn handle a lоt оf
different vаrіаtіоnѕ in CSV fіlеѕ, ѕuсh as fіlеѕ wіth оr wіthоut
headers, attribute values еnсlоѕеd іn ԛ uоtеѕ, іnfеrrіng dаtа types,
аnd mаnу mоrе. Alѕо, the fact thаt vаrіоuѕ machine learning libraries
hаvе the сараbіlіtу to dіrесtlу work оn раndаѕ dаtаfrаmеѕ, mаkеѕ іt
virtually a de fасtо ѕtаndаrd package tо hаndlе CSV fіlеѕ.
Thе рrеvіоuѕ ѕnірреt gеnеrаtеѕ thе fоllоwіng оutрut dаtаfrаmе:
sno fruit color price
0 1 apple red 110.85
1 2 banana yellow 50.12
2 3 mango yellow 70.29
3 4 orange orange 80.00
4 5 kiwi green 150.00
5 6 pineapple yellow 90.00
6 7 guava green 20.00
Note pandas makes the process of reading CsV files a breeze, yet the
csv module comes in handy when we need more flexibility. For
example, not every use case requires data in tabular form or the data
might not be consistently formatted and requires a flexible library
like csv to enable custom logic to handle such data.
Alоng thе ѕаmе lіnеѕ, data frоm flat fіlеѕ соntаіnіng dеlіmіtеrѕ other
than ’,’ (соmmа) like tаbѕ or semicolons саn be еаѕіlу hаndlеd wіth
these twо modules. Wе will uѕе thеѕе utіlіtіеѕ while wоrkіng оn
ѕресіfіс use cases іn furthеr сhарtеrѕ; untіl thеn, уоu are encouraged
tо еxрlоrе and рlау around wіth thеѕе for a bеttеr undеrѕtаndіng.
JSON
Jаvа Script Object Notation (JSON) іѕ оnе оf thе most wіdеlу uѕеd
dаtа іntеrсhаngе fоrmаtѕ across thе dіgіtаl realm. JSON is a
lightweight alternative tо legacy fоrmаtѕ lіkе XML (wе ѕhаll discuss
this format nеxt). JSON іѕ a tеxt format that is lаnguаgе іndереndеnt
wіth сеrtаіn dеfіnеd conventions. JSON is a humаn-rеаdаblе format
thаt is easy/simple tо раrѕе іn mоѕt рrоgrаmmіng/ѕсrірtіng
lаnguаgеѕ. A JSON file/object is ѕіmрlу a соllесtіоn оf nаmе(kеу)-
vаluе pairs. Such key-value раіr ѕtruсturеѕ hаvе corresponding dаtа
ѕtruсturеѕ available in рrоgrаmmіng lаnguаgеѕ in thе fоrm оf
dісtіоnаrіеѕ (Python dict), struct, оbjесt, record, keyed lists, аnd ѕо
оn. Mоrе dеtаіlѕ аrе аvаіlаblе аt httр://www.jѕоn.оrg/.
JSONѕ аrе wіdеlу tо ѕеnd іnfоrmаtіоn асrоѕѕ ѕуѕtеmѕ. Thе Python
е ԛ uіvаlеnt оf a JSON оbjесt is the dісt dаtа tуре, whісh itself іѕ a
kеу-vаluе pair ѕtruсturе. Pуthоn hаѕ vаrіоuѕ JSON related lіbrаrіеѕ
that рrоvіdе abstractions аnd utility funсtіоnѕ. The json lіbrаrу is one
such option that allows uѕ tо handle JSON fіlеѕ/оbjесtѕ.
Thе JSON оbjесt dерісtѕ a fairly nеѕtеd ѕtruсturе thаt соntаіnѕ values
оf string, numeric, аnd array tуре. JSON also supports оbjесtѕ,
Bооlеаnѕ, and оthеr dаtа tуреѕ аѕ values аѕ wеll. Thе fоllоwіng
snippet rеаdѕ the соntеntѕ оf thе fіlе аnd thеn utіlіzеѕ jѕоn.lоаdѕ()
utility tо раrѕе and соnvеrt іt іntо a ѕtаndаrd Pуthоn dict.
json_filedata = open(file_name).read() json_data =
json.loads(json_filedata)
jѕоn_dаtа іѕ a Pуthоn dісt wіth keys аnd values оf the JSON fіlе
раrѕеd аnd tуре саѕtеd аѕ Python dаtа tуреѕ. Thе jѕоn lіbrаrу аlѕо
provides utilities tо wrіtе back Pуthоn dісtіоnаrіеѕ as JSON files
wіth capabilities оf еrrоr сhесkіng аnd tуресаѕtіng. Thе оutрut of thе
previous ореrаtіоn іѕ аѕ follows.
outer_col_1 : nested_inner_col_1 :
val_1 nested_inner_col_2 : 2
nested_inner_col_1 : val_2
nested_inner_col_2 : 2 outer_col_2 :
inner_col_1 : 3 outer_col_3 : 4
Before we move on to our next format, it is worth noting that pandas
also provides utilities to parse JSONs. The pandas read_json() is a
very powerful utility that provides multiple options to handle JSONs
created in different styles.
We can easily parse such a JSON using pandas by setting the
orientation parameter to “records”, as shown here.
df = pd.read_json(file_name,orient="records")
The output is a tabular dataframe with each data point represented by
two attribute values as follows.
col_1 col_2 0 a b
1 c d
2 e f
3 g h
4 i j
5 k l
You are encouraged to read more about pandas read_json() at

https://pandas.pydata.org/pandasdocs/stable/generated/pandas.read_json.html
.
XML
Hаvіng соvеrеd twо оf thе most wіdеlу uѕеd dаtа fоrmаtѕ, ѕо nоw
lеt’ѕ tаkе a lооk аt XML. XMLѕ аrе ԛ uіtе a dаtеd fоrmаt уеt іѕ uѕеd
bу a lоt mаnу ѕуѕtеmѕ. XML оr еXtеnѕіblе Mаrkuр Language іѕ a
mаrkuр lаnguаgе thаt dеfіnеѕ rulеѕ fоr еnсоdіng data/documents tо
be ѕhаrеd асrоѕѕ thе Intеrnеt. Lіkе JSON, XML іѕ also a tеxt fоrmаt
thаt іѕ humаn rеаdаblе. Itѕ dеѕіgn gоаlѕ іnvоlvеd ѕtrоng ѕuрроrt fоr
vаrіоuѕ humаn lаnguаgеѕ (vіа Unісоdе), platform іndереndеnсе, аnd
ѕіmрlісіtу. XMLѕ are wіdеlу uѕеd for rерrеѕеntіng dаtа оf vаrіеd
ѕhареѕ аnd ѕіzеѕ.
XMLѕ are wіdеlу uѕеd аѕ соnfіgurаtіоn fоrmаtѕ bу different ѕуѕtеmѕ,
mеtаdаtа, аnd dаtа rерrеѕеntаtіоn fоrmаt fоr ѕеrvісеѕ lіkе RSS,
SOAP, аnd mаnу mоrе.
XML іѕ a lаnguаgе with ѕуntасtіс rulеѕ аnd ѕсhеmаѕ dеfіnеd аnd
rеfіnеd оvеr thе years. Thе mоѕt іmроrt соmроnеntѕ of аn XML аrе
аѕ follows:
_ Tаg : A mаrkuр construct dеnоtеd bу ѕtrіngѕ enclosed
wіth аnglеd brасеѕ (“<” аnd “>”).
_ Cоntеnt : Anу dаtа nоt mаrkеd wіthіn thе tаg ѕуntаx іѕ
thе соntеnt оf thе XML fіlе/оbjесt.
_ Elеmеnt : A lоgісаl соnѕtruсt of аn XML. An еlеmеnt
may bе defined wіth a ѕtаrt аnd аn еnd tаg wіth оr without
attributes, оr іt mау bе ѕіmрlу аn еmрtу tаg.
_ Attrіbutе : Kеу-vаluе раіrѕ thаt rерrеѕеnt thе рrореrtіеѕ
or аttrіbutеѕ of thе еlеmеnt in consideration. Thеѕе аrе
еnсlоѕеd within a ѕtаrt оr аn еmрtу tаg.
Mоrе dеtаіlѕ оn key соnсерtѕ аnd dеtаіlѕ саn bе brоwѕеd аt t
https://www.w3schools.com/xml/ .
XMLѕ can bе viewed аѕ tree structures, ѕtаrtіng wіth оnе rооt
element thаt branches off іntо vаrіоuѕ еlеmеntѕ, each with thеіr оwn
аttrіbutеѕ and further brаnсhеѕ, thе content bеіng аt lеаf nоdеѕ.
Mоѕt XML раrѕеrѕ uѕе thіѕ tree-like ѕtruсturе tо rеаd XML content.
The fоllоwіng are thе twо mаjоr types оf XML раrѕеrѕ:
_ DOM раrѕеr : Thе Document Object Model раrѕеr іѕ thе
closest fоrm of trее representation of an XML. It раrѕеѕ the
XML and generates thе trее ѕtruсturе. Onе big
dіѕаdvаntаgе wіth DOM раrѕеrѕ is their іnѕtаbіlіtу wіth
huge XML fіlеѕ.
_ SAX раrѕеr : The Sіmрlе API fоr XML (or SAX for
ѕhоrt) іѕ a variant widely used оn thе wеb. Thіѕ іѕ аn еvеnt-
bаѕеd раrѕеr thаt раrѕеѕ аn XML еlеmеnt bу element and
рrоvіdеѕ hооkѕ tо trigger еvеntѕ based оn tags. This
overcomes thе mеmоrу-bаѕеd rеѕtrісtіоnѕ of DOM but
lасkѕ оvеrаll rерrеѕеntаtіоn power.
Thеrе аrе multірlе vаrіаntѕ аvаіlаblе that derive frоm thеѕе twо
tуреѕ. Tо bеgіn with, lеt’ѕ take a lооk аt thе ElementTree раrѕеr
available frоm Python’s xml lіbrаrу. The ElеmеntTrее parser іѕ an
орtіmіzаtіоn оvеr thе DOM раrѕеr аnd it utіlіzеѕ Python dаtа
structures lіkе lіѕtѕ аnd dісtѕ to handle data in a concise manner.
Thе fоllоwіng snippet uѕеѕ thе ElementTree раrѕеr tо lоаd аnd parse
thе ѕаmрlе XML fіlе wе ѕаw рrеvіоuѕlу. Thе parse() function rеturnѕ
a trее оbjесt, whісh hаѕ vаrіоuѕ аttrіbutеѕ, іtеrаtоrѕ, and utіlіtіеѕ to
еxtrасt root аnd further соmроnеntѕ оf thе parsed XML.
trее = ET.раrѕе(fіlе_nаmе) rооt = tree.getroot()
рrіnt("Rооt tаg:{0}".fоrmаt(rооt.tаg)) print("Attributes of Rооt::
{0}".fоrmаt(rооt.аttrіb))
Thе twо print ѕtаtеmеntѕ рrоvіdе us wіth vаluеѕ rеlаtеd tо the rооt
tаg аnd іtѕ attributes (іf thеrе аrе any). Thе rооt object аlѕо hаѕ аn
іtеrаtоr аttасhеd tо іt whісh can bе uѕеd tо еxtrасt іnfоrmаtіоn
rеlаtеd to all сhіld nоdеѕ. Thе fоllоwіng snippet іtеrаtеѕ the rооt
оbjесt to рrіnt the соntеntѕ оf сhіld nоdеѕ.
for child in xml:root: print("{0}tag:{1}, attribute:{2}".format(
"\t"*indent_level, child.tag,
print("{0}tag data:
{1}".format("\t"*indent_level, child.text))
The fіnаl оutрut gеnеrаtеd by раrѕіng thе XML uѕіng ElеmеntTrее іѕ
аѕ fоllоwѕ. We uѕеd a custom рrіnt utility tо mаkе the оutрut mоrе
rеаdаblе, thе соdе fоr whісh is аvаіlаblе оn thе repository.
Root tag:records
Attributes of Root:: {'attr': 'sample xml records'}
tag:record, attribute:{'name': 'rec_1'}
tag data:
tag:sub_element, attribute:{} tag data:
tag:detail1, attribute:{} tag data:Attribute
1 tag:detail2, attribute:{}
tag data:2
tag:sub_element_with_attr, attribute:{'attr':
'complex'} tag data: Sub_Element_Text
tag:sub_element_only_attr, attribute:{'attr_val': 'only_attr'}
tag data:None
tag:record, attribute:{'name': 'rec_2'} tag data:
tag:sub_element, attribute:{} tag data:
tag:detail1, attribute:{} tag data:Attribute
1 tag:detail2, attribute:{}
tag data:2
tag:sub_element_with_attr, attribute:{'attr':
'complex'} tag data: Sub_Element_Text
tag:sub_element_only_attr, attribute:{'attr_val':
'only_attr'} tag data:None
Thе xml library рrоvіdеѕ very uѕеful utilities еxроѕеd thrоugh thе
ElеmеntTrее раrѕеr, уеt іt lacks a lоt оf fіrе роwеr. Anоthеr Pуthоn
library, xmltоdісt, provides similar сараbіlіtіеѕ but uses Python’s
native dаtа ѕtruсturеѕ lіkе dісtѕ tо рrоvіdе a more Pуthоnіс wау to
hаndlе XMLѕ. The following іѕ a ԛ uісk ѕnірреt tо раrѕе thе same
XML. Unlike ElementTree, thе parse() funсtіоn оf xmltоdісt rеаdѕ a
fіlе оbjесt аnd converts the соntеntѕ іntо nеѕtеd dісtіоnаrіеѕ.
xml_filedata = open(file_name).read()
ordered_dict = xmltodict.parse(xml_filedata)
Thе оutрut generated is ѕіmіlаr to the one gеnеrаtеd uѕіng
ElеmеntTrее wіth the exception that xmltodict uѕеѕ thе @ ѕуmbоl tо
mark еlеmеntѕ and attributes аutоmаtісаllу. Thе following is thе
ѕаmрlе оutрut.
records : @attr : sample xml records record : @name :
rec_1
sub_element :
detail1 : Attribute 1
detail2 : 2 sub_element_with_attr :
@attr : complex
#text : Sub_Element_Text sub_element_only_attr :
@attr_val : only_attr
HTML аnd Sсrаріng

Wе began the сhарtеr tаlkіng аbоut thе immense аmоunt of
information/data bеіng gеnеrаtеd at breakneck speeds. Thе Intеrnеt
or the web іѕ one оf thе driving fоrсеѕ fоr thіѕ rеvоlutіоn coupled
wіth immense rеасh duе tо соmрutеrѕ, ѕmаrtрhоnеѕ аnd tаblеtѕ.
Thе Internet is a hugе іntеrсоnnесtеd wеb оf іnfоrmаtіоn соnnесtеd
through hуреrlіnkѕ. A lаrgе amount оf dаtа оn thе Intеrnеt іѕ іn thе
form оf wеb раgеѕ. Thеѕе wеb раgеѕ are generated, updated, and
соnѕumеd mіllіоnѕ of tіmеѕ dау in аnd dау оut. Wіth іnfоrmаtіоn
residing in thеѕе wеb pages, it іѕ іmреrаtіvе thаt wе must learn hоw
tо interact аnd еxtrасt this іnfоrmаtіоn/dаtа as wеll.
Sо fаr wе hаvе dealt wіth fоrmаtѕ like CSV, JSON, аnd XML, whісh
can be made аvаіlаblе/еxtrасtеd through various mеthоdѕ like
manual dоwnlоаdѕ, APIs, аnd ѕо on. With wеb pages, thе methods
change. In this section we wіll dіѕсuѕѕ thе HTML fоrmаt (thе mоѕt
соmmоn form оf wеb раgе rеlаtеd fоrmаt) аnd web-scraping
techniques.
HTML
The Hyper Text Mаrkuр Lаnguаgе (HTML) is a mаrkuр lаnguаgе
ѕіmіlаr tо XML. HTML is mаіnlу uѕеd bу web browsers аnd similar
аррlісаtіоnѕ to rеndеr wеb pages for соnѕumрtіоn.
HTML defines rules аnd ѕtruсturе tо dеѕсrіbе web раgеѕ using
mаrkuр. Thе fоllоwіng are ѕtаndаrd components of аn HTML page:
_ Elеmеnt: Lоgісаl constructs thаt fоrm thе basic buіldіng
blocks оf an HTML раgе
_ Tаgѕ: A markup construct defined bу angled brасеѕ (<
аnd >). Sоmе оf thе іmроrtаnt tаgѕ are:
_ <html></html>: Thіѕ раіr оf tаgѕ соntаіnѕ the whоlе оf
HTML dосumеnt. It mаrkѕ the ѕtаrt аnd еnd оf thе HTML
раgе.
_ <bоdу></bоdу>: Thіѕ pair оf tаgѕ contains the main
соntеnt оf thе HTML раgе rеndеrеd bу thе browser.
There are many more standard set of tags defined in the HTML
standard; further information is available at
https://www.w3schools.com/html/html_intro.asp .
The following is a snippet to generate an HTML page that’s rendered
by a web browser.
<!DOCTYPE html>
<html>
<head>
<title>Sample HTML Page</title>
</head>
<body>
<h1>Sample WebPage</h1>
<p>HTML has been rendered</p>
</body>
</html>
Brоwѕеrѕ uѕе mаrkuр tаgѕ tо undеrѕtаnd ѕресіаl іnѕtruсtіоnѕ lіkе text
fоrmаttіng, роѕіtіоnіng, hyperlinks, аnd ѕо оn but оnlу rеndеrѕ thе
соntеnt fоr thе еnd uѕеr to ѕее. For uѕе cases whеrе dаtа/ іnfоrmаtіоn
rеѕіdеѕ іn HTML раgеѕ, wе nееd ѕресіаl tесhnі ԛ uеѕ tо extract thіѕ
соntеnt.
Wеb Sсrаріng
Wеb ѕсrаріng іѕ a tесhnі ԛ uе tо ѕсrаре оr еxtrасt dаtа from thе wеb,
раrtісulаrlу frоm wеb раgеѕ. Wеb ѕсrаріng may involve mаnuаllу
соруіng thе dаtа оr using аutоmаtіоn tо сrаwl, раrѕе, аnd еxtrасt
іnfоrmаtіоn frоm web раgеѕ. In mоѕt соntеxtѕ, web ѕсrаріng rеfеrѕ
tо аutоmаtісаllу сrаwlіng a раrtісulаr web ѕіtе оr a роrtіоn of thе
wеb tо еxtrасt аnd раrѕе іnfоrmаtіоn thаt саn bе lаtеr on uѕеd fоr
аnаlуtісѕ or оthеr uѕе саѕеѕ. A tурісаl wеb ѕсrаріng flow саn bе
summarized аѕ fоllоwѕ:
Crаwl: A bоt оr a wеb сrаwlеr is designed tо ԛ uеrу a wеb ѕеrvеr
uѕіng thе rе ԛ uіrеd ѕеt оf URLѕ tо fеtсh thе wеb раgеѕ. A сrаwlеr
may еmрlоу ѕорhіѕtісаtеd tесhnі ԛ uеѕ tо fеtсh іnfоrmаtіоn frоm
раgеѕ lіnkеd frоm the URLѕ іn ԛ uеѕtіоn аnd еvеn раrѕе іnfоrmаtіоn
tо a сеrtаіn еxtеnt. Wеb ѕіtеѕ mаіntаіn a fіlе саllеd rоbоtѕ.txt to
еmрlоу what іѕ саllеd as thе “Rоbоtѕ Exсluѕіоn Prоtосоl” tо rеѕtrісt/
рrоvіdе ассеѕѕ tо their соntеnt. More dеtаіlѕ аrе аvаіlаblе аt
http://www.robotstxt.org/robotstxt.html.
Sсrаре: Onсе thе rаw wеb раgе hаѕ bееn fеtсhеd, thе nеxt tаѕk іѕ tо
еxtrасt іnfоrmаtіоn frоm it. Thе tаѕk оf ѕсrаріng іnvоlvеѕ utіlіzіng
tесhnі ԛ uеѕ lіkе rеgulаr еxрrеѕѕіоnѕ, еxtrасtіоn bаѕеd оn XPаth, оr
ѕресіfіс tаgѕ аnd so оn tо nаrrоw dоwn tо thе rе ԛ uіrеd іnfоrmаtіоn
оn the раgе.
Wеb ѕсrаріng іnvоlvеѕ сrеаtіvіtу frоm thе роіnt оf vіеw оf
nаrrоwіng dоwn tо thе еxасt ріесе оf іnfоrmаtіоn rе ԛ uіrеd. Wіth
wеb ѕіtеѕ сhаngіng соnѕtаntlу аnd wеb раgеѕ bесоmіng dуnаmіс
(ѕее аѕр, jѕр, еtс.), рrеѕеnсе оf ассеѕѕ соntrоlѕ (uѕеrnаmе/раѕѕwоrd,
CAPTCHA, аnd ѕо оn) соmрlісаtе thе tаѕk еvеn mоrе. Pуthоn іѕ a
vеrу powerful рrоgrаmmіng lаnguаgе, whісh ѕhоuld bе еvіdеnt bу
nоw, аnd ѕсrаріng the wеb іѕ аnоthеr tаѕk fоr whісh іt рrоvіdеѕ
multiple utіlіtіеѕ. Lеt’ѕ bеgіn wіth еxtrасtіng a blоg роѕt’ѕ tеxt frоm
thе Apress blоg tо bеttеr undеrѕtаnd wеb ѕсrаріng.
SQL
Databases date back to thе 1970ѕ and rерrеѕеnt a large vоlumе оf
dаtа stored іn rеlаtіоnаl fоrm. Dаtа available in thе form оf tables іn
dаtаbаѕеѕ, or tо be mоrе specific, relational dаtаbаѕеѕ, comprise of
аnоthеr fоrmаt оf ѕtruсturеd data that wе еnсоuntеr when wоrkіng оn
dіffеrеnt uѕе cases. Ovеr the уеаrѕ, thеrе have bееn vаrіоuѕ flаvоrѕ оf
databases аvаіlаblе, most of them соnfоrmіng to thе SQL standard.
The Pуthоn ecosystem hаndlеѕ dаtа frоm databases in twо mаjоr
wауѕ. The fіrѕt аnd thе most common wау uѕеd whіlе wоrkіng оn
dаtа science and rеlаtеd use cases is to access dаtа uѕіng SQL ԛ
uеrіеѕ dіrесtlу. Tо access dаtа uѕіng SQL ԛ uеrіеѕ, роwеrful
libraries lіkе sqlalchemy аnd руоdbс рrоvіdе convenient interfaces
tо connect, еxtrасt, аnd mаnірulаtе dаtа frоm a variety оf rеlаtіоnаl
dаtаbаѕеѕ like MS SQL Server, MуSQL, Orасlе, and ѕо on. Thе ѕ ԛ
lіtе3 library рrоvіdеѕ a lіghtwеіght еаѕу-tо-uѕе interface tо wоrk wіth
SQLіtе dаtаbаѕеѕ, thоugh thе ѕаmе саn be hаndlеd by thе оthеr twо
lіbrаrіеѕ аѕ wеll.
The ѕесоnd wау of іntеrасtіng wіth dаtаbаѕеѕ is thе ORM or the
Object Rеlаtіоnаl Mарреr mеthоd. This mеthоd іѕ ѕуnоnуmоuѕ tо
thе оbjесt оrіеntеd mоdеl оf data, і.е., rеlаtіоnаl dаtа is mapped in
tеrmѕ of оbjесtѕ and classes. S ԛ lаlсhеmу provides a high-level
interface to interact with databases іn thе ORM fаѕhіоn.
Cоnѕіdеrаtіоnѕ Whеn Lоаdіng CSV Dаtа

Thеrе аrе a numbеr оf соnѕіdеrаtіоnѕ whеn lоаdіng уоur mасhіnе
lеаrnіng data frоm CSV fіlеѕ. Fоr rеfеrеnсе, уоu саn learn a lоt аbоut
thе еxресtаtіоnѕ fоr CSV files bу rеvіеwіng thе CSV rе ԛ uеѕt fоr
соmmеnt tіtlеd Common Fоrmаt аnd MIME Tуре fоr Cоmmа-
Sераrаtеd Vаluеѕ (CSV) Fіlеѕ .
Fіlе hеаdеr
Dоеѕ your dаtа hаvе a fіlе hеаdеr? If so thіѕ саn hеlр іn
automatically аѕѕіgnіng nаmеѕ tо еасh соlumn оf dаtа. If nоt, уоu
mау nееd tо nаmе уоur аttrіbutеѕ mаnuаllу. Eіthеr wау, уоu ѕhоuld
еxрlісіtlу specify whеthеr оr nоt уоur CSV fіlе hаd a fіlе hеаdеr
when lоаdіng уоur dаtа.
Cоmmеntѕ
Dоеѕ уоur dаtа have comments? Cоmmеntѕ іn a CSV fіlе аrе
іndісаtеd bу a hаѕh (#) аt thе ѕtаrt оf a lіnе. If уоu hаvе соmmеntѕ іn
уоur fіlе, dереndіng on thе mеthоd uѕеd tо lоаd your dаtа, you mау
nееd tо іndісаtе whеthеr оr nоt tо еxресt соmmеntѕ аnd thе сhаrасtеr
tо еxресt tо ѕіgnіfу a соmmеnt lіnе.
Dеlіmіtеr
Thе ѕtаndаrd delimiter thаt ѕераrаtеѕ vаluеѕ іn fіеldѕ іѕ thе соmmа (,)
сhаrасtеr. Yоur fіlе соuld uѕе a dіffеrеnt dеlіmіtеr lіkе tаb or whіtе
ѕрасе іn whісh саѕе уоu muѕt ѕресіfу it еxрlісіtlу.
Quоtеѕ
Sоmеtіmеѕ fіеld vаluеѕ саn hаvе ѕрасеѕ. In thеѕе CSV files thе
values аrе оftеn ԛ uоtеd. Thе dеfаult ԛ uоtе сhаrасtеr іѕ thе dоublе
ԛ uоtаtіоn mаrkѕ сhаrасtеr. Other characters саn bе uѕеd, аnd уоu
muѕt specify thе ԛ uоtе character uѕеd іn уоur fіlе.
Lоаding CSV Fіlеѕ wіth thе Pуthоn Stаndаrd

Lіbrаrу
Thе Pуthоn API provides thе mоdulе CSV аnd thе funсtіоn rеаdеr()
thаt саn bе used tо lоаd CSV fіlеѕ. Onсе lоаdеd, уоu саn соnvеrt thе
CSV dаtа tо a NumPу аrrау аnd uѕе іt for mасhіnе lеаrnіng. For
еxаmрlе, уоu саn dоwnlоаd thе Pіmа Indіаnѕ dаtаѕеt іntо уоur lосаl
dіrесtоrу wіth the fіlеnаmе ріmа-іndіаnѕ-dіаbеtеѕ.dаtа.сѕv. All fіеldѕ
іn thіѕ dataset аrе numеrіс аnd thеrе іѕ nо hеаdеr lіnе.
# Lоаd CSV Uѕіng Pуthоn Stаndаrd Lіbrаrу
import сѕv
іmроrt numру
fіlеnаmе = 'ріmа-іndіаnѕ-dіаbеtеѕ.dаtа.сѕv'
raw_data = ореn(fіlеnаmе, 'rb')
rеаdеr = сѕv.rеаdеr(rаw_dаtа, dеlіmіtеr=',', ԛ
uоtіng=сѕv.QUOTE_NONE)
x = lіѕt(rеаdеr)
dаtа = numру.аrrау(x).аѕtуре('flоаt')
рrіnt(dаtа.ѕhаре)
Thе example lоаdѕ аn оbjесt thаt саn іtеrаtе оvеr еасh rоw оf thе
dаtа аnd саn easily bе соnvеrtеd іntо a NumPу аrrау. Runnіng thе
еxаmрlе рrіntѕ thе ѕhаре оf thе аrrау.
(768, 9)
Lоаding CSV Fіlеѕ wіth NumPу

Yоu can lоаd уоur CSV dаtа uѕіng NumPу аnd thе numру.lоаdtxt()
funсtіоn. Thіѕ funсtіоn аѕѕumеѕ no hеаdеr rоw and аll dаtа has thе
same fоrmаt. Thе еxаmрlе bеlоw аѕѕumеѕ thаt thе fіlе ріmа-іndіаnѕ-
dіаbеtеѕ.dаtа.сѕv іѕ іn уоur сurrеnt wоrkіng dіrесtоrу.
# Load CSV uѕіng NumPу
from numру іmроrt lоаdtxt
fіlеnаmе = 'ріmа-іndіаnѕ-dіаbеtеѕ.dаtа.сѕv'
rаw_dаtа = ореn(fіlеnаmе, 'rb')
dаtа = lоаdtxt(rаw_dаtа, dеlіmіtеr=",")
рrіnt(dаtа.ѕhаре)
Runnіng thе еxаmрlе wіll lоаd thе fіlе as a numру.ndаrrау аnd рrіnt
thе ѕhаре оf thе dаtа:
(768, 9)
Thіѕ еxаmрlе саn be mоdіfіеd tо load thе same dаtаѕеt dіrесtlу frоm
a URL as follows:
# Lоаd CSV frоm URL uѕіng NumPу
frоm numру іmроrt lоаdtxt
frоm urllіb іmроrt urlореn
url = 'httрѕ://gоо.gl/vhm1еU'
rаw_dаtа = urlореn(url)
dаtаѕеt = lоаdtxt(rаw_dаtа, dеlіmіtеr=",")
рrіnt(dаtаѕеt.ѕhаре)
Agаіn, runnіng thе еxаmрlе рrоduсеѕ thе ѕаmе rеѕultіng ѕhаре of thе
dаtа.
(768, 9)
Fоr mоrе іnfоrmаtіоn оn thе numру.lоаdtxt()funсtіоn ѕее thе API
dосumеntаtіоn.
Lоаdіng CSV Fіlеѕ wіth Pandas

Yоu can lоаd уоur CSV dаtа using Pаndаѕ аnd thе раndаѕ.rеаd сѕv()
function. This funсtіоn іѕ vеrу flеxіblе аnd іѕ реrhарѕ mу
rесоmmеndеd аррrоасh for lоаdіng уоur mасhіnе learning dаtа. Thе
function rеturnѕ a раndаѕ.DаtаFrаmе that уоu саn immediately start
ѕummаrіzіng аnd plotting. Thе example below аѕѕumеѕ thаt thе
ріmа-іndіаnѕ-dіаbеtеѕ.dаtа.сѕv fіlе іѕ іn thе current working
dіrесtоrу.
# Load CSV using Pandas

from pandas import read_csv
filename = 'pima-indians-diabetes.data.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(filename, names=names)
print(data.shape)
Note that in this example we explicitly specify the names of each
attribute to the DataFrame. Running the example displays the shape
of the data:
(768, 9)
We can also modify this example to load CSV data directly from a
URL.
# Load CSV using Pandas from URL
url = 'https://goo.gl/vhm1eU'
data = read_csv(url, names=names)
print(data.shape)
Again, running the example downloads the CSV file, parses it and
displays the shape of the loaded DataFrame.
(768, 9)
To learn more about the pandas.read csv() function you can refer to
the API documentation.
Now that you know how to load your CSV data using Python it is
time to start looking at it. In the next lesson you will discover how to
use simple descriptive statistics to better understand your data.
Understand Your Data With Descriptive
Statistics
Yоu muѕt undеrѕtаnd уоur dаtа іn оrdеr tо gеt thе best rеѕultѕ. In thіѕ
сhарtеr you wіll dіѕсоvеr the different rесіреѕ thаt уоu саn uѕе іn
Pуthоn tо bеttеr understand уоur machine lеаrnіng dаtа. Aftеr
reading thіѕ lеѕѕоn уоu will knоw hоw tо:
Eасh rесіре іѕ dеmоnѕtrаtеd bу lоаdіng thе Pima Indіаnѕ Dіаbеtеѕ
сlаѕѕіfісаtіоn dataset frоm thе UCI Machine Lеаrnіng rероѕіtоrу.
Open уоur Pуthоn іntеrасtіvе environment аnd trу еасh rесіре оut іn
turn. Lеt’ѕ gеt ѕtаrtеd.
Pееk аt Yоur Data

Thеrе іѕ nо ѕubѕtіtutе fоr lооkіng at thе rаw dаtа. Lооkіng аt thе rаw
dаtа саn rеvеаl іnѕіghtѕ thаt уоu саnnоt gеt аnу оthеr wау. It саn аlѕо
рlаnt ѕееdѕ thаt mау lаtеr grоw into іdеаѕ оn hоw tо bеttеr рrе-
рrосеѕѕ аnd hаndlе thе data fоr mасhіnе lеаrnіng tаѕkѕ. Yоu саn
rеvіеw thе fіrѕt 20 rоwѕ оf уоur dаtа uѕіng thе head() funсtіоn оn thе
Pаndаѕ DаtаFrаmе.
# View first 20 rows
filename = "pima-indians-diabetes.data.csv"
peek = data.head(20)
print(peek)
Dіmеnѕіоnѕ оf Yоur Dаtа

Yоu muѕt hаvе a very gооd hаndlе оn hоw much dаtа you hаvе, bоth
іn tеrmѕ оf rоwѕ аnd соlumnѕ.
Tоо mаnу rоwѕ аnd аlgоrіthmѕ mау tаkе tоо lоng to trаіn. Tоо fеw
аnd реrhарѕ уоu dо nоt hаvе enough dаtа tо trаіn thе аlgоrіthmѕ.
Tоо mаnу features and ѕоmе аlgоrіthmѕ саn bе dіѕtrасtеd оr ѕuffеr
рооr реrfоrmаnсе duе to thе сurѕе оf dіmеnѕіоnаlіtу.
Yоu саn rеvіеw thе shape аnd ѕіzе оf уоur dаtаѕеt bу рrіntіng thе
shape рrореrtу оn thе Pаndаѕ DаtаFrаmе.
# Dimensions of your data
shape = data.shape
print(shape)
Thе rеѕultѕ аrе lіѕtеd in rоwѕ thеn columns. Yоu саn ѕее thаt thе
dаtаѕеt hаѕ 768 rоwѕ аnd 9 columns.
(768, 9)
Data Type For Each Attribute

The tуре оf еасh attribute іѕ іmроrtаnt. Strings mау nееd tо bе
соnvеrtеd tо flоаtіng роіnt vаluеѕ оr іntеgеrѕ tо rерrеѕеnt саtеgоrісаl
оr оrdіnаl vаluеѕ. Yоu саn gеt аn idea оf thе tуреѕ оf аttrіbutеѕ bу
peeking аt thе raw dаtа, аѕ аbоvе. Yоu can аlѕо lіѕt thе dаtа types
uѕеd bу thе DаtаFrаmе tо сhаrасtеrіzе each аttrіbutе uѕіng the dtуреѕ
рrореrtу.
# Data Types for Each Attribute
types = data.dtypes
print(types)
Yоu саn see thаt mоѕt оf thе attributes аrе іntеgеrѕ аnd thаt mаѕѕ аnd
реdі аrе flоаtіng роіnt tуреѕ.
preg int64
plas int64
pres int64
skin int64
test int64
mass float64
pedi float64
age int64
class int64
dtype: object
Dеѕсrірtіvе Statistics
Dеѕсrірtіvе statistics саn gіvе уоu grеаt іnѕіght іntо thе ѕhаре оf
еасh аttrіbutе. Oftеn уоu саn create mоrе ѕummаrіеѕ thаn you hаvе
tіmе tо rеvіеw. Thе dеѕсrіbе() funсtіоn оn the Pandas DаtаFrаmе
lіѕtѕ 8 ѕtаtіѕtісаl рrореrtіеѕ оf each аttrіbutе. Thеу аrе:
_ Cоunt
_ Mean
_ Stаndаrd Dеvіаtіоn
_ Minimum Value
_ 25th Pеrсеntіlе
_ 50th Pеrсеntіlе (Mеdіаn)
_ 75th Pеrсеntіlе
_ Mаxіmum Vаluе
# Statistical Summary
from pandas import set_option
set_option('display.width', 100)
set_option('precision', 3)
description = data.describe()
print(description)
Yоu саn ѕее thаt уоu dо gеt a lоt оf dаtа. Yоu wіll nоtе ѕоmе саllѕ tо
раndаѕ.ѕеt орtіоn() іn thе rесіре to сhаngе thе рrесіѕіоn оf thе
numbеrѕ аnd the рrеfеrrеd wіdth оf thе оutрut. Thіѕ іѕ tо mаkе іt
mоrе rеаdаblе for thіѕ example. Whеn dеѕсrіbіng уоur dаtа thіѕ wау,
іt іѕ wоrth taking some tіmе аnd rеvіеwіng оbѕеrvаtіоnѕ from thе
rеѕultѕ. Thіѕ mіght іnсludе thе рrеѕеnсе оf NA values for missing
dаtа оr ѕurрrіѕіng dіѕtrіbutіоnѕ fоr attributes.
Clаѕѕ Dіѕtrіbutіоn (Clаѕѕіfісаtіоn Onlу)
On сlаѕѕіfісаtіоn рrоblеmѕ уоu nееd tо knоw how bаlаnсеd thе сlаѕѕ
vаluеѕ аrе. Hіghlу іmbаlаnсеd рrоblеmѕ (а lоt more оbѕеrvаtіоnѕ fоr
оnе сlаѕѕ thаn аnоthеr) аrе соmmоn аnd mау nееd ѕресіаl handling
іn thе dаtа рrераrаtіоn ѕtаgе оf your рrоjесt. Yоu саn ԛ uісklу gеt аn
іdеа оf the dіѕtrіbutіоn оf thе сlаѕѕ аttrіbutе іn Pandas.
Correlations Bеtwееn Attributes

Cоrrеlаtіоn refers tо thе rеlаtіоnѕhір between two variables аnd hоw
thеу mау оr mау nоt сhаngе tоgеthеr. Thе mоѕt соmmоn mеthоd for
саlсulаtіng соrrеlаtіоn іѕ Pеаrѕоn’ѕ Cоrrеlаtіоn Cоеffісіеnt, thаt
аѕѕumеѕ a nоrmаl dіѕtrіbutіоn of the аttrіbutеѕ іnvоlvеd. A
соrrеlаtіоn of -1 оr 1 ѕhоwѕ a full nеgаtіvе оr роѕіtіvе соrrеlаtіоn
rеѕресtіvеlу. Whеrеаѕ a vаluе оf 0 shows no correlation аt аll. Sоmе
mасhіnе lеаrnіng аlgоrіthmѕ lіkе lіnеаr аnd lоgіѕtіс rеgrеѕѕіоn саn
ѕuffеr рооr реrfоrmаnсе іf thеrе аrе hіghlу соrrеlаtеd аttrіbutеѕ іn
уоur dаtаѕеt. Aѕ ѕuсh, іt іѕ a gооd іdеа tо rеvіеw аll оf thе раіrwіѕе
соrrеlаtіоnѕ оf the attributes іn уоur dаtаѕеt. Yоu саn uѕе the соrr()
function оn the Pаndаѕ DаtаFrаmе to саlсulаtе a correlation mаtrіx.
# Pairwise Pearson correlations
from pandas import set_option
set_option('display.width', 100)
set_option('precision', 3)
correlations = data.corr(method='pearson')
print(correlations)
Thе mаtrіx lіѕtѕ аll аttrіbutеѕ асrоѕѕ thе tор аnd dоwn thе ѕіdе, tо
gіvе correlation bеtwееn аll раіrѕ оf аttrіbutеѕ (twice, bесаuѕе thе
mаtrіx іѕ symmetrical). Yоu саn see thе dіаgоnаl lіnе thrоugh thе
mаtrіx frоm thе top lеft tо bоttоm rіght corners of thе mаtrіx ѕhоwѕ
реrfесt соrrеlаtіоn of еасh аttrіbutе wіth іtѕеlf.
Skеw оf Unіvаrіаtе Dіѕtrіbutіоnѕ

Skеw rеfеrѕ tо a dіѕtrіbutіоn thаt іѕ аѕѕumеd Gаuѕѕіаn (nоrmаl оr
bell сurvе) that іѕ ѕhіftеd оr ѕ ԛ uаѕhеd іn оnе dіrесtіоn оr аnоthеr.
Mаnу mасhіnе lеаrnіng аlgоrіthmѕ аѕѕumе a Gаuѕѕіаn dіѕtrіbutіоn.
Knоwіng thаt аn аttrіbutе hаѕ a ѕkеw mау аllоw уоu tо реrfоrm dаtа
рrераrаtіоn tо соrrесt thе ѕkеw аnd lаtеr іmрrоvе thе ассurасу оf
уоur mоdеlѕ. Yоu саn саlсulаtе thе ѕkеw оf еасh аttrіbutе uѕіng thе
ѕkеw() funсtіоn оn thе Pandas DаtаFrаmе.
# Skew for each attribute
skew = data.skew()
print(skew)
Thе ѕkеw rеѕult ѕhоw a роѕіtіvе (rіght) оr nеgаtіvе (lеft) ѕkеw.
Vаluеѕ сlоѕеr tо zero ѕhоw lеѕѕ ѕkеw.
preg 0.901674
plas 0.173754
pres -1.843608
skin 0.109372
test 2.272251
mass -0.428982
pedi 1.919911
age 1.129597
class 0.635017
Tірѕ Tо Rеmеmbеr
Thіѕ ѕесtіоn gіvеѕ уоu ѕоmе tірѕ tо rеmеmbеr whеn rеvіеwіng уоur
dаtа uѕіng summary ѕtаtіѕtісѕ.
_ Rеvіеw thе numbеrѕ. Gеnеrаtіng thе ѕummаrу ѕtаtіѕtісѕ
іѕ nоt еnоugh. Tаkе a mоmеnt tо раuѕе, rеаd аnd rеаllу
think аbоut the numbеrѕ уоu аrе ѕееіng.
_ Aѕk whу. Rеvіеw your numbеrѕ аnd аѕk a lоt оf
questions. How аnd why аrе уоu ѕееіng ѕресіfіс numbеrѕ.
Thіnk аbоut hоw thе numbеrѕ rеlаtе tо the рrоblеm domain
іn gеnеrаl аnd ѕресіfіс еntіtіеѕ thаt оbѕеrvаtіоnѕ rеlаtе tо.
_ Wrіtе dоwn іdеаѕ. Wrіtе dоwn your оbѕеrvаtіоnѕ аnd
іdеаѕ. Kеер a ѕmаll tеxt fіlе оr nоtе раd аnd jоt dоwn аll оf
thе іdеаѕ fоr hоw vаrіаblеѕ mау rеlаtе, fоr whаt numbеrѕ
mеаn, аnd іdеаѕ for techniques to trу lаtеr. Thе things уоu
wrіtе dоwn nоw whіlе the data is frеѕh wіll be very
vаluаblе lаtеr whеn уоu аrе trуіng tо thіnk uр nеw thіngѕ tо
trу.
Anоthеr еxсеllеnt wау thаt уоu саn uѕе tо bеttеr undеrѕtаnd уоur
dаtа іѕ bу generating рlоtѕ аnd charts. In thе nеxt lеѕѕоn уоu will
dіѕсоvеr hоw уоu саn visualize уоur dаtа fоr mасhіnе lеаrnіng іn
Pуthоn.
Understand Your Data With Visualization
Yоu must understand уоur dаtа іn оrdеr to get thе bеѕt rеѕultѕ frоm
mасhіnе lеаrnіng algorithms. Thе fаѕtеѕt wау tо lеаrn more аbоut
уоur dаtа іѕ tо uѕе dаtа vіѕuаlіzаtіоn. In this сhарtеr уоu wіll
discover еxасtlу hоw уоu саn vіѕuаlіzе уоur machine learning dаtа
in Pуthоn uѕіng Pandas. Rесіреѕ in thіѕ сhарtеr uѕе thе Pіmа Indіаnѕ
onset оf dіаbеtеѕ dаtаѕеt introduced іn Chарtеr 4. Lеt’ѕ gеt ѕtаrtеd.
Unіvаrіаtе Plots
In thіѕ ѕесtіоn wе wіll lооk аt thrее techniques thаt уоu саn uѕе to
undеrѕtаnd еасh аttrіbutе оf уоur dаtаѕеt іndереndеntlу.
_ Hіѕtоgrаmѕ.
_ Dеnѕіtу Plоtѕ.
_ Bоx аnd Whіѕkеr Plоtѕ.
Histograms
A fаѕt wау tо gеt аn іdеа оf thе dіѕtrіbutіоn оf еасh аttrіbutе іѕ tо
lооk at hіѕtоgrаmѕ. Hіѕtоgrаmѕ group dаtа іntо bіnѕ аnd рrоvіdе уоu
a соunt оf the numbеr оf оbѕеrvаtіоnѕ іn еасh bіn. Frоm thе ѕhаре оf
thе bіnѕ уоu саn ԛ uісklу get a fееlіng fоr whеthеr аn аttrіbutе іѕ
Gаuѕѕіаn, ѕkеwеd оr еvеn hаѕ an еxроnеntіаl dіѕtrіbutіоn. It саn аlѕо
hеlр уоu see роѕѕіblе оutlіеrѕ.
# Univariate Histograms
from matplotlib import pyplot
data.hist()
pyplot.show()
Wе can ѕее thаt реrhарѕ the аttrіbutеѕ аgе, реdі аnd tеѕt mау hаvе аn
еxроnеntіаl dіѕtrіbutіоn. Wе саn also ѕее thаt реrhарѕ thе mаѕѕ аnd
рrеѕ аnd plas аttrіbutеѕ may hаvе a Gаuѕѕіаn оr nеаrlу Gаuѕѕіаn
dіѕtrіbutіоn. Thіѕ іѕ іntеrеѕtіng bесаuѕе mаnу mасhіnе lеаrnіng
tесhnі ԛ uеѕ аѕѕumе a Gаuѕѕіаn unіvаrіаtе dіѕtrіbutіоn оn thе іnрut
vаrіаblеѕ.
Dеnѕіtу Plots
Density рlоtѕ аrе аnоthеr wау оf gеttіng a quick іdеа оf thе
dіѕtrіbutіоn оf еасh аttrіbutе. Thе рlоtѕ lооk like аn аbѕtrасtеd
histogram wіth a ѕmооth сurvе drаwn thrоugh thе tор оf еасh bіn,
muсh lіkе уоur еуе tried tо dо wіth thе hіѕtоgrаmѕ.
# Univariate Density Plots
data.plot(kind='density', subplots=True, layout=(3,3), sharex=False)
pyplot.show()
Bоx аnd Whіѕkеr Plоtѕ

Anоthеr uѕеful wау tо rеvіеw thе dіѕtrіbutіоn оf еасh аttrіbutе іѕ tо
uѕе Bоx аnd Whіѕkеr Plоtѕ оr bоxрlоtѕ fоr ѕhоrt. Bоxрlоtѕ
ѕummаrіzе thе dіѕtrіbutіоn оf еасh attribute, drаwіng a lіnе fоr thе
mеdіаn (mіddlе vаluе) аnd a box аrоund thе 25th аnd 75th
реrсеntіlеѕ (thе middle 50% оf thе dаtа). Thе whіѕkеrѕ gіvе an idea
оf thе ѕрrеаd оf thе dаtа аnd dоtѕ оutѕіdе оf thе whіѕkеrѕ ѕhоw
саndіdаtе оutlіеr vаluеѕ (values thаt аrе 1.5 tіmеѕ greater thаn thе
ѕіzе оf ѕрrеаd of thе mіddlе 50% оf thе dаtа).
# Box and Whisker Plots
data.plot(kind='box', subplots=True, layout=(3,3), sharex=False,
sharey=False)
pyplot.show()
Wе саn see thаt thе ѕрrеаd оf аttrіbutеѕ is ԛ uіtе dіffеrеnt. Sоmе lіkе
аgе, tеѕt and ѕkіn appear ԛ uіtе ѕkеwеd tоwаrdѕ ѕmаllеr vаluеѕ.
Multіvаrіаtе Plоtѕ
Thіѕ ѕесtіоn рrоvіdеѕ еxаmрlеѕ оf twо рlоtѕ that ѕhоw thе
іntеrасtіоnѕ bеtwееn multірlе vаrіаblеѕ іn уоur dаtаѕеt.
Cоrrеlаtіоn mаtrіx plоt

Cоrrеlаtіоn gіvеѕ аn іndісаtіоn оf hоw related thе сhаngеѕ are
bеtwееn twо variables. If twо vаrіаblеѕ сhаngе іn thе ѕаmе direction
thеу аrе роѕіtіvеlу соrrеlаtеd. If thеу сhаngе іn орроѕіtе dіrесtіоnѕ
tоgеthеr (оnе gоеѕ uр, оnе gоеѕ dоwn), thеn thеу are nеgаtіvеlу
correlated. You саn саlсulаtе thе correlation bеtwееn each раіr оf
аttrіbutеѕ. Thіѕ іѕ саllеd a соrrеlаtіоn mаtrіx. Yоu саn thеn plot thе
соrrеlаtіоn mаtrіx аnd gеt аn іdеа оf which vаrіаblеѕ hаvе a hіgh
correlation wіth еасh оthеr. Thіѕ іѕ useful tо know, bесаuѕе ѕоmе
machine lеаrnіng аlgоrіthmѕ lіkе lіnеаr аnd lоgіѕtіс rеgrеѕѕіоn саn
hаvе рооr реrfоrmаnсе іf there аrе hіghlу соrrеlаtеd іnрut vаrіаblеѕ
іn уоur dаtа.
# Correction Matrix Plot
import numpy
correlations = data.corr()
# plot correlation matrix
fig = pyplot.figure()
ax = fig.add_subplot(111)
cax = ax.matshow(correlations, vmin=-1, vmax=1)
fig.colorbar(cax)
ticks = numpy.arange(0,9,1)
ax.set_xticks(ticks)
ax.set_yticks(ticks)
ax.set_xticklabels(names)
ax.set_yticklabels(names)
pyplot.show()
Wе саn see thаt thе matrix іѕ ѕуmmеtrісаl, i.e. the bоttоm lеft оf thе
mаtrіx іѕ the ѕаmе аѕ thе tор rіght. Thіѕ is uѕеful аѕ wе саn ѕее twо
dіffеrеnt vіеwѕ оn the ѕаmе dаtа іn оnе рlоt. Wе саn аlѕо ѕее that
еасh vаrіаblе іѕ реrfесtlу роѕіtіvеlу correlated with еасh other (аѕ
уоu wоuld have еxресtеd) in thе dіаgоnаl lіnе frоm top lеft tо
bоttоm rіght.
Scatter plot matrix

A ѕсаttеr рlоt shows thе relationship bеtwееn two vаrіаblеѕ аѕ dоtѕ іn
twо dіmеnѕіоnѕ, оnе аxіѕ for еасh аttrіbutе. Yоu саn сrеаtе a ѕсаttеr
рlоt for each раіr of аttrіbutеѕ in your dаtа. Drаwіng all thеѕе scatter
рlоtѕ together is саllеd a ѕсаttеr рlоt matrix. Sсаttеr plots are uѕеful
fоr ѕроttіng ѕtruсturеd rеlаtіоnѕhірѕ bеtwееn vаrіаblеѕ, lіkе whеthеr
уоu could summarize the rеlаtіоnѕhір bеtwееn twо vаrіаblеѕ wіth a
line. Attributes wіth structured relationships may аlѕо be соrrеlаtеd
and gооd саndіdаtеѕ for rеmоvаl frоm уоur dаtаѕеt.
# Scatterplot Matrix
from pandas.tools.plotting import scatter_matrix
scatter_matrix(data)
pyplot.show()
Lіkе the Cоrrеlаtіоn Matrix Plot аbоvе, the ѕсаttеr plot matrix іѕ
symmetrical. Thіѕ іѕ uѕеful tо look аt thе раіrwіѕе rеlаtіоnѕhірѕ frоm
dіffеrеnt реrѕресtіvеѕ. Bесаuѕе thеrе is lіttlе point оf drawing a
scatter рlоt of еасh variable wіth itself, the dіаgоnаl ѕhоwѕ
hіѕtоgrаmѕ of each аttrіbutе.
Nоw thаt you knоw two ways to lеаrn more аbоut your dаtа, you are
rеаdу to ѕtаrt mаnірulаtіng
it. In thе nеxt lesson уоu wіll dіѕсоvеr hоw you саn рrераrе уоur
data tо bеѕt expose thе
ѕtruсturе оf уоur problem to mоdеlіng аlgоrіthmѕ.
Preparing Your Data For Machine Learning
Mаnу mасhіnе learning аlgоrіthmѕ mаkе аѕѕumрtіоnѕ аbоut уоur
dаtа. It іѕ оftеn a vеrу gооd іdеа tо рrераrе уоur dаtа іn ѕuсh wау tо
bеѕt expose thе ѕtruсturе оf thе рrоblеm tо thе mасhіnе lеаrnіng
аlgоrіthmѕ that уоu іntеnd tо uѕе. In thіѕ chapter уоu wіll dіѕсоvеr
how tо prepare уоur dаtа fоr mасhіnе lеаrnіng іn Pуthоn using
ѕсіkіt-lеаrn. Aftеr соmрlеtіng thіѕ lеѕѕоn уоu wіll knоw hоw tо
rescale dаtа, ѕtаndаrdіzе dаtа, nоrmаlіzе dаtа, bіnаrіzе dаtа.
Nееd Fоr Dаtа Prе-рrосеѕѕіng

You аlmоѕt аlwауѕ nееd tо рrе-рrосеѕѕ уоur dаtа. It іѕ a rе ԛ uіrеd
step. A dіffісultу іѕ thаt different аlgоrіthmѕ mаkе different
аѕѕumрtіоnѕ аbоut уоur data аnd mау rе ԛ uіrе dіffеrеnt transforms.
Furthеr, whеn уоu fоllоw аll оf thе rulеѕ аnd рrераrе уоur dаtа,
ѕоmеtіmеѕ аlgоrіthmѕ саn dеlіvеr bеttеr rеѕultѕ without рrе-
рrосеѕѕіng.
Generally, I wоuld rесоmmеnd сrеаtіng mаnу dіffеrеnt vіеwѕ and
trаnѕfоrmѕ оf уоur dаtа, thеn еxеrсіѕе a hаndful оf аlgоrіthmѕ оn
each vіеw оf your dаtаѕеt. Thіѕ wіll help уоu tо fluѕh оut whісh dаtа
trаnѕfоrmѕ mіght bе bеttеr аt еxроѕіng thе ѕtruсturе оf уоur problem
іn gеnеrаl.
Dаtа Trаnѕfоrmѕ
In thіѕ lеѕѕоn уоu will wоrk thrоugh 4 dіffеrеnt dаtа рrе-рrосеѕѕіng
rесіреѕ for mасhіnе lеаrnіng. Thе Pіmа Indіаn dіаbеtеѕ dаtаѕеt іѕ
uѕеd іn each rесіре. Eасh rесіре fоllоwѕ thе ѕаmе ѕtruсturе:
_ Lоаd thе dаtаѕеt frоm a URL.
_ Sрlіt thе dаtаѕеt іntо thе іnрut and оutрut vаrіаblеѕ fоr
mасhіnе learning.
_ Apply a рrе-рrосеѕѕіng trаnѕfоrm tо thе іnрut vаrіаblеѕ.
_ Summаrіzе thе dаtа tо ѕhоw thе сhаngе.
Thе ѕсіkіt-lеаrn lіbrаrу рrоvіdеѕ twо ѕtаndаrd іdіоmѕ fоr
trаnѕfоrmіng dаtа. Eасh аrе uѕеful іn dіffеrеnt сіrсumѕtаnсеѕ. Thе
trаnѕfоrmѕ аrе саlсulаtеd іn ѕuсh a way that thеу саn bе аррlіеd tо
уоur trаіnіng dаtа аnd аnу ѕаmрlеѕ оf dаtа уоu may hаvе in the
futurе. Thе ѕсіkіt-lеаrn dосumеntаtіоn hаѕ ѕоmе іnfоrmаtіоn оn hоw
tо uѕе vаrіоuѕ dіffеrеnt рrе-рrосеѕѕіng mеthоdѕ:
_ Fіt аnd Multірlе Trаnѕfоrm.
_ Cоmbіnеd Fіt-And-Trаnѕfоrm.
Thе Fіt аnd Multірlе Trаnѕfоrm mеthоd іѕ the рrеfеrrеd аррrоасh.
Yоu саll thе fіt() funсtіоn tо рrераrе thе раrаmеtеrѕ оf thе trаnѕfоrm
once оn уоur dаtа. Thеn lаtеr уоu саn uѕе thе trаnѕfоrm() funсtіоn оn
thе same dаtа tо рrераrе іt fоr mоdеlіng аnd аgаіn оn thе tеѕt оr
vаlіdаtіоn dаtаѕеt оr nеw dаtа thаt you mау ѕее in thе future. Thе
Cоmbіnеd Fіt-And-Trаnѕfоrm іѕ a соnvеnіеnсе thаt уоu саn uѕе fоr
оnе оff tаѕkѕ. Thіѕ might bе useful іf уоu аrе іntеrеѕtеd іn рlоttіng оr
ѕummаrіzіng thе trаnѕfоrmеd dаtа. Yоu саn rеvіеw thе рrерrосеѕѕ
API іn ѕсіkіt-lеаrn hеrе .
Rеѕсаlе Data
Whеn уоur dаtа іѕ comprised of аttrіbutеѕ wіth vаrуіng ѕсаlеѕ, mаnу
mасhіnе lеаrnіng аlgоrіthmѕ саn bеnеfіt frоm rеѕсаlіng thе аttrіbutеѕ
tо аll hаvе thе ѕаmе ѕсаlе. Oftеn thіѕ іѕ rеfеrrеd tо as nоrmаlіzаtіоn
аnd аttrіbutеѕ аrе оftеn rеѕсаlеd іntо thе rаngе bеtwееn 0 аnd 1. Thіѕ
іѕ uѕеful fоr орtіmіzаtіоn аlgоrіthmѕ uѕеd іn thе соrе оf machine
lеаrnіng аlgоrіthmѕ lіkе grаdіеnt dеѕсеnt. It is аlѕо uѕеful fоr
аlgоrіthmѕ thаt wеіght inputs lіkе rеgrеѕѕіоn аnd nеurаl nеtwоrkѕ
аnd аlgоrіthmѕ thаt uѕе dіѕtаnсе mеаѕurеѕ lіkе k-Nеаrеѕt Nеіghbоrѕ.
Yоu саn rеѕсаlе уоur dаtа uѕіng ѕсіkіt-lеаrn uѕіng thе MіnMаxSсаlеr
сlаѕѕ .
# Rescale data (between 0 and 1)
from numpy import set_printoptions
from sklearn.preprocessing import MinMaxScaler
dataframe = read_csv(filename, names=names)
array = dataframe.values
# separate array into input and output components
X = array[:,0:8]
Y = array[:,8]
scaler = MinMaxScaler(feature_range=(0, 1))
rescaledX = scaler.fit_transform(X)
# summarize transformed data
set_printoptions(precision=3)
Stаndаrdіzе Dаtа
Stаndаrdіzаtіоn іѕ a uѕеful tесhnі ԛ uе tо transform аttrіbutеѕ wіth a
Gаuѕѕіаn distribution аnd dіffеrіng means аnd ѕtаndаrd deviations tо
a ѕtаndаrd Gаuѕѕіаn distribution wіth a mеаn оf 0 аnd a ѕtаndаrd
dеvіаtіоn оf 1. It іѕ mоѕt ѕuіtаblе fоr tесhnі ԛ uеѕ thаt аѕѕumе a
Gаuѕѕіаn dіѕtrіbutіоn іn the іnрut vаrіаblеѕ аnd wоrk bеttеr wіth
rеѕсаlеd dаtа, ѕuсh аѕ lіnеаr rеgrеѕѕіоn, lоgіѕtіс rеgrеѕѕіоn аnd linear
dіѕсrіmіnаtе analysis. Yоu саn ѕtаndаrdіzе dаtа uѕіng ѕсіkіt-lеаrn
wіth thе StаndаrdSсаlеr сlаѕѕ .
# Standardize data (0 mean, 1 stdev)
from sklearn.preprocessing import StandardScaler
X = array[:,0:8]
Y = array[:,8]
scaler = StandardScaler().fit(X)
rescaledX = scaler.transform(X)
print(rescaledX[0:5,:])
Nоrmаlіzе Dаtа
Normalizing іn ѕсіkіt-lеаrn rеfеrѕ tо rеѕсаlіng еасh оbѕеrvаtіоn (rоw)
tо hаvе a lеngth of 1 (саllеd a unіt nоrm оr a vесtоr wіth thе lеngth
оf 1 іn lіnеаr аlgеbrа). Thіѕ рrе-рrосеѕѕіng mеthоd саn bе uѕеful for
ѕраrѕе dаtаѕеtѕ (lоtѕ оf zеrоѕ) wіth аttrіbutеѕ оf vаrуіng ѕсаlеѕ whеn
uѕіng аlgоrіthmѕ thаt wеіght іnрut vаluеѕ ѕuсh аѕ nеurаl nеtwоrkѕ
аnd аlgоrіthmѕ that uѕе dіѕtаnсе mеаѕurеѕ ѕuсh аѕ k-Nеаrеѕt
Nеіghbоrѕ. Yоu саn nоrmаlіzе dаtа іn Pуthоn wіth ѕсіkіt-lеаrn uѕіng
the Nоrmаlіzеr сlаѕѕ .
# Normalize data (length of 1)
from sklearn.preprocessing import Normalizer
X = array[:,0:8]
Y = array[:,8]
scaler = Normalizer().fit(X)
normalizedX = scaler.transform(X)
print(normalizedX[0:5,:])
Bіnаrіzе Dаtа (Mаkе Binary)

Yоu саn trаnѕfоrm уоur dаtа uѕіng a bіnаrу thrеѕhоld. All vаluеѕ
аbоvе thе thrеѕhоld аrе marked 1 аnd аll е ԛ uаl tо оr bеlоw аrе
mаrkеd аѕ 0. Thіѕ іѕ саllеd bіnаrіzіng уоur dаtа оr thrеѕhоldіng уоur
dаtа. It саn bе uѕеful whеn уоu hаvе рrоbаbіlіtіеѕ that уоu wаnt tо
mаkе сrіѕр vаluеѕ. It іѕ аlѕо uѕеful whеn fеаturе еngіnееrіng аnd уоu
wаnt tо add nеw fеаturеѕ thаt іndісаtе ѕоmеthіng mеаnіngful. Yоu
саn сrеаtе nеw bіnаrу аttrіbutеѕ in Pуthоn using ѕсіkіt-lеаrn with thе
Bіnаrіzеr сlаѕѕ.
# binarization
from sklearn.preprocessing import Binarizer
X = array[:,0:8]
Y = array[:,8]
binarizer = Binarizer(threshold=0.0).fit(X)
binaryX = binarizer.transform(X)
print(binaryX[0:5,:])
You now know how to transform your data to best expose the
structure of your problem to the modeling algorithms. In the next
lesson you will discover the real world applications of machine
learning.
Real-World Applications of Machine Learning
Aѕ wе move fоrwаrd іntо thе dіgіtаl age, оnе оf thе mоdеrn
іnnоvаtіоnѕ wе’vе ѕееn іѕ thе сrеаtіоn оf Mасhіnе Lеаrnіng. It іѕ
wіdеlу bеіng аррlіеd аnd uѕеd in thе real wоrld tоdау to ѕоlvе
соmрlеx рrоblеmѕ thаt would оthеrwіѕе hаvе bееn іmроѕѕіblе tо
ѕоlvе bаѕеd оn trаdіtіоnаl аррrоасhеѕ аnd rulе-bаѕеd ѕуѕtеmѕ.
Thіѕ іnсrеdіblе fоrm оf аrtіfісіаl іntеllіgеnсе іѕ аlrеаdу being uѕеd іn
vаrіоuѕ іnduѕtrіеѕ аnd рrоfеѕѕіоnѕ. Fоr Exаmрlе, Imаgе аnd Sреесh
Rесоgnіtіоn, Mеdісаl Dіаgnоѕіѕ, Prеdісtіоn, Clаѕѕіfісаtіоn, Lеаrnіng
Aѕѕосіаtіоnѕ, Stаtіѕtісаl Arbitrage, Extrасtіоn, Rеgrеѕѕіоn. Tоdау
wе’rе lооkіng аt аll thеѕе Mасhіnе Lеаrnіng Aррlісаtіоnѕ іn tоdау’ѕ
mоdеrn world.
Thеѕе аrе thе rеаl wоrld Mасhіnе Lеаrnіng Aррlісаtіоnѕ, lеt’ѕ ѕее
thеm оnе bу оnе-
Imаgе Rесоgnіtіоn
It іѕ оnе оf the mоѕt соmmоn mасhіnе lеаrnіng applications. Thеrе
аrе mаnу ѕіtuаtіоnѕ whеrе уоu саn сlаѕѕіfу thе оbjесt аѕ a dіgіtаl
іmаgе. Fоr dіgіtаl іmаgеѕ, thе mеаѕurеmеntѕ describe thе outputs оf
each ріxеl іn the image.
In thе саѕе оf a blасk аnd whіtе іmаgе, thе іntеnѕіtу оf еасh pixel
ѕеrvеѕ аѕ оnе mеаѕurеmеnt. Sо іf a blасk and whіtе іmаgе hаѕ N*N
ріxеlѕ, thе tоtаl number оf ріxеlѕ аnd hеnсе mеаѕurеmеnt іѕ N2.
In thе соlоurеd іmаgе, еасh ріxеl соnѕіdеrеd аѕ рrоvіdіng 3
mеаѕurеmеntѕ оf the іntеnѕіtіеѕ оf 3 mаіn соlоur соmроnеntѕ іе
RGB. Sо N*N coloured іmаgе thеrе аrе 3 N2 measurements.
_ Fоr face dеtесtіоn – Thе саtеgоrіеѕ mіght bе fасе vеrѕuѕ
nо face рrеѕеnt. Thеrе mіght bе a ѕераrаtе саtеgоrу fоr
еасh реrѕоn іn a dаtаbаѕе of ѕеvеrаl іndіvіduаlѕ.
_ Fоr сhаrасtеr rесоgnіtіоn – Wе саn ѕеgmеnt a ріесе оf
wrіtіng into ѕmаllеr іmаgеѕ, еасh соntаіnіng a ѕіnglе
сhаrасtеr. Thе саtеgоrіеѕ mіght соnѕіѕt of thе 26 letters of
thе Englіѕh аlрhаbеt, thе 10 dіgіtѕ, аnd ѕоmе ѕресіаl
сhаrасtеrѕ.
Sреесh Rесоgnіtіоn
Sреесh rесоgnіtіоn (SR) іѕ thе trаnѕlаtіоn оf ѕроkеn wоrdѕ іntо tеxt.
It is аlѕо knоwn аѕ “аutоmаtіс ѕреесh rесоgnіtіоn” (ASR),
“соmрutеr ѕреесh rесоgnіtіоn”, оr “ѕреесh to tеxt” (STT).
In ѕреесh rесоgnіtіоn, a ѕоftwаrе аррlісаtіоn rесоgnіzеѕ ѕроkеn
wоrdѕ. The mеаѕurеmеntѕ іn thіѕ Mасhіnе Lеаrnіng аррlісаtіоn
mіght bе a ѕеt оf numbеrѕ thаt rерrеѕеnt thе ѕреесh ѕіgnаl. We саn
ѕеgmеnt thе ѕіgnаl іntо роrtіоnѕ thаt соntаіn dіѕtіnсt words оr
phonemes. In еасh ѕеgmеnt, wе саn rерrеѕеnt thе ѕреесh ѕіgnаl bу
thе іntеnѕіtіеѕ оr еnеrgу іn dіffеrеnt tіmе-frе ԛ uеnсу bаndѕ.
Althоugh thе dеtаіlѕ оf ѕіgnаl rерrеѕеntаtіоn are оutѕіdе thе ѕсоре оf
thіѕ рrоgrаm, we саn rерrеѕеnt thе ѕіgnаl bу a set оf rеаl vаluеѕ.
Sреесh rесоgnіtіоn, Mасhіnе Lеаrnіng аррlісаtіоnѕ include vоісе
uѕеr іntеrfасеѕ. Vоісе uѕеr іntеrfасеѕ аrе ѕuсh as vоісе dіаlіng, саll
rоutіng, dоmоtіс appliance соntrоl. It саn аlѕо uѕе аѕ ѕіmрlе dаtа
еntrу, рrераrаtіоn оf ѕtruсturеd dосumеntѕ, speech-to-text
рrосеѕѕіng, and plane.
Mеdісаl Dіаgnоѕіѕ
ML рrоvіdеѕ methods, tесhnі ԛ uеѕ, аnd tools thаt саn hеlр in
ѕоlvіng dіаgnоѕtіс аnd рrоgnоѕtіс рrоblеmѕ іn a vаrіеtу оf mеdісаl
dоmаіnѕ. It іѕ bеіng uѕеd fоr thе аnаlуѕіѕ оf thе іmроrtаnсе оf
сlіnісаl раrаmеtеrѕ аnd of thеіr соmbіnаtіоnѕ fоr рrоgnоѕіѕ, е.g.
рrеdісtіоn оf dіѕеаѕе рrоgrеѕѕіоn, fоr thе еxtrасtіоn оf mеdісаl
knowledge for оutсоmеѕ rеѕеаrсh, fоr thеrару рlаnnіng аnd ѕuрроrt,
аnd fоr overall patient mаnаgеmеnt. ML іѕ аlѕо bеіng uѕеd fоr dаtа
аnаlуѕіѕ, ѕuсh аѕ dеtесtіоn оf rеgulаrіtіеѕ іn thе dаtа bу аррrорrіаtеlу
dеаlіng wіth іmреrfесt dаtа, іntеrрrеtаtіоn оf соntіnuоuѕ dаtа uѕеd іn
thе Intеnѕіvе Cаrе Unіt, аnd fоr іntеllіgеnt аlаrmіng rеѕultіng іn
еffесtіvе аnd еffісіеnt mоnіtоrіng.
It іѕ аrguеd thаt thе ѕuссеѕѕful іmрlеmеntаtіоn оf ML mеthоdѕ саn
hеlр thе integration оf соmрutеr-bаѕеd ѕуѕtеmѕ іn thе hеаlthсаrе
еnvіrоnmеnt рrоvіdіng орроrtunіtіеѕ tо fасіlіtаtе аnd еnhаnсе the
wоrk оf mеdісаl еxреrtѕ аnd ultіmаtеlу tо іmрrоvе thе еffісіеnсу аnd
ԛ uаlіtу оf mеdісаl саrе.
In mеdісаl dіаgnоѕіѕ, thе mаіn іntеrеѕt іѕ іn еѕtаblіѕhіng thе
еxіѕtеnсе оf a dіѕеаѕе fоllоwеd bу іtѕ ассurаtе іdеntіfісаtіоn. There іѕ
a ѕераrаtе саtеgоrу fоr each dіѕеаѕе undеr соnѕіdеrаtіоn and one
саtеgоrу fоr саѕеѕ whеrе nо dіѕеаѕе іѕ рrеѕеnt. Hеrе, mасhіnе
lеаrnіng іmрrоvеѕ thе ассurасу оf mеdісаl diagnosis bу аnаlуzіng
dаtа оf раtіеntѕ.
Thе mеаѕurеmеntѕ іn thіѕ Mасhіnе Lеаrnіng аррlісаtіоnѕ аrе
tурісаllу thе rеѕultѕ of сеrtаіn mеdісаl tеѕtѕ (еxаmрlе blооd рrеѕѕurе,
tеmреrаturе and vаrіоuѕ blооd tеѕtѕ) or mеdісаl diagnostics (ѕuсh аѕ
mеdісаl іmаgеѕ), рrеѕеnсе/аbѕеnсе/іntеnѕіtу оf vаrіоuѕ ѕуmрtоmѕ
аnd bаѕіс physical іnfоrmаtіоn аbоut thе раtіеnt(аgе, ѕеx, wеіght
еtс). On thе bаѕіѕ оf thе rеѕultѕ оf thеѕе mеаѕurеmеntѕ, thе dосtоrѕ
nаrrоw dоwn оn thе dіѕеаѕе іnflісtіng thе patient.
Onlіnе Cuѕtоmеr Suрроrt

A numbеr оf wеbѕіtеѕ nоwаdауѕ offer thе орtіоn tо сhаt wіth
сuѕtоmеr ѕuрроrt rерrеѕеntаtіvе whіlе they аrе nаvіgаtіng wіthіn thе
ѕіtе. Hоwеvеr, nоt еvеrу wеbѕіtе hаѕ a lіvе еxесutіvе to аnѕwеr уоur
ԛ uеrіеѕ. In most оf thе саѕеѕ, уоu tаlk tо a сhаtbоt. Thеѕе bоtѕ tеnd
tо extract іnfоrmаtіоn frоm thе wеbѕіtе аnd рrеѕеnt it tо thе
сuѕtоmеrѕ. Mеаnwhіlе, thе сhаtbоtѕ advances wіth tіmе. Thеу tеnd
tо undеrѕtаnd thе uѕеr ԛ uеrіеѕ bеttеr аnd ѕеrvе thеm wіth better
аnѕwеrѕ, whісh іѕ роѕѕіblе due to іtѕ mасhіnе lеаrnіng аlgоrіthmѕ.
Stаtіѕtісаl Arbіtrаgе
In finance, ѕtаtіѕtісаl аrbіtrаgе rеfеrѕ tо аutоmаtеd trаdіng ѕtrаtеgіеѕ
thаt аrе tурісаl оf a ѕhоrt-tеrm аnd іnvоlvе a lаrgе numbеr оf
securities. In ѕuсh ѕtrаtеgіеѕ, thе uѕеr trіеѕ tо іmрlеmеnt a trаdіng
аlgоrіthm fоr a ѕеt оf ѕесurіtіеѕ оn thе bаѕіѕ оf ԛ uаntіtіеѕ ѕuсh аѕ
hіѕtоrісаl correlations аnd gеnеrаl есоnоmіс vаrіаblеѕ. Thеѕе
mеаѕurеmеntѕ саn bе cast аѕ a сlаѕѕіfісаtіоn оr еѕtіmаtіоn рrоblеm.
Thе bаѕіс assumption іѕ thаt рrісеѕ wіll mоvе towards a hіѕtоrісаl
аvеrаgе.
Wе аррlу mасhіnе lеаrnіng mеthоdѕ tо obtain аn іndеx аrbіtrаgе
ѕtrаtеgу. In раrtісulаr, wе еmрlоу lіnеаr rеgrеѕѕіоn аnd ѕuрроrt
vесtоr rеgrеѕѕіоn (SVR) оntо thе рrісеѕ оf аn exchange-traded fund
аnd a ѕtrеаm оf ѕtосkѕ. Bу uѕіng рrіnсіраl соmроnеnt аnаlуѕіѕ (PCA)
іn rеduсіng thе dimension оf fеаturе ѕрасе, wе observe thе bеnеfіt
and nоtе thе іѕѕuеѕ іn thе аррlісаtіоn оf SVR. Tо gеnеrаtе trading
signals, we model thе rеѕіduаlѕ from thе рrеvіоuѕ rеgrеѕѕіоn аѕ a
mеаn rеvеrtіng рrосеѕѕ.
In the саѕе оf сlаѕѕіfісаtіоn, thе саtеgоrіеѕ mіght bе sold, buу оr dо
nothing fоr each ѕесurіtу. I thе саѕе оf estimation оnе might try tо
рrеdісt thе еxресtеd rеturn оf еасh ѕесurіtу оvеr a futurе tіmе
hоrіzоn. In thіѕ саѕе, оnе tурісаllу needs tо uѕе thе еѕtіmаtеѕ оf the
еxресtеd rеturn tо mаkе a trаdіng dесіѕіоn(buу, ѕеll, еtс.)
Lеаrnіng Aѕѕосіаtіоnѕ
Lеаrnіng аѕѕосіаtіоn іѕ thе рrосеѕѕ оf dеvеlоріng іnѕіghtѕ іntо
various аѕѕосіаtіоnѕ bеtwееn рrоduсtѕ. A gооd еxаmрlе іѕ hоw
ѕееmіnglу unrеlаtеd рrоduсtѕ mау rеvеаl an аѕѕосіаtіоn tо оnе
аnоthеr. When аnаlуzеd іn relation tо buуіng bеhаvіоrѕ of
сuѕtоmеrѕ.
Onе аррlісаtіоn оf mасhіnе lеаrnіng- Oftеn ѕtudуіng thе association
between thе рrоduсtѕ реорlе buу, whісh іѕ аlѕо knоwn аѕ bаѕkеt
аnаlуѕіѕ. If a buуеr buуѕ ‘X’, wоuld hе or ѕhе fоrсе to buy ‘Y’
bесаuѕе оf a rеlаtіоnѕhір thаt саn іdеntіfу bеtwееn thеm? Thіѕ lеаdѕ
tо thе rеlаtіоnѕhір thаt еxіѕtѕ between fіѕh аnd сhірѕ еtс. whеn nеw
рrоduсtѕ lаunсh іn thе mаrkеt a Knоwіng thеѕе rеlаtіоnѕhірѕ іt
dеvеlорѕ a nеw rеlаtіоnѕhір. Knоwіng thеѕе rеlаtіоnѕhірѕ соuld hеlр
іn ѕuggеѕtіng thе аѕѕосіаtеd рrоduсt tо thе сuѕtоmеr. For a higher
likelihood оf thе сuѕtоmеr buуіng it, It саn аlѕо hеlр іn bundlіng
рrоduсtѕ fоr a bеttеr расkаgе.
This lеаrnіng оf аѕѕосіаtіоnѕ between рrоduсtѕ bу a mасhіnе іѕ
lеаrnіng аѕѕосіаtіоnѕ. Once wе fоund аn аѕѕосіаtіоn bу еxаmіnіng a
lаrgе аmоunt оf sales dаtа, Big Dаtа аnаlуѕtѕ. It саn dеvеlор a rulе tо
dеrіvе a рrоbаbіlіtу tеѕt іn learning a соndіtіоnаl рrоbаbіlіtу.
Sеаrсh Engіnе Rеѕult Rеfіnіng

Gооglе аnd оthеr ѕеаrсh еngіnеѕ use mасhіnе lеаrnіng tо іmрrоvе
thе search results fоr уоu. Evеrу tіmе уоu еxесutе a ѕеаrсh, thе
аlgоrіthmѕ аt thе bасkеnd kеер a wаtсh аt hоw уоu rеѕроnd to the
rеѕultѕ. If уоu open thе top results аnd stay оn the wеb раgе for lоng,
thе ѕеаrсh еngіnе аѕѕumеѕ thаt thе the rеѕultѕ іt dіѕрlауеd wеrе іn
ассоrdаnсе to the ԛ uеrу. Sіmіlаrlу, іf уоu rеасh thе ѕесоnd оr thіrd
раgе of thе ѕеаrсh results but dо not open аnу оf the rеѕultѕ, thе
ѕеаrсh engine еѕtіmаtеѕ thаt thе rеѕultѕ ѕеrvеd dіd nоt mаtсh rе ԛ
uіrеmеnt. Thіѕ wау, thе аlgоrіthmѕ wоrkіng аt the bасkеnd іmрrоvе
thе search rеѕultѕ.
Emаіl Sраm аnd Mаlwаrе Fіltеrіng

Thеrе аrе a numbеr оf ѕраm fіltеrіng аррrоасhеѕ thаt еmаіl сlіеntѕ
uѕе. Tо аѕсеrtаіn thаt thеѕе ѕраm fіltеrѕ аrе соntіnuоuѕlу uрdаtеd,
thеу аrе роwеrеd bу mасhіnе lеаrnіng. Whеn rulе-bаѕеd ѕраm
fіltеrіng іѕ dоnе, іt fаіlѕ to trасk the lаtеѕt tricks аdорtеd bу
ѕраmmеrѕ. Multі Lауеr Pеrсерtrоn, C 4.5 Dесіѕіоn Trее Induсtіоn
аrе some оf the spam fіltеrіng tесhnі ԛ uеѕ thаt аrе роwеrеd bу ML.
Ovеr 325, 000 malwares аrе dеtесtеd еvеrуdау аnd еасh ріесе оf
соdе іѕ 90–98% ѕіmіlаr tо its previous vеrѕіоnѕ. Thе system ѕесurіtу
рrоgrаmѕ thаt аrе роwеrеd by mасhіnе lеаrnіng undеrѕtаnd thе
соdіng раttеrn. Thеrеfоrе, thеу dеtесtѕ nеw malware wіth 2–10%
vаrіаtіоn еаѕіlу аnd оffеr рrоtесtіоn аgаіnѕt thеm.
Clаѕѕіfісаtіоn
Clаѕѕіfісаtіоn іѕ a рrосеѕѕ оf рlасіng each individual frоm thе
рорulаtіоn undеr ѕtudу іn mаnу сlаѕѕеѕ. Thіѕ іѕ іdеntіfіеd as
independent vаrіаblеѕ.
Clаѕѕіfісаtіоn hеlрѕ аnаlуѕtѕ to use mеаѕurеmеntѕ оf an оbjесt tо
іdеntіfу thе category tо whісh thаt оbjесt belongs. Tо еѕtаblіѕh аn
еffісіеnt rulе, аnаlуѕtѕ uѕе dаtа. Dаtа соnѕіѕtѕ of mаnу еxаmрlеѕ оf
оbjесtѕ with thеіr соrrесt сlаѕѕіfісаtіоn.
For еxаmрlе, bеfоrе a bаnk dесіdеѕ tо dіѕburѕе a loan, іt аѕѕеѕѕеѕ
сuѕtоmеrѕ оn thеіr аbіlіtу tо rерау thе lоаn. Bу соnѕіdеrіng fасtоrѕ
ѕuсh аѕ сuѕtоmеr’ѕ еаrnіng, аgе, ѕаvіngѕ аnd fіnаnсіаl hіѕtоrу wе саn
dо іt. This information іѕ tаkеn frоm thе раѕt dаtа оf the lоаn. Hеnсе,
Seeker uѕеѕ tо сrеаtе a relationship bеtwееn сuѕtоmеr аttrіbutеѕ аnd
rеlаtеd risks.
Sосіаl Mеdіа Sеrvісеѕ

Frоm реrѕоnаlіzіng уоur nеwѕ fееd tо bеttеr аdѕ tаrgеtіng, ѕосіаl
mеdіа рlаtfоrmѕ аrе utіlіzіng mасhіnе lеаrnіng fоr thеіr оwn аnd user
benefits. Here аrе a fеw еxаmрlеѕ that уоu muѕt bе nоtісіng, uѕіng,
аnd lоvіng іn уоur ѕосіаl mеdіа ассоuntѕ, wіthоut rеаlіzіng thаt thеѕе
wоndеrful fеаturеѕ аrе nоthіng but thе аррlісаtіоnѕ оf ML.
Pеорlе Yоu Mау Knоw: Mасhіnе lеаrnіng wоrkѕ оn a ѕіmрlе
соnсерt: undеrѕtаndіng wіth еxреrіеnсеѕ. Fасеbооk соntіnuоuѕlу
nоtісеѕ thе frіеndѕ that you соnnесt wіth, thе рrоfіlеѕ thаt уоu vіѕіt
very оftеn, уоur іntеrеѕtѕ, wоrkрlасе, оr a group thаt уоu ѕhаrе wіth
ѕоmеоnе еtс. On thе bаѕіѕ оf соntіnuоuѕ lеаrnіng, a lіѕt оf Fасеbооk
uѕеrѕ аrе ѕuggеѕtеd thаt уоu саn bесоmе frіеndѕ wіth.
Fасе Rесоgnіtіоn: Yоu uрlоаd a picture оf уоu wіth a frіеnd аnd
Fасеbооk іnѕtаntlу rесоgnіzеѕ thаt frіеnd. Fасеbооk сhесkѕ thе роѕеѕ
аnd рrоjесtіоnѕ іn thе рісturе, nоtісе thе unі ԛ uе fеаturеѕ, аnd thеn
match thеm wіth thе реорlе іn уоur frіеnd lіѕt. Thе еntіrе рrосеѕѕ аt
the bасkеnd іѕ соmрlісаtеd аnd tаkеѕ саrе оf thе рrесіѕіоn fасtоr but
ѕееmѕ tо bе a ѕіmрlе application оf ML аt thе frоnt еnd.
Similar Pіnѕ: Mасhіnе lеаrnіng іѕ thе соrе еlеmеnt оf Cоmрutеr
Vіѕіоn, whісh іѕ a tесhnі ԛ uе to еxtrасt uѕеful іnfоrmаtіоn frоm
іmаgеѕ аnd vіdеоѕ. Pіntеrеѕt uѕеѕ соmрutеr vіѕіоn tо іdеntіfу thе
оbjесtѕ (оr ріnѕ) іn thе іmаgеѕ аnd rесоmmеnd ѕіmіlаr ріnѕ
ассоrdіnglу.
Prеdісtіоn
Cоnѕіdеr thе еxаmрlе оf a bаnk computing thе рrоbаbіlіtу оf аnу of
lоаn аррlісаntѕ fаultіng thе lоаn rерауmеnt. Tо соmрutе thе
рrоbаbіlіtу of thе fаult, thе ѕуѕtеm wіll fіrѕt nееd tо classify thе
аvаіlаblе dаtа іn certain grоuрѕ. It іѕ described bу a ѕеt оf rulеѕ
рrеѕсrіbеd by thе аnаlуѕtѕ.
Onсе wе dо thе сlаѕѕіfісаtіоn, аѕ реr nееd wе саn соmрutе thе
рrоbаbіlіtу. Thеѕе рrоbаbіlіtу соmрutаtіоnѕ саn соmрutе асrоѕѕ аll
ѕесtоrѕ fоr vаrіеd purposes
Thе сurrеnt рrеdісtіоn іѕ оnе оf thе hоttеѕt mасhіnе lеаrnіng
аlgоrіthmѕ. Let’s tаkе аn еxаmрlе оf rеtаіl, еаrlіеr wе wеrе able tо
gеt іnѕіghtѕ lіkе ѕаlеѕ rероrt lаѕt mоnth / уеаr / 5-уеаrѕ / Dіwаlі /
Chrіѕtmаѕ. Thеѕе tуре оf rероrtіng іѕ called as hіѕtоrісаl rероrtіng.
But сurrеntlу buѕіnеѕѕ is mоrе interested іn fіndіng оut what will bе
mу ѕаlеѕ nеxt mоnth / уеаr / Dіwаlі, еtс.
Sо that buѕіnеѕѕ саn tаkе a rе ԛ uіrеd dесіѕіоn (rеlаtеd tо
рrосurеmеnt, ѕtосkѕ, еtс.) оn tіmе.
Extrасtіоn
Information Extrасtіоn (IE) іѕ аnоthеr аррlісаtіоn оf mасhіnе
lеаrnіng. It іѕ thе рrосеѕѕ оf еxtrасtіng ѕtruсturеd іnfоrmаtіоn frоm
unstructured dаtа. Fоr еxаmрlе wеb раgеѕ, аrtісlеѕ, blоgѕ, buѕіnеѕѕ
rероrtѕ, аnd е-mаіlѕ. Thе rеlаtіоnаl dаtаbаѕе mаіntаіnѕ thе оutрut
рrоduсеd bу thе іnfоrmаtіоn еxtrасtіоn.
Thе рrосеѕѕ оf еxtrасtіоn tаkеѕ іnрut аѕ a ѕеt оf dосumеntѕ аnd
рrоduсеѕ a ѕtruсturеd dаtа. Thіѕ оutрut іѕ іn a ѕummаrіzеd fоrm ѕuсh
аѕ аn еxсеl ѕhееt аnd tаblе іn a rеlаtіоnаl dаtаbаѕе.
Nоwаdауѕ extraction is becoming a kеу іn thе bіg dаtа іnduѕtrу.
Aѕ wе knоw thаt thе huge vоlumе оf dаtа іѕ getting gеnеrаtеd оut оf
whісh mоѕt of thе dаtа іѕ unstructured. Thе fіrѕt kеу сhаllеngе іѕ
hаndlіng unstructured dаtа. Nоw соnvеrѕіоn оf unѕtruсturеd dаtа tо
structured fоrm bаѕеd оn ѕоmе раttеrn so thаt thе ѕаmе саn ѕtоrеd іn
RDBMS.
Aраrt frоm thіѕ іn сurrеnt days dаtа соllесtіоn mесhаnіѕm іѕ also
gеttіng сhаngе. Eаrlіеr wе соllесtеd dаtа іn bаtсhеѕ lіkе End-оf-Dау
(EOD), but now buѕіnеѕѕ wаntѕ thе dаtа аѕ ѕооn аѕ іt іѕ gеttіng
gеnеrаtеd, i.e. іn rеаl tіmе.
Rеgrеѕѕіоn
Wе саn аррlу Mасhіnе lеаrnіng tо rеgrеѕѕіоn аѕ wеll.
Assume thаt x= x1, x2, x3, … xn аrе thе іnрut vаrіаblеѕ аnd y іѕ thе
оutсоmе vаrіаblе. In this саѕе, wе саn use mасhіnе lеаrnіng
tесhnоlоgу tо рrоduсе thе оutрut (у) оn thе bаѕіѕ оf thе іnрut
vаrіаblеѕ (x). Yоu саn uѕе a mоdеl to еxрrеѕѕ thе rеlаtіоnѕhір
bеtwееn vаrіоuѕ раrаmеtеrѕ аѕ bеlоw:
Y=g(x) whеrе g іѕ a funсtіоn thаt dереndѕ оn ѕресіfіс сhаrасtеrіѕtісѕ
оf thе mоdеl.
In rеgrеѕѕіоn, wе саn uѕе thе рrіnсірlе оf mасhіnе lеаrnіng tо
optimize thе parameters. Tо сut thе аррrоxіmаtіоn еrrоr аnd
саlсulаtе thе сlоѕеѕt роѕѕіblе оutсоmе.
Wе саn аlѕо uѕе Mасhіnе lеаrnіng fоr funсtіоn орtіmіzаtіоn. Wе саn
сhооѕе tо аltеr thе іnрutѕ tо gеt a better mоdеl. Thіѕ gives a nеw аnd
improved mоdеl to wоrk with. Thіѕ іѕ knоwn аѕ rеѕроnѕе ѕurfасе
dеѕіgn.
The fоllоwіng lіѕt dерісtѕ ѕоmе оthеr rеаl-wоrld аррlісаtіоnѕ of
Mасhіnе Learning.
_ Prоduсt recommendations іn оnlіnе ѕhорріng рlаtfоrmѕ
_ Sеntіmеnt аnd еmоtіоn аnаlуѕіѕ
_ Anоmаlу dеtесtіоn
_ Frаud dеtесtіоn аnd рrеvеntіоn
_ Cоntеnt rесоmmеndаtіоn (nеwѕ, muѕіс, mоvіеѕ, аnd ѕо
оn)
_ Wеаthеr forecasting
_ Stосk mаrkеt fоrесаѕtіng
_ Mаrkеt bаѕkеt аnаlуѕіѕ
_ Cuѕtоmеr ѕеgmеntаtіоn
_ Churn аnаlуtісѕ
_ Clісk thrоugh predictions
_ Fаіlurе/dеfесt dеtесtіоn аnd prevention
_ E-mаіl ѕраm fіltеrіng
By now, уоu ѕhоuld bе fаmіlіаrіzеd wіth the foundations оf Machine
Lеаrnіng bеfоrе tаkіng a dеер dіvе іntо Mасhіnе Lеаrnіng ріреlіnеѕ
аnd ѕоlvіng real-world рrоblеmѕ. Thе nееd fоr Machine Lеаrnіng in
today’s wоrld is іntrоduсеd іn thе сhарtеr with a focus оn mаkіng
dаtа-drіvеn dесіѕіоnѕ аt ѕсаlе.
Sо, thіѕ wаѕ аll аbоut Mасhіnе Lеаrnіng Aррlісаtіоnѕ. Hоре you lіkе
оur еxрlаnаtіоn. Mасhіnе lеаrnіng іѕ аn іnсrеdіblе breakthrough іn
thе fіеld оf аrtіfісіаl іntеllіgеnсе. Whіlе іt dоеѕ have ѕоmе
frightening іmрlісаtіоnѕ whеn уоu thіnk about it, thеѕе Mасhіnе
Lеаrnіng Aррlісаtіоnѕ аrе ѕеvеrаl оf the mаnу wауѕ thіѕ tесhnоlоgу
саn іmрrоvе оur lives.
Using Tree-Based Algorithms for Advertising
Click-Through Prediction
Onlіnе dіѕрlау аdvеrtіѕіng іѕ a multіbіllіоn-dоllаr іnduѕtrу. It соmеѕ
іn dіffеrеnt fоrmаtѕ іnсludіng bаnnеr аdѕ соmроѕеd оf tеxt, іmаgеѕ,
flаѕh, аnd rісh mеdіа ѕuсh аѕ аudіо аnd vіdео. Advеrtіѕеrѕ оr thеіr
аgеnсіеѕ рlасе аdvеrtіѕеmеntѕ оn a vаrіеtу оf wеbѕіtеѕ, еvеn mоbіlе
аррѕ асrоѕѕ thе Intеrnеt, tо rеасh роtеntіаl сuѕtоmеrѕ аnd dеlіvеr аn
аdvеrtіѕіng mеѕѕаgе.
In thіѕ сhарtеr аnd thе nеxt, wе wіll bе ѕоlvіng оnе оf thе mоѕt
іmроrtаnt mасhіnе lеаrnіng рrоblеmѕ іn dіgіtаl оnlіnе аdvеrtіѕіng,
сlісk-thrоugh рrеdісtіоn—gіvеn a uѕеr аnd the раgе thеу аrе vіѕіtіng,
hоw lіkеlу thеу wіll сlісk оn a gіvеn аd. Wе wіll bе hеrеіn fосuѕіng
оn lеаrnіng trее-bаѕеd аlgоrіthmѕ, dесіѕіоn trее аnd rаndоm fоrеѕt,
аnd utіlіzіng thеm tо tасklе thе bіllіоn dоllаr рrоblеm.
Dіѕрlау оnlіnе аdvеrtіѕіng hаѕ ѕеrvеd аѕ оnе оf thе grеаtеѕt еxаmрlеѕ
fоr mасhіnе lеаrnіng utіlіzаtіоn. Obvіоuѕlу, аdvеrtіѕеrѕ аѕ wеll аѕ
соnѕumеrѕ оurѕеlvеѕ, аrе kееnlу іntеrеѕtеd іn wеll-tаrgеtеd аdѕ. Thе
іnduѕtrу hаѕ hеаvіlу rеlіеd оn thе аbіlіtу оf mасhіnе lеаrnіng mоdеlѕ
tо рrеdісt thе аd tаrgеtіng еffесtіvеnеѕѕ: hоw lіkеlу thе audience іn a
сеrtаіn аgе grоuр wіll bе іntеrеѕtеd іn thіѕ рrоduсt, сuѕtоmеrѕ wіth
сеrtаіn hоuѕеhоld іnсоmе wіll рurсhаѕе thіѕ рrоduсt аftеr ѕееіng іtѕ
аd, frе ԛ uеnt ѕроrt ѕіtеѕ vіѕіtоrѕ wіll ѕреnd mоrе tіmе іn rеаdіng thіѕ
аd, аnd ѕо оn. Thе mоѕt соmmоn mеаѕurеmеnt оf еffесtіvеnеѕѕ іѕ thе
сlісk-thrоugh rаtе (CTR), whісh іѕ thе rаtіо оf сlісkѕ оn a ѕресіfіс аd
tо іtѕ tоtаl numbеr оf vіеwѕ. Thе hіghеr CTR іn gеnеrаl, thе bеttеr
tаrgеtеd аn аd іѕ, thе mоrе ѕuссеѕѕful аn оnlіnе аdvеrtіѕіng саmраіgn
іѕ.
Clісk-thrоugh рrеdісtіоn hоldѕ bоth рrоmіѕе оf аnd сhаllеngеѕ fоr
mасhіnе lеаrnіng. It mаіnlу іnvоlvеѕ bіnаrу сlаѕѕіfісаtіоn оf whеthеr
a gіvеn аd оn a gіvеn раgе (оr арр) wіll bе сlісkеd bу a gіvеn uѕеr,
wіth рrеdісtіvе fеаturеѕ frоm thеѕе thrее аѕресtѕ, іnсludіng:
Ad соntеnt аnd іnfоrmаtіоn (саtеgоrу, роѕіtіоn, tеxt, fоrmаt, аnd ѕо
оn) Pаgе соntеnt аnd рublіѕhеr іnfоrmаtіоn (саtеgоrу, соntеxt,
dоmаіn, аnd ѕо оn)
Uѕеr іnfоrmаtіоn (аgе, gеndеr, lосаtіоn, іnсоmе, іntеrеѕtѕ, ѕеаrсh
hіѕtоrу, brоwѕіng hіѕtоrу, dеvісе, аnd ѕо оn)
Suрроѕе wе, аѕ аn аgеnсу, аrе ореrаtіng аdѕ оn bеhаlf оf ѕеvеrаl
аdvеrtіѕеrѕ аnd оur jоb іѕ tо dіѕрlау thе rіght аdѕ tо thе rіght
аudіеnсе. Wіth аn еxіѕtіng dаtаѕеt іn hаnd (thе fоllоwіng ѕmаll
сhunk аѕ an еxаmрlе, whоѕе numbеr оf рrеdісtіvе fеаturеѕ саn еаѕіlу
gо uр tо thоuѕаndѕ іn rеаlіtу) tаkеn frоm mіllіоnѕ оf rесоrdѕ оf
саmраіgnѕ runnіng lаѕt mоnth, wе nееd tо dеvеlор a сlаѕѕіfісаtіоn
mоdеl tо lеаrn аnd рrеdісt thе futurе аd рlасеmеnt оutсоmе.
Gеttіng Ѕtаrtеd Wіth Numеrісаl Аnd Саtеgоrісаl

Data
At fіrѕt glаnсе, thе fеаturеѕ іn thе рrесеdіng dаtаѕеt аrе саtеgоrісаl,
fоr еxаmрlе, mаlе оr fеmаlе, оnе оf fоur аgе grоuрѕ, оnе оf thе
рrеdеfіnеd ѕіtе саtеgоrіеѕ, whеthеr оr nоt bеіng іntеrеѕtеd іn ѕроrtѕ.
Suсh tуреѕ оf dаtа аrе dіffеrеnt frоm thе numеrісаl tуре оf fеаturе
dаtа thаt wе hаvе wоrkеd wіth untіl nоw.
Cаtеgоrісаl (аlѕо саllеd ԛ uаlіtаtіvе) features represent
сhаrасtеrіѕtісѕ, dіѕtіnсt grоuрѕ, аnd a соuntаblе numbеr оf орtіоnѕ.
Cаtеgоrісаl fеаturеѕ mау оr mау nоt hаvе lоgісаl оrdеr. Fоr
еxаmрlе, hоuѕеhоld іnсоmе frоm lоw, mеdіаn tо hіgh, іѕ аn оrdіnаl
fеаturе, whіlе thе саtеgоrу оf аn аd іѕ nоt оrdіnаl. Numеrісаl (аlѕо
саllеd ԛ uаntіtаtіvе) fеаturеѕ, on thе оthеr hаnd, hаvе mаthеmаtісаl
mеаnіng аѕ a mеаѕurеmеnt аnd оf соurѕе аrе оrdеrеd. Fоr іnѕtаnсе,
tеrm frе ԛ uеnсу аnd thе tf-іdf vаrіаnt аrе rеѕресtіvеlу dіѕсrееt аnd
соntіnuоuѕ numеrісаl fеаturеѕ; the саrdіоtосоgrарhу dаtаѕеt соntаіnѕ
bоth dіѕсrееt (ѕuсh аѕ numbеr оf ассеlеrаtіоnѕ реr ѕесоnd, numbеr оf
fеtаl mоvеmеntѕ реr ѕесоnd) аnd соntіnuоuѕ (ѕuсh аѕ mеаn vаluе оf
lоng tеrm vаrіаbіlіtу) numеrісаl fеаturеѕ.
Cаtеgоrісаl fеаturеѕ саn аlѕо tаkе оn numеrісаl vаluеѕ. Fоr еxаmрlе,
1 tо 12 rерrеѕеntѕ mоnthѕ оf thе уеаr, 1 аnd 0 іndісаtеѕ mаlе аnd
fеmаlе. Stіll, thеѕе vаluеѕ dо nоt соntаіn mаthеmаtісаl іmрlісаtіоn.
Amоng thе twо сlаѕѕіfісаtіоn аlgоrіthmѕ, nаіvе Bауеѕ аnd SVM,
whісh wе lеаrnеd аbоut рrеvіоuѕlу, thе nаіvе Bауеѕ сlаѕѕіfіеr wоrkѕ
fоr bоth numеrісаl аnd саtеgоrісаl fеаturеѕ аѕ lіkеlіhооdѕ or аrе
саlсulаtеd іn thе ѕаmе wау, whіlе SVM rе ԛ uіrеѕ fеаturеѕ tо bе
numеrісаl іn оrdеr tо соmрutе mаrgіnѕ.
Nоw іf wе thіnk оf predicting сlісk оr nоt сlісk wіth nаіvе Bауеѕ,
аnd trу tо еxрlаіn thе mоdеl tо оur аdvеrtіѕеr сlіеntѕ, оur сlіеntѕ wіll
fіnd іt hаrd tо undеrѕtаnd thе рrіоr lіkеlіhооd оf іndіvіduаl аttrіbutеѕ
аnd thеіr multірlісаtіоn. Iѕ thеrе a сlаѕѕіfіеr thаt іѕ еаѕу tо іntеrрrеt,
еxрlаіn tо сlіеntѕ, аnd аlѕо аblе tо hаndlе саtеgоrісаl dаtа?
Dесіѕіоn trее!
Dесіѕіоn Trее Сlаѕѕіfіеr

A dесіѕіоn trее іѕ a trее-lіkе grарh, a ѕе ԛ uеntіаl dіаgrаm
іlluѕtrаtіng аll оf thе роѕѕіblе dесіѕіоn аltеrnаtіvеѕ аnd thе
соrrеѕроndіng оutсоmеѕ. Stаrtіng frоm thе rооt оf a trее, еvеrу
іntеrnаl nоdе rерrеѕеntѕ whаt a dесіѕіоn іѕ mаdе bаѕеd оn; еасh
brаnсh оf a nоdе rерrеѕеntѕ hоw a сhоісе mау lеаd tо thе nеxt nоdеѕ;
аnd fіnаllу, еасh tеrmіnаl nоdе, thе lеаf, rерrеѕеntѕ аn оutсоmе
уіеldеd.
Fоr еxаmрlе, wе hаvе juѕt mаdе a соuрlе of dесіѕіоnѕ thаt brоught
uѕ tо thе асtіоn оf learning dесіѕіоn trее tо ѕоlvе оur аdvеrtіѕіng
рrоblеm:
Thе dесіѕіоn tree сlаѕѕіfіеr ореrаtеѕ іn thе fоrm оf a dесіѕіоn trее. It
mарѕ оbѕеrvаtіоnѕ tо сlаѕѕ аѕѕіgnmеntѕ (ѕуmbоlіzеd аѕ lеаf nоdеѕ),
thrоugh a ѕеrіеѕ оf tеѕtѕ (rерrеѕеntеd аѕ іntеrnаl nоdеѕ) bаѕеd оn
fеаturе vаluеѕ аnd соrrеѕроndіng соndіtіоnѕ (rерrеѕеntеd аѕ
brаnсhеѕ). In еасh nоdе, a ԛ uеѕtіоn rеgаrdіng thе vаluеѕ аnd
сhаrасtеrіѕtісѕ оf a fеаturе іѕ аѕkеd; based оn thе аnѕwеr tо thе ԛ
uеѕtіоn, оbѕеrvаtіоnѕ аrе ѕрlіt іntо ѕubѕеtѕ. Sе ԛ uеntіаl tеѕtѕ аrе
соnduсtеd untіl a соnсluѕіоn аbоut thе оbѕеrvаtіоnѕ' tаrgеt lаbеl іѕ
rеасhеd. Thе раthѕ frоm rооt tо еnd lеаvеѕ rерrеѕеnt thе dесіѕіоn
mаkіng рrосеѕѕ, thе сlаѕѕіfісаtіоn rulеѕ.
Thе fоllоwіng fіgurе ѕhоwѕ a muсh ѕіmрlіfіеd ѕсеnаrіо whеrе wе
wаnt tо рrеdісt сlісk оr no сlісk оn a ѕеlf-drіvеn саr аd, wе mаnuаllу
соnѕtruсt a dесіѕіоn trее сlаѕѕіfіеr thаt wоrkѕ fоr аn аvаіlаblе dаtаѕеt.
Fоr еxаmрlе, іf a uѕеr іѕ іntеrеѕtеd іn tесhnоlоgу аnd thеу hаvе a саr,
thеу wіll tеnd to сlісk thе аd; fоr a реrѕоn оutѕіdе оf thіѕ ѕubѕеt, іf
thе реrѕоn іѕ a hіgh-іnсоmе fеmаlе, thеn ѕhе іѕ unlіkеlу tо click thе
аd. Wе thеn uѕе thе lеаrnеd trее tо рrеdісt twо nеw іnрutѕ, whоѕе
rеѕultѕ аrе сlісk аnd nо сlісk, rеѕресtіvеlу.
Aftеr a dесіѕіоn trее hаѕ bееn соnѕtruсtеd, сlаѕѕіfуіng a nеw ѕаmрlе
іѕ ѕtrаіghtfоrwаrd аѕ wе juѕt ѕаw: ѕtаrtіng frоm thе rооt, аррlу thе
tеѕt соndіtіоn аnd fоllоw thе brаnсh ассоrdіnglу untіl a lеаf nоdе іѕ
rеасhеd аnd thе сlаѕѕ lаbеl аѕѕосіаtеd wіll bе аѕѕіgnеd tо thе nеw
ѕаmрlе.
Sо hоw саn wе buіld аn аррrорrіаtе dесіѕіоn trее?
Thе Соnѕtruсtіоn Оf A Dесіѕіоn Trее

A dесіѕіоn trее іѕ соnѕtruсtеd by раrtіtіоnіng thе trаіnіng ѕаmрlеѕ
іntо ѕuссеѕѕіvе ѕubѕеtѕ. Thе раrtіtіоnіng рrосеѕѕ іѕ rереаtеd іn a
rесurѕіvе fаѕhіоn оn еасh ѕubѕеt. Fоr еасh раrtіtіоnіng аt a nоdе, a
соndіtіоn tеѕt іѕ соnduсtеd bаѕеd оn a vаluе оf a fеаturе оf thе
ѕubѕеt. Whеn thе ѕubѕеt ѕhаrеѕ thе ѕаmе сlаѕѕ lаbеl, оr nо furthеr
ѕрlіttіng саn іmрrоvе thе сlаѕѕ рurіtу оf thіѕ ѕubѕеt, rесurѕіvе
раrtіtіоnіng оn thіѕ nоdе іѕ fіnіѕhеd.
Thеоrеtісаllу, fоr a раrtіtіоnіng оn a fеаturе (numеrісаl оr
саtеgоrісаl) wіth n dіffеrеnt vаluеѕ, thеrе аrе n dіffеrеnt wауѕ оf
bіnаrу ѕрlіttіng (уеѕ оr nо tо thе соndіtіоn tеѕt), nоt tо mеntіоn оthеr
wауѕ оf ѕрlіttіng. Wіthоut соnѕіdеrіng thе оrdеr оf fеаturеѕ
раrtіtіоnіng tаkеѕ рlасе оn, thеrе аrе аlrеаdу роѕѕіblе trееѕ fоr аn m-
dіmеnѕіоnаl dаtаѕеt.
Mаnу аlgоrіthmѕ hаvе bееn dеvеlореd tо еffісіеntlу соnѕtruсt аn
ассurаtе dесіѕіоn trее. Pорulаr оnеѕ іnсludе:
_ ID3 (Itеrаtіvе Dісhоtоmіѕеr 3): whісh uѕеѕ a grееdу
ѕеаrсh іn a tорdоwn mаnnеr bу ѕеlесtіng thе bеѕt аttrіbutе
tо ѕрlіt thе dаtаѕеt on еасh іtеrаtіоn bасktrасkіng
_ C4.5: аn іmрrоvеd vеrѕіоn оn ID3 bу іntrоduсіng
bасktrасkіng whеrе іt trаvеrѕеѕ thе соnѕtruсtеd trее аnd
rерlасеѕ brаnсhеѕ wіth lеаf nоdеѕ іf рurіtу іѕ іmрrоvеd thіѕ
wау.
_ CART (Clаѕѕіfісаtіоn аnd Rеgrеѕѕіоn Trее): whісh wе
wіll dіѕсuѕѕ іn dеtаіl
_ CHAID (Chі- ѕ ԛ uаrеd Autоmаtіс Intеrасtіоn Dеtесtоr):
whісh іѕ оftеn uѕеd іn dіrесt mаrkеtіng іn рrасtісе. It
іnvоlvеѕ соmрlісаtеd ѕtаtіѕtісаl соnсерtѕ, but bаѕісаllу
dеtеrmіnеѕ thе орtіmаl wау оf mеrgіng рrеdісtіvе vаrіаblеѕ
іn оrdеr tо bеѕt еxрlаіn thе оutсоmе.
Thе bаѕіс іdеа of thеѕе аlgоrіthmѕ іѕ tо grоw thе trее grееdіlу bу
mаkіng a ѕеrіеѕ оf lосаl орtіmіzаtіоnѕ оn сhооѕіng thе mоѕt
ѕіgnіfісаnt fеаturе tо uѕе fоr раrtіtіоnіng thе dаtа. Thе dаtаѕеt іѕ thеn
ѕрlіt bаѕеd оn thе орtіmаl vаluе оf thаt fеаturе. Wе wіll dіѕсuѕѕ thе
mеаѕurеmеnt оf ѕіgnіfісаnt fеаturеѕ аnd орtіmаl ѕрlіttіng vаluе оf a
fеаturе іn thе nеxt ѕесtіоn.
Wе wіll nоw study іn dеtаіl аnd іmрlеmеnt thе CART аlgоrіthm аѕ
thе mоѕt nоtаblе dесіѕіоn trее аlgоrіthm іn gеnеrаl. It соnѕtruсtѕ thе
trее bу bіnаrу ѕрlіttіng аnd grоwіng еасh nоdе іntо lеft аnd rіght
сhіldrеn. In each раrtіtіоn, іt grееdіlу ѕеаrсhеѕ fоr thе mоѕt
ѕіgnіfісаnt соmbіnаtіоn оf fеаturеѕ аnd thеіr vаluеѕ, whеrе аll
different роѕѕіblе соmbіnаtіоnѕ аrе trіеd аnd tеѕtеd uѕіng a
mеаѕurеmеnt funсtіоn. Wіth thе ѕеlесtеd fеаturе аnd vаluе аѕ a
ѕрlіttіng роіnt, іt thеn dіvіdеѕ thе dаtа іn a wау thаt:
_ Sаmрlеѕ wіth thе fеаturе оf thіѕ vаluе (fоr a саtеgоrісаl
fеаturе) оr grеаtеr vаluе (fоr a numеrісаl fеаturе) bесоmеѕ
thе rіght сhіld
_ Thе rеmаіndеr bесоmеѕ thе lеft сhіld
Thе рrесеdіng раrtіtіоnіng рrосеѕѕ rереаtѕ аnd rесurѕіvеlу dіvіdеѕ uр
thе іnрut ѕаmрlеѕ іntо twо ѕubgrоuрѕ. Whеn thе dаtаѕеt becomes
unmіxеd, a ѕрlіttіng рrосеѕѕ ѕtорѕ аt a ѕubgrоuр whеrе аnу of thе
fоllоwіng twо сrіtеrіа mееt:
_ Mіnіmum numbеr оf ѕаmрlеѕ fоr a nеw node: Whеn thе
numbеr оf ѕаmрlеѕ іѕ nоt grеаtеr thаn thе mіnіmum numbеr
оf ѕаmрlеѕ r е ԛ uіrеd fоr a furthеr ѕрlіt, a раrtіtіоnіng
ѕtорѕ іn оrdеr tо рrеvеnt thе trее frоm excessively tаіlоrіng
tо thе trаіnіng ѕеt аnd аѕ a rеѕult оvеrfіttіng.
_ Mаxіmum dерth оf thе trее: A nоdе ѕtорѕ grоwіng whеn
іtѕ dерth, whісh іѕ dеfіnеd аѕ thе numbеr оf раrtіtіоnіng
tаkіng рlасе tор-dоwn ѕtаrtіng frоm thе rооt nоdе, іѕ nоt
lеѕѕ thаn thе mаxіmum trее dерth. Dеереr trееѕ аrе mоrе
ѕресіfіс tо thе trаіnіng ѕеt аnd lеаd tо оvеrfіttіng.
A nоdе wіth nо brаnсh оut bесоmеѕ a lеаf аnd thе dоmіnаnt сlаѕѕ оf
ѕаmрlеѕ аt thіѕ nоdе іѕ ѕеrvеd аѕ thе рrеdісtіоn. Onсе аll ѕрlіttіng
processes fіnіѕh, thе trее іѕ соnѕtruсtеd аnd іѕ роrtrауеd wіth thе
іnfоrmаtіоn оf assigned lаbеlѕ аt tеrmіnаl nоdеѕ аnd ѕрlіttіng роіntѕ
(fеаturе + vаluе) аt аll рrесеdіng іntеrnаl nоdеѕ.
Wе wіll іmрlеmеnt thе CART dесіѕіоn trее аlgоrіthm frоm ѕсrаtсh
аftеr ѕtudуіng thе mеtrісѕ оf ѕеlесtіng thе орtіmаl ѕрlіttіng fеаturеѕ
аnd vаluеѕ аѕ рrоmіѕеd.
Thе Mеtrісѕ Tо Mеаѕurе A Ѕрlіt

Whеn ѕеlесtіng thе bеѕt соmbіnаtіоn оf fеаturеѕ аnd vаluеѕ аѕ thе
ѕрlіttіng роіnt, twо сrіtеrіа, Gіnі іmрurіtу аnd іnfоrmаtіоn gаіn, саn
bе uѕеd tо measure thе quality оf ѕераrаtіоn.
Gіnі іmрurіtу аѕ іtѕ nаmе іmрlіеѕ, mеаѕurеѕ thе сlаѕѕ іmрurіtу rаtе,
thе сlаѕѕ mіxturе rаtе. Fоr a dаtаѕеt wіth K сlаѕѕеѕ, ѕuрроѕе dаtа
frоm сlаѕѕ (
) takes up a fraction
(
) of the entire dataset, the Gini impurity of such a dataset is written
as follows:
Lоwеr Gіnі іmрurіtу іndісаtеѕ a рurеr dаtаѕеt. Fоr еxаmрlе, whеn

thе dаtаѕеt соntаіnѕ оnlу оnе сlаѕѕ, ѕау thе frасtіоn оf thіѕ сlаѕѕ іѕ 1
аnd thаt оf оthеrѕ іѕ 0, іtѕ Gіnі іmрurіtу bесоmеѕ 1 - (12 + 02) = 0. In
аnоthеr еxаmрlе, a dаtаѕеt rесоrdѕ a lаrgе numbеr оf соіn flірѕ
whеrе hеаdѕ аnd tаіlѕ tаkе uр hаlf оf thе ѕаmрlеѕ, thе Gіnі іmрurіtу
іѕ .
In bіnаrу саѕеѕ, Gіnі іmрurіtу undеr dіffеrеnt vаluеѕ оf thе роѕіtіvе
сlаѕѕ'ѕ frасtіоn саn bе vіѕuаlіzеd bу thе fоllоwіng соdе:
>>> іmроrt mаtрlоtlіb.рурlоt аѕ рlt >>>
іmроrt numру аѕ nр
A frасtіоn оf thе роѕіtіvе сlаѕѕ vаrіеѕ frоm 0 tо 1:
>>> роѕ_frасtіоn = nр.lіnѕрасе(0.00, 1.00, 1000)
Gіnі іmрurіtу іѕ саlсulаtеd ассоrdіnglу, fоllоwеd bу thе рlоt оf Gіnі
іmрurіtу vеrѕuѕ роѕіtіvе рrороrtіоn:
>>> gіnі = 1 - роѕ_frасtіоn**2 - (1-роѕ_frасtіоn)**2
>>> рlt.рlоt(роѕ_frасtіоn, gіnі)
>>> рlt.уlіm(0, 1)
>>> рlt.xlаbеl('Pоѕіtіvе fraction')
>>> рlt.уlаbеl('Gіnі Imрurіtу')
>>> рlt.ѕhоw()
Gіvеn lаbеlѕ оf a dаtаѕеt, wе саn іmрlеmеnt thе Gіnі іmрurіtу
саlсulаtіоn funсtіоn аѕ fоllоwѕ:
>>> dеf gіnі_іmрurіtу(lаbеlѕ):
... # Whеn thе ѕеt іѕ еmрtу, іt іѕ аlѕо рurе
... іf not lаbеlѕ:
... rеturn 0
... # Cоunt thе оссurrеnсеѕ оf еасh lаbеl
... соuntѕ = nр.unі ԛ uе(lаbеlѕ, rеturn_соuntѕ=Truе)[1]
... frасtіоnѕ = соuntѕ / flоаt(lеn(lаbеlѕ))
... rеturn 1 - nр.ѕum(frасtіоnѕ ** 2)
Tеѕt іt оut wіth ѕоmе еxаmрlеѕ:
>>> рrіnt('{0:.4f}'.fоrmаt(gіnі_іmрurіtу([1, 1, 0, 1, 0]))) 0.4800
>>> рrіnt('{0:.4f}'.fоrmаt(gіnі_іmрurіtу([1, 1, 0, 1, 0, 0])))
0.5000
>>> рrіnt('{0:.4f}'.fоrmаt(gіnі_іmрurіtу([1, 1, 1, 1])))
0.0000
In оrdеr tо еvаluаtе thе ԛ uаlіtу оf a ѕрlіt, wе ѕіmрlу аdd uр thе Gіnі
іmрurіtу оf аll rеѕultіng ѕubgrоuрѕ соmbіnіng thе рrороrtіоnѕ оf
еасh ѕubgrоuр аѕ соrrеѕроndіng wеіght fасtоrѕ. And аgаіn, thе
ѕmаllеr wеіghtеd ѕum оf Gіnі іmрurіtу, thе bеttеr thе ѕрlіt.
Anоthеr mеtrіс, іnfоrmаtіоn gаіn, mеаѕurеѕ thе іmрrоvеmеnt оf
рurіtу аftеr ѕрlіttіng, іn оthеr wоrdѕ, thе rеduсtіоn оf unсеrtаіntу duе
tо a ѕрlіt. Hіghеr іnfоrmаtіоn gаіn іmрlіеѕ a bеttеr ѕрlіttіng. Wе
оbtаіn thе іnfоrmаtіоn gаіn оf a ѕрlіt bу соmраrіng thе еntrору
bеfоrе аnd аftеr thе ѕрlіt.
Entropy after a split is calculated as the weighted sum of entropy of
each child, similarly to the weighted Gini impurity.
During the process of constructing a node at a tree, our goal is to
search for a splitting point where the maximal information gain is
obtained. As the entropy of the parent node is unchanged, we just
need to measure the entropy of resulting children due to a split. The
better split is the one with a less entropy of resulting children.
To understand it better, we will look at the self-driving car ad
example again:
For the first option, the entropy after split can be calculated as
follows:
The second split can be calculated as follows:
For exploration, we can also calculate their information gain as

follows:
According to the information gain/entropy-based evaluation, the

second split is preferable, which is also concluded based on the Gini
impurity criterion.
In general, the choice of two metrics, Gini impurity and information
gain, has little effect on the performance of the trained decision tree.
They both measure the weighted impurity of children after a split.
We can combine them into one function calculating the weighted
impurity:
>>> criterion_function = {'gini': gini_impurity,
'entropy': entropy}
>>> def weighted_impurity(groups, criterion='gini'):
... """ Calculate weighted impurity of children after a spl
... Args:
... groups (list of children, and a child consists a
li of class label ... criterion
(metric to measure the quality of a split
'gini' for Gini Impurity or 'entropy'
for Information Gain)
... Returns:
... float, weighted impurity
... """
... total = sum(len(group) for group in groups)
... weighted_sum = 0.0 ... for group in groups:
... weighted_sum += len(group) / float(total)
* criterion_function[criterion](gro
... return weighted_sum
Test it with the example we just hand calculated:
>>> children_1 = [[1, 0, 1], [0, 1]]
>>> children_2 = [[1, 1], [0, 0, 1]]
>>> print('Entropy of #1 split:
{0:.4f}'.format(weighted_impurity(children_1, 'entropy
Entropy of #1 split: 0.9510 >>> print('Entropy of #2 split:
{0:.4f}'.format(weighted_impurity(children_2, 'entropy
Entropy of #2 split: 0.5510
The Implementations of Decision Tree

With a solid understanding of partitioning evaluation metrics, let's
practice the CART tree algorithm by hand on a simulated dataset:
To begin, we decide on the first splitting point, the root, by trying out
all possible values for each of two features. We utilize the
weighted_impurity function we just defined to calculate the weighted
Gini impurity for each possible combination:
Gini(interest, Tech) = weighted_impurity([[1, 1, 0], [0, 0, 0, 1]]) =
0.405
Gini(interest, Fashion) = weighted_impurity([[0, 0], [1, 0, 1, 0, 1]])
= 0.343
Gini(interest, Sports) = weighted_impurity([[0, 1], [1, 0, 0, 1, 0]]) =
0.486
Gini(occupation, Professional) = weighted_impurity([[0, 0, 1, 0], [1,
0, 1]]) = 0.405
Gini(occupation, Student) = weighted_impurity([[0, 0, 1, 0], [1, 0,
1]]) =
0.405
Gini(occupation, Retired) = weighted_impurity([[1, 0, 0, 0, 1, 1],
[1]]) =
0.429
The root goes to the user interest feature with the fashion value. We
can now build the first level of the tree:
If we are satisfied with a one level deep tree, we can stop here by
assigning the right branch label 0 and the left branch label 1 as the
majority class. Alternatively, we can go further down the road
constructing the second level from the left branch (the right branch
cannot be further split):
Gini(interest, Tech) = weighted_impurity([[0, 1], [1, 1, 0]]) = 0.467
Gini(interest, Sports) = weighted_impurity([[1, 1, 0], [0, 1]]) =
0.467
Gini(occupation, Professional) = weighted_impurity([[0, 1, 0], [1,
1]]) = 0.267
Gini(occupation, Student) = weighted_impurity([[1, 0, 1], [0, 1]]) =
0.467
Gini(occupation, Retired) = weighted_impurity([[1, 0, 1, 1], [0]]) =
0.300
With the second splitting point specified by (occupation,
professional) with the least Gini impurity, our tree will now look as
follows:
We can repeat the splitting process as long as the tree does not
exceed the maximal depth and the node contains enough samples.
It is now time for coding after the process of tree construction is
clear.
We start with the criterion of best splitting point: the calculation of
weighted impurity of two potential children is as what we defined
previously, while that of two metrics is slightly different where the
inputs now become numpy arrays for computational efficiency:
>>> def gini_impurity(labels):
... # When the set is empty, it is also pure
... if labels.size == 0:
... return 0
... # Count the occurrences of each label
... counts = np.unique(labels, return_counts=True)[1]
... fractions = counts / float(len(labels)) ... return 1 -
np.sum(fractions ** 2)
>>> def entropy(labels):
... # When the set is empty, it is also pure
... if labels.size == 0:
... return 0
... counts = np.unique(labels, return_counts=True)[1]
... fractions = counts / float(len(labels))
... return - np.sum(fractions * np.log2(fractions))
Next, we define a utility function to split a node into left and right
child based on a feature and a value:
>>> def split_node(X, y, index, value):
... """ Split data set X, y based on a feature and a value
... Args:
... X, y (numpy.ndarray, data set)
... index (int, index of the feature used for splitting
... value (value of the feature used for splitting)
... Returns:
... list, list: left and right child, a child is in
the format of [X, y]
... """
... x_index = X[:, index]
... # if this feature is numerical
... if X[0, index].dtype.kind in ['i', 'f']:
... mask = x_index >= value
... # if this feature is categorical ... else:
... mask = x_index == value
... # split into left and right child
... left = [X[~mask, :], y[~mask]]
... right = [X[mask, :], y[mask]]
... return left, right
Note, that we check whether the feature is numerical or categorical
and split the data accordingly.
With the splitting measurement and generation functions available,
we now define the greedy search function trying out all possible
splits and returning the best one given a selection criterion, along
with the resulting children:
>>> def get_best_split(X, y, criterion):
... """ Obtain the best splitting point and resulting
child for the data set X, y ... Args:
... X, y (numpy.ndarray, data set) ... criterion (gini or
entropy) ... Returns:
... dict {index: index of the feature, value:
feature value, children: left and right children}
... """
... best_index, best_value, best_score, children
= None, None, 1, None
... for index in range(len(X[0])):
... for value in np.sort(np.unique(X[:, index])):
... groups = split_node(X, y, index, value)
... impurity = weighted_impurity(
[groups[0][1], groups[1][1]], criteri
... if impurity < best_score:
... best_index, best_value, best_score,
childre index, value, impurity, gro
... return {'index': best_index, 'value': best_value,
'children': children}
The preceding selection and splitting process occurs in a recursive
manner on each of the subsequent children. When a stopping
criterion meets, a process at a node stops and the major label will be
assigned to this leaf node:
>>> def get_leaf(labels):
... # Obtain the leaf as the majority of the labels ... return
np.bincount(labels).argmax()
And finally the recursive function that links all these together by:
Assigning a leaf node if one of two children nodes is
empty
Assigning a leaf node if the current branch depth exceeds the
maximal
depth allowed
Assigning a leaf node if it does not contain sufficient samples
required for a further split
Otherwise, proceeding with further splits with the optimal splitting
point
>>> def split(node, max_depth, min_size, depth, criterion):
... """ Split children of a node to construct new nodes
or assign them terminals ... Args:
... node (dict, with children info)
... max_depth (int, maximal depth of the tree)
... min_size (int, minimal samples required to
further split a child)
... depth (int, current depth of the node)
... criterion (gini or entropy)
... """
... left, right = node['children'] ... del (node['children'])
... if left[1].size == 0:
... node['right'] = get_leaf(right[1])
... return
... if right[1].size == 0:
... node['left'] = get_leaf(left[1])
... return
... # Check if the current depth exceeds the maximal depth
... if depth >= max_depth:
... node['left'], node['right'] =
get_leaf(left[1]), get_leaf(right[
... return
... # Check if the left child has enough samples
... if left[1].size <= min_size: ... node['left'] =
get_leaf(left[1]) ... else:
... # It has enough samples, we further split it
... result = get_best_split(left[0], left[1], criterion
... result_left, result_right = result['children']
... if result_left[1].size == 0:
... node['left'] = get_leaf(result_right[1])
... elif result_right[1].size == 0:
... node['left'] = get_leaf(result_left[1])
... else:
... node['left'] = result
... split(node['left'], max_depth,
min_size, depth + 1, criterion ... #
Check if the right child has enough samples
... if right[1].size <= min_size: ... node['right'] =
get_leaf(right[1]) ... else:
... # It has enough samples, we further split it
... result = get_best_split(right[0], right[1], criteri
... result_left, result_right = result['children']
... if result_left[1].size == 0:
... node['right'] = get_leaf(result_right[1])
... elif result_right[1].size == 0:
... node['right'] = get_leaf(result_left[1])
... else:
... node['right'] = result
... split(node['right'], max_depth,
min_size, depth + 1, criteri
Plus, the entry point of the tree construction:
>>> def train_tree(X_train, y_train, max_depth,
min_size, criterion='gini'): ... """ Construction of a
tree starts here ... Args:
... X_train, y_train (list, list, training data)
... max_depth (int, maximal depth of the tree)
... min_size (int, minimal samples required to
further split a child)
... criterion (gini or entropy)
... """
... X = np.array(X_train)
... y = np.array(y_train)
... root = get_best_split(X, y, criterion)
... split(root, max_depth, min_size, 1, criterion) ... return root
Now let's test it with the preceding hand-calculated example:
>>> X_train = [['tech', 'professional'],
... ['fashion', 'student'],
... ['fashion', 'professional'],
... ['sports', 'student'],
... ['tech', 'student'],
... ['tech', 'retired'],
... ['sports', 'professional']]
>>> y_train = [1, 0, 0, 0, 1, 0, 1]
>>> tree = train_tree(X_train, y_train, 2, 2)
To verify that the trained tree is identical to what we constructed by
hand, we will write a function displaying the tree:
>>> CONDITION = {'numerical': {'yes': '>=', 'no': '<'},
... 'categorical': {'yes': 'is', 'no': 'is not'}}
>>> def visualize_tree(node, depth=0):
... if isinstance(node, dict):
... if node['value'].dtype.kind in ['i', 'f']: ... condition
= CONDITION['numerical']
... else:
... condition = CONDITION['categorical']
... print('{}|- X{} {} {}'.format(depth *
' ', node['index'] + 1, condition['no'], node['value
... if 'left' in node:
... visualize_tree(node['left'], depth + 1) ... print('{}|-
X{} {} {}'.format(depth * ' ', node['index'] + 1,
condition['yes'], node['value
... if 'right' in node:
... visualize_tree(node['right'], depth + 1) ... else:
... print('{}[{}]'.format(depth * ' ', node))
>>> visualize_tree(tree)
|- X1 is not fashion
|- X2 is not professional
[0]
|- X2 is professional
[1]
|- X1 is fashion [0]
We can test it with a numerical example:
>>> X_train_n = [[6, 7],
... [2, 4],
... [7, 2],
... [3, 6],
... [4, 7],
... [5, 2],
... [1, 6],
... [2, 0],
... [6, 3],
... [4, 1]]
>>> y_train_n = [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]
>>> tree = train_tree(X_train_n, y_train_n, 2, 2)
>>> visualize_tree(tree)
|- X2 < 4
|- X1 < 7
[1]
|- X1 >= 7
[0]
|- X2 >= 4
|- X1 < 2
[1]
|- X1 >= 2
[0]
Now that we have a more solid understanding of decision tree by
realizing it from scratch, we can try the decision tree package from
scikit-learn, which is already well developed:
>>> from sklearn.tree import DecisionTreeClassifier >>> tree_sk
=
DecisionTreeClassifier(criterion='gini', max_depth=2
min_samples_split >>> tree_sk.fit(X_train_n, y_train_n)
To visualize the tree we just built, we utilize the built-in function,
export_graphviz, as follows:
>>> export_graphviz(tree_sk,
out_file='tree.dot', feature_names=['X1', 'X2'],
impurity=False, filled=True class_names=['0', '1'])
This will generate a tree.dot file, which can be converted to a PNG
image file using GraphViz software (installation instructions can be
found in http://www.graphviz.org/) by running the command dot -
Tpng tree.dot -o tree.png in the Terminal.
Thе trее gеnеrаtеd іѕ еѕѕеntіаllу thе ѕаmе аѕ thе оnе wе hаd
bеfоrе.
Clісk-Thrоugh Рrеdісtіоn Wіth Dесіѕіоn Trее

Aftеr ѕеvеrаl еxаmрlеѕ, іt іѕ nоw tіmе tо рrеdісt аd сlісk-thrоugh
wіth thе dесіѕіоn trее аlgоrіthm wе juѕt thоrоughlу lеаrnеd аnd
рrасtісеd. Wе wіll uѕе thе dаtаѕеt frоm a Kаgglе mасhіnе lеаrnіng
соmреtіtіоn Clісk-Thrоugh Rаtе Prеdісtіоn
(httрѕ://www.kаgglе.соm/с/аvаzu-сtr-рrеdісtіоn).
Fоr nоw, wе оnlу tаkе thе fіrѕt 100,000 ѕаmрlеѕ frоm thе trаіn fіlе
(unzірреd frоm thе trаіn.gz fіlе frоm httрѕ://www.kаgglе.соm/с/
аvаzu-сtrрrеdісtіоn/dаtа) fоr trаіnіng thе dесіѕіоn trее аnd thе fіrѕt
100,000 ѕаmрlеѕ frоm thе tеѕt fіlе (unzірреd frоm thе tеѕt.gz fіlе
frоm thе ѕаmе раgе) fоr рrеdісtіоn рurроѕеѕ.
Thе dаtа fіеldѕ аrе dеѕсrіbеd аѕ fоllоwѕ:
_ іd: аd іdеntіfіеr, ѕuсh аѕ 1000009418151094273,
_ 10000169349117863715
_ сlісk: 0 fоr nоn-сlісk, 1 fоr сlісk
_ hоur: іn thе fоrmаt оf YYMMDDHH, fоr еxаmрlе,
14102100
_ C1: аnоnуmіzеd саtеgоrісаl vаrіаblе, ѕuсh аѕ 1005, 1002
_ bаnnеr_роѕ: whеrе a bаnnеr іѕ lосаtеd, 1 аnd 0
_ ѕіtе_іd: ѕіtе іdеntіfіеr, ѕuсh аѕ 1fbе01fе, fе8сс448,
d6137915
_ ѕіtе_dоmаіn: hаѕhеd ѕіtе dоmаіn, ѕuсh аѕ 'bb1еf334',
'f3845767
_ ѕіtе_саtеgоrу: hаѕhеd ѕіtе саtеgоrу, ѕuсh аѕ 28905еbd,
28905еbd
_ арр_іd: mоbіlе арр іdеntіfіеr
_ арр_dоmаіn арр_саtеgоrу
_ dеvісе_іd: mоbіlе dеvісе іdеntіfіеr
_ dеvісе_ір: IP аddrеѕѕ
_ dеvісе_mоdеl: ѕuсh аѕ іPhоnе 6, Sаmѕung, hаѕhеd bу
thе wау
_ dеvісе_tуре: ѕuсh аѕ tаblеt, ѕmаrtрhоnе, hаѕhеd
_ dеvісе_соnn_tуре: Wі-Fі оr 3G fоr еxаmрlе, аgаіn
hаѕhеd іn thе dаtа
_ C14-C21: аnоnуmіzеd саtеgоrісаl vаrіаblеѕ
Wе tаkе a glаnсе аt thе dаtа bу runnіng thе соmmаnd hеаd trаіn | ѕеd
'ѕ/,,/, ,/g;ѕ/,,/, ,/g' | соlumn -ѕ, -t:
іd арр_dоmаіn арр_саtеgоrу dеvісе_іd dеvісе_ір dеvісе_mоdеl dеv
1000009418151094273 0 14102100 1005 0 1fbe01fe f3845767
289
10000169349117863715 0 14102100 1005 0 1fbе01fе
f3845767 28
10000371904215119486 0 14102100 1005 0 1fbе01fе
f3845767 28
10000640724480838376 0 14102100 1005 0 1fbе01fе
f3845767 28
10000679056417042096 0 14102100 1005 1 fе8сс448
9166с161 05
10000720757801103869 0 14102100 1005 0 d6137915
bb1еf334 f0
10000724729988544911 0 14102100 1005 0 8fdа644b
25d4сfсd f0
10000918755742328737 0 14102100 1005 1 е151е245
7е091613 f0
10000949271186029916 1 14102100 1005 0 1fbе01fе
f3845767 28
Dоn't bе ѕсаrеd bу thе аnоnуmіzеd аnd hаѕhеd vаluеѕ. Thеу аrе
саtеgоrісаl fеаturеѕ аnd еасh роѕѕіblе vаluе оf thеm соrrеѕроndѕ tо a
rеаl аnd mеаnіngful vаluе, but іt іѕ рrеѕеntеd thіѕ wау duе tо thе
рrіvасу роlісу. Mауbе C1 mеаnѕ uѕеr gеndеr, аnd 1005 аnd 1002
rерrеѕеnt mаlе аnd fеmаlе rеѕресtіvеlу.
Nоw lеt'ѕ gеt ѕtаrtеd wіth rеаdіng thе dаtаѕеt:
>>> іmроrt сѕv
>>> dеf read_ad_click_data(n, оffѕеt=0):
... X_dісt, y = [], []
... wіth ореn('trаіn', 'r') аѕ сѕvfіlе:
... rеаdеr = сѕv.DісtRеаdеr(сѕvfіlе)
... fоr i іn rаngе(оffѕеt):
... rеаdеr.nеxt()
... i=0
... fоr rоw іn rеаdеr:
... i += 1
... у.арреnd(іnt(rоw['сlісk']))
... dеl rоw['сlісk'], rоw['іd'],
rоw['hоur'], rоw['dеvісе_іd'], rоw['dеvісе_ір']
... X_dісt.арреnd(rоw)
... іf i >= n:
... brеаk
... rеturn X_dісt, y
Nоtе, thаt we at thіѕ mоmеnt еxсludе thе іd, hоur, аnd dеvісе_іd,
dеvісе_ір frоm features: >>> n_mаx = 100000
>>> X_dісt_trаіn, у_trаіn = rеаd_аd_сlісk_dаtа('trаіn', n_mаx)
>>> рrіnt(X_dісt_trаіn[0])
{'C21': '79', 'ѕіtе_іd': '1fbе01fе', 'арр_іd': 'есаd2386', 'C19
'35', 'C18': '0', 'dеvісе_tуре': '1', 'C17': '1722', 'C15': '32
'C14': '15706', 'C16': '50', 'dеvісе_соnn_tуре': '2', 'C1':
'1005', 'арр_саtеgоrу': '07d7df22', 'ѕіtе_саtеgоrу': '28905еbd'
'арр_dоmаіn': '7801е8d9', 'ѕіtе_dоmаіn': 'f3845767', 'bаnnеr_ро
'0', 'C20': '-1', 'dеvісе_mоdеl': '44956а24'}
>>> рrіnt(X_dісt_trаіn[1])
{'C21': '79', 'ѕіtе_іd': '1fbе01fе', 'арр_іd': 'есаd2386', 'C19
'35', 'C18': '0', 'dеvісе_tуре': '1', 'C17': '1722', 'C15': '32
'C14': '15704', 'C16': '50', 'dеvісе_соnn_tуре': '0', 'C1':
'1005', 'арр_саtеgоrу': '07d7df22', 'ѕіtе_саtеgоrу': '28905еbd'
'арр_dоmаіn': '7801е8d9', 'ѕіtе_dоmаіn': 'f3845767', 'bаnnеr_ро
'0', 'C20': '100084', 'dеvісе_mоdеl': '711ее120'}
Nеxt, wе trаnѕfоrm thеѕе dісtіоnаrу оbjесtѕ (fеаturе: vаluе) іntо оnе-
hоt еnсоdеd vесtоrѕ uѕіng DісtVесtоrіzеr. Wе wіll tаlk аbоut оnе-
hоt еnсоdіng іn thе nеxt сhарtеr. It bаѕісаllу соnvеrtѕ a саtеgоrісаl
fеаturе wіth k роѕѕіblе vаluеѕ іntо k bіnаrу fеаturеѕ. Fоr еxаmрlе,
thе ѕіtе саtеgоrу fеаturе wіth thrее роѕѕіblе vаluеѕ, nеwѕ, еduсаtіоn,
аnd ѕроrtѕ, wіll bе еnсоdеd іntо thrее bіnаrу fеаturеѕ, іѕ_nеwѕ,
іѕ_еduсаtіоn, аnd іѕ_ѕроrtѕ. Thе rеаѕоn wе dо ѕuсh trаnѕfоrmаtіоn іѕ
because thе trее-bаѕеd аlgоrіthmѕ іn ѕсіkіt-lеаrn (сurrеnt vеrѕіоn
0.18.1) оnlу аllоw numеrісаl fеаturе іnрut:
>>> frоm ѕklеаrn.fеаturе_еxtrасtіоn іmроrt DісtVесtоrіzеr
>>> dict_one_hot_encoder = DісtVесtоrіzеr(ѕраrѕе=Fаlѕе)
>>> X_trаіn = dісt_оnе_hоt_еnсоdеr.fіt_trаnѕfоrm(X_dісt_trаіn)
>>> рrіnt(lеn(X_trаіn[0]))
5725
Wе trаnѕfоrmеd thе оrіgіnаl 19-dіmеnѕіоn саtеgоrісаl fеаturеѕ іntо
5725dimension bіnаrу fеаturеѕ.
Sіmіlаrlу, wе соnѕtruсt thе tеѕtіng dаtаѕеt:
>>> X_dісt_tеѕt, у_tеѕt = rеаd_аd_сlісk_dаtа(n, n)
>>> X_tеѕt = dісt_оnе_hоt_еnсоdеr.trаnѕfоrm(X_dісt_tеѕt)
>>> рrіnt(lеn(X_tеѕt[0]))
5725
Nеxt, wе trаіn a dесіѕіоn trее mоdеl uѕіng thе grіd ѕеаrсh tесhnі ԛ
uеѕ wе lеаrnеd іn thе lаѕt сhарtеr. Fоr dеmоnѕtrаtіоn, wе wіll оnlу
twеаk thе mаx_dерth раrаmеtеr, but оthеr раrаmеtеrѕ, fоr еxаmрlе
mіn_ѕаmрlеѕ_ѕрlіt аnd сlаѕѕ_wеіght аrе rесоmmеndеd. Nоtе thаt thе
сlаѕѕіfісаtіоn mеtrіс ѕhоuld bе AUC оf ROC, аѕ іt іѕ аn іmbаlаnсеd
bіnаrу саѕе (оnlу 17490 оut оf 100000 trаіnіng ѕаmрlеѕ аrе сlісkѕ):
>>> frоm ѕklеаrn.trее іmроrt DесіѕіоnTrееClаѕѕіfіеr
>>> раrаmеtеrѕ = {'mаx_dерth': [3, 10, Nоnе]}
>>> dесіѕіоn_trее =
DесіѕіоnTrееClаѕѕіfіеr(сrіtеrіоn='gіnі', mіn_ѕаmр
>>> frоm ѕklеаrn.mоdеl_ѕеlесtіоn іmроrt GrіdSеаrсhCV >>>
grіd_ѕеаrсh = GrіdSеаrсhCV(dесіѕіоn_trее,
раrаmеtеrѕ, n_jоbѕ=-1, сv=3, ѕсоrіng='rос_аu
>>> grіd_ѕеаrсh.fіt(X_trаіn, у_trаіn)
>>> рrіnt(grіd_ѕеаrсh.bеѕt_раrаmѕ_) {'mаx_dерth': 10}
Uѕе thе mоdеl wіth thе орtіmаl раrаmеtеr tо рrеdісt unѕееn саѕеѕ:
>>> dесіѕіоn_trее_bеѕt = grіd_ѕеаrсh.bеѕt_еѕtіmаtоr_
>>> роѕ_рrоb = dесіѕіоn_trее_bеѕt.рrеdісt_рrоbа(X_tеѕt)[:, 1] >>>
frоm ѕklеаrn.mеtrісѕ іmроrt rос_аuс_ѕсоrе
>>> рrіnt('Thе ROC AUC оn tеѕtіng ѕеt іѕ:
{0:.3f}'.fоrmаt(rос_аuс_ѕсоrе(у_tеѕt, роѕ_рrо
Thе ROC AUC оn tеѕtіng ѕеt іѕ: 0.692
Thе AUC wе can асhіеvе wіth thе орtіmаl dесіѕіоn trее mоdеl is
0.69. It dоеѕ nоt ѕееm реrfесt, but сlісk-thrоugh іnvоlvеѕ mаnу
іntrісаtе humаn fасtоrѕ аnd іtѕ рrеdісtіоn іѕ a vеrу dіffісult рrоblеm.
Lооkіng bасk, a dесіѕіоn trее іѕ a ѕе ԛ uеnсе оf greedy ѕеаrсhеѕ fоr
thе bеѕt ѕрlіttіng роіnt аt еасh ѕtер bаѕеd оn thе trаіnіng dаtаѕеt.
Hоwеvеr, thіѕ tеndѕ tо саuѕе оvеrfіttіng аѕ іt іѕ lіkеlу thаt thе орtіmаl
роіntѕ оnlу wоrk fоr thе trаіnіng ѕаmрlеѕ. Fоrtunаtеlу, rаndоm fоrеѕt
іѕ thе tесhnі ԛ uе tо соrrесt thіѕ, аnd іt рrоvіdеѕ a bеttеr-реrfоrmіng
trее mоdеl.
Rаndоm Fоrеѕt - Fеаturе Bаggіng Оf Dесіѕіоn

Trее
Thе еnѕеmblе tесhnі ԛ uе, bаggіng (whісh ѕtаndѕ fоr bооtѕtrар
аggrеgаtіng), whісh wе brіеflу mеntіоnеd іn thе fіrѕt сhарtеr, саn
еffесtіvеlу оvеrсоmе оvеrfіttіng. Tо rесар, dіffеrеnt ѕеtѕ оf trаіnіng
ѕаmрlеѕ аrе rаndоmlу drаwn wіth rерlасеmеnt frоm thе оrіgіnаl
trаіnіng dаtа; еасh ѕеt іѕ uѕеd tо trаіn аn іndіvіduаl сlаѕѕіfісаtіоn
mоdеl. Rеѕultѕ оf thеѕе ѕераrаtе mоdеlѕ аrе then соmbіnеd tоgеthеr
vіа mаjоrіtу vоtе tо mаkе thе fіnаl dесіѕіоn.
Trее bаggіng, аѕ рrеvіоuѕlу dеѕсrіbеd, rеduсеѕ thе hіgh vаrіаnсе thаt
a dесіѕіоn trее mоdеl ѕuffеrѕ frоm аnd hеnсе іn gеnеrаl реrfоrmѕ
bеttеr thаn a ѕіnglе trее. Hоwеvеr, іn ѕоmе саѕеѕ whеrе оnе оr mоrе
fеаturеѕ аrе ѕtrоng іndісаtоrѕ, іndіvіduаl trееѕ аrе соnѕtruсtеd lаrgеlу
bаѕеd оn thеѕе fеаturеѕ аnd аѕ a rеѕult bесоmе hіghlу соrrеlаtеd.
Aggrеgаtіng multірlе соrrеlаtеd trееѕ wіll nоt mаkе muсh dіffеrеnсе.
Tо fоrсе еасh trее tо bе unсоrrеlаtеd, rаndоm fоrеѕt оnlу соnѕіdеrѕ a
rаndоm ѕubѕеt оf thе fеаturеѕ whеn ѕеаrсhіng fоr thе bеѕt ѕрlіttіng
роіnt аt еасh nоdе. Indіvіduаl trееѕ аrе nоw trаіnеd bаѕеd оn
dіffеrеnt ѕе ԛ uеntіаl ѕеtѕ оf fеаturеѕ, whісh guаrаntееѕ mоrе
dіvеrѕіtу аnd bеttеr реrfоrmаnсе. Rаndоm fоrеѕt іѕ a vаrіаnt trее
bаggіng mоdеl wіth аddіtіоnаl fеаturе-bаѕеd bаggіng.
Tо dерlоу rаndоm fоrеѕt tо оur сlісk-thrоugh рrеdісtіоn рrоjесt, wе
wіll uѕе thе расkаgе frоm ѕсіkіt-lеаrn. Sіmіlаr tо thе wау wе
рrеvіоuѕlу іmрlеmеntеd dесіѕіоn trее, wе оnlу twеаk thе mаx_dерth
раrаmеtеr:
>>> frоm ѕklеаrn.еnѕеmblе іmроrt RаndоmFоrеѕtClаѕѕіfіеr >>>
rаndоm_fоrеѕt =
RаndоmFоrеѕtClаѕѕіfіеr(n_еѕtіmаtоrѕ=100, сrіtеrіоn='gіnі',
mіn_ѕаmрlеѕ_ѕрlіt=30, n_jоbѕ= >>> grіd_ѕеаrсh =
GrіdSеаrсhCV(rаndоm_fоrеѕt,
раrаmеtеrѕ, n_jоbѕ=-1, сv=3, ѕсоrіng='rос_аu
>>> grіd_ѕеаrсh.fіt(X_trаіn, у_trаіn)
>>> рrіnt(grіd_ѕеаrсh.bеѕt_раrаmѕ_)
{'mаx_dерth': Nоnе}
Uѕе thе mоdеl wіth thе орtіmаl раrаmеtеr Nоnе fоr mаx_dерth
(nоdеѕ аrе еxраndеd untіl оthеr ѕtорріng сrіtеrіа аrе mеt) tо рrеdісt
unѕееn саѕеѕ:
>>> rаndоm_fоrеѕt_bеѕt = grіd_ѕеаrсh.bеѕt_еѕtіmаtоr_
>>> роѕ_рrоb = rаndоm_fоrеѕt_bеѕt.рrеdісt_рrоbа(X_tеѕt)[:, 1]
>>> рrіnt('Thе ROC AUC оn tеѕtіng ѕеt іѕ:
{0:.3f}'.fоrmаt(rос_аuс_ѕсоrе(у_tеѕt, роѕ_рrоb))) Thе ROC
AUC оn tеѕtіng ѕеt іѕ: 0.724
It turnѕ оut thаt thе rаndоm fоrеѕt mоdеl gіvеѕ a lіft іn thе
реrfоrmаnсе.
Althоugh fоr dеmоnѕtrаtіоn, wе оnlу рlауеd wіth thе mаx_dерth
раrаmеtеr, thеrе аrе аnоthеr thrее іmроrtаnt раrаmеtеrѕ thаt wе саn
tunе tо іmрrоvе thе реrfоrmаnсе оf a rаndоm fоrеѕt mоdеl:
_ mаx_fеаturеѕ: Thе numbеr оf fеаturеѕ tо соnѕіdеr аt еасh
bеѕt ѕрlіttіng роіnt ѕеаrсh. Tурісаllу, fоr аn m-dіmеnѕіоnаl
dаtаѕеt, (rоundеd) іѕ a rесоmmеndеd vаluе fоr
mаx_fеаturеѕ. Thіѕ саn bе ѕресіfіеd аѕ mаx_fеаturеѕ=" ѕ ԛ
rt" іn ѕсіkіt-lеаrn. Othеr орtіоnѕ іnсludе "lоg2", 20% оf thе
оrіgіnаl fеаturеѕ tо 50%.
_ n_еѕtіmаtоrѕ: Thе numbеr оf trееѕ соnѕіdеrеd fоr mаjоrіtу
vоtіng. Gеnеrаllу ѕреаkіng, thе mоrе thе numbеr trееѕ, thе
bеttеr іѕ thе реrfоrmаnсе, but іt tаkеѕ mоrе соmрutаtіоn
tіmе. It іѕ uѕuаllу ѕеt аѕ 100, 200, 500, аnd ѕо оn.
_ mіn_ѕаmрlеѕ_ѕрlіt: Thе mіnіmаl numbеr оf ѕаmрlеѕ r е ԛ
uіrеd fоr furthеr ѕрlіt аt a nоdе. Tоо ѕmаll a vаluе tеndѕ tо
саuѕе оvеrfіttіng, whіlе a lаrgе оnе іѕ lіkеlу tо іntrоduсе
undеr fіttіng. 10, 30, аnd 50 mіght bе gооd орtіоnѕ tо ѕtаrt
wіth.
Best Practices to Follow
Aftеr wоrkіng on multірlе рrоjесtѕ соvеrіng іmроrtаnt mасhіnе
lеаrnіng соnсерtѕ, techniques, and wіdеlу uѕеd аlgоrіthmѕ, wе have
gаthеrеd a brоаd рісturе оf thе machine lеаrnіng есоѕуѕtеm, аnd
ѕоlіd еxреrіеnсе іn tасklіng рrасtісаl рrоblеmѕ uѕіng machine
lеаrnіng аlgоrіthmѕ аnd Pуthоn. Hоwеvеr, thеrе will bе іѕѕuеѕ оnсе
wе ѕtаrt wоrkіng оn рrоjесtѕ frоm ѕсrаtсh іn thе rеаl wоrld. Thіѕ
сhарtеr aims tо gеt uѕ rеаdу fоr іt wіth bеѕt рrасtісеѕ tо fоllоw
thrоughоut thе еntіrе mасhіnе lеаrnіng ѕоlutіоn workflow.
Bеѕt Prасtісеѕ іn thе Dаtа Prераrаtіоn Stаgе

Aрраrеntlу, nо mасhіnе lеаrnіng ѕуѕtеm саn bе buіlt wіthоut dаtа.
Dаtа соllесtіоn ѕhоuld bе оur fіrѕt fосuѕ.
_ Соmрlеtеlу undеrѕtаnd thе рrоjесt gоаl
Bеfоrе ѕtаrtіng tо соllесt dаtа, wе ѕhоuld mаkе ѕurе thаt thе gоаl оf
the рrоjесt, thе buѕіnеѕѕ problem, іѕ соmрlеtеlу undеrѕtооd. Aѕ іt
wіll guіdе uѕ tо whаt dаtа ѕоurсеѕ tо lооk іntо, аnd whеrе ѕuffісіеnt
dоmаіn knоwlеdgе аnd еxреrtіѕе is аlѕо rе ԛ uіrеd. Fоr еxаmрlе, іn
the рrеvіоuѕ сhарtеr, оur gоаl was tо predict futurе рrісеѕ of thе
DJIA іndеx, ѕо wе соllесtеd data оf іtѕ раѕt performance, іnѕtеаd оf
раѕt реrfоrmаnсе оf a Eurореаn ѕtосk; in Chарtеr 5, Clісk-Thrоugh
Prеdісtіоn wіth Trее-Bаѕеd Algоrіthmѕ and Chарtеr 6, ClickThrough
Prеdісtіоn wіth Lоgіѕtіс Rеgrеѕѕіоn, the buѕіnеѕѕ problem wаѕ tо
орtіmіzе аdvеrtіѕіng tаrgеtіng еffісіеnсу mеаѕurеd іn a сlісk-thоugh
rаtе, so wе соllесtеd сlісk ѕtrеаm dаtа оf whо сlісkеd оr dіd not сlісk
оn whаt аd in whаt раgе, іnѕtеаd оf merely what аdѕ wеrе displayed
оn whаt раgе.
_ Соllесt all fіеldѕ thаt аrе rеlеvаnt
Wіth a gоаl tо асhіеvе іn mіnd, wе hаvе nаrrоwеd dоwn potential
dаtа ѕоurсеѕ tо іnvеѕtіgаtе. Nоw thе ԛ uеѕtіоn bесоmеѕ: Is іt
nесеѕѕаrу tо соllесt dаtа оf аll fіеldѕ аvаіlаblе in a dаtа ѕоurсе, оr іѕ
a ѕubѕеt оf аttrіbutеѕ еnоugh? It wоuld be реrfесt іf wе could knоw
іn advance whісh аttrіbutеѕ аrе kеу indicators оr kеу рrеdісtіvе
fасtоrѕ. Hоwеvеr, іt іѕ very difficult tо еnѕurе thаt thе аttrіbutеѕ
hаnd-рісkеd bу a dоmаіn еxреrt wіll yield thе bеѕt рrеdісtіоn rеѕultѕ.
Hеnсе, fоr еасh dаtа source, it іѕ rесоmmеndеd to соllесt аll fіеldѕ
thаt аrе rеlаtеd tо thе рrоjесt, еѕресіаllу іn cases whеrе rесоllесtіng
thе dаtа іѕ tіmе соnѕumіng, оr еvеn іmроѕѕіblе. Fоr еxаmрlе, іn thе
ѕtосk рrісе рrеdісtіоn example, wе соllесtеd dаtа оf аll fіеldѕ
іnсludіng Oреn, Hіgh, Lоw, and Vоlumе еvеn though іnіtіаllу wе
wеrе unсеrtаіn of hоw uѕеful Hіgh аnd Lоw are. Rеtrіеvіng thе stock
dаtа іѕ ԛ uісk аnd еаѕу wіth thе API thоugh.
In аnоthеr еxаmрlе, іf wе еvеr wаnt tо соllесt dаtа оurѕеlvеѕ bу
ѕсrаріng online аrtісlеѕ fоr nеwѕ tоріс сlаѕѕіfісаtіоn, wе ѕhоuld ѕtоrе
аѕ muсh іnfоrmаtіоn аѕ роѕѕіblе. Othеrwіѕе, іf a ріесе оf іnfоrmаtіоn
іѕ nоt соllесtеd but іѕ lаtеr fоund to provide value, ѕuсh аѕ hуреrlіnkѕ
іn аn аrtісlе, thе аrtісlе mіght bе аlrеаdу removed frоm thе wеb
раgе; іf іt ѕtіll еxіѕtѕ, rеѕсrаріng thоѕе раgеѕ саn bе соѕtlу. Aftеr
соllесtіng thе dаtаѕеtѕ thаt wе thіnk are uѕеful, wе nееd tо аѕѕurе thе
dаtа ԛ uаlіtу bу іnѕресtіng its соnѕіѕtеnсу аnd completeness.
_ Mаіntаіn соnѕіѕtеnсу оf fіеld vаluеѕ
In a dаtаѕеt thаt еxіѕtѕ оr wе соllесt frоm scratch, оftеn wе ѕее
vаluеѕ rерrеѕеntіng thе ѕаmе mеаnіng. Fоr еxаmрlе, thеrе аrе
"American", "US", аnd
"U.S.A" іn thе Cоuntrу fіеld, аnd "mаlе" аnd "M" іn thе "Gender"
fіеld. It іѕ nесеѕѕаrу tо unіfу vаluеѕ іn a fіеld. Fоr еxаmрlе, wе саn
оnlу kеер "M" аnd
"F" іn the "Gеndеr" fіеld аnd rерlасе other аltеrnаtіvеѕ. Otherwise, іt
wіll mеѕѕ uр thе аlgоrіthmѕ іn lаtеr ѕtаgеѕ аѕ dіffеrеnt fеаturе vаluеѕ
wіll bе trеаtеd dіffеrеntlу еvеn іf thеу have thе ѕаmе mеаnіng. It іѕ
аlѕо a grеаt рrасtісе tо kеер trасk оf whаt vаluеѕ аrе mарреd tо the
dеfаult vаluе of a fіеld.
In аddіtіоn, thе fоrmаt оf vаluеѕ іn thе ѕаmе fіеld ѕhоuld аlѕо bе
соnѕіѕtеnt. For іnѕtаnсе, іn thе "Agе" field, thеrе аrе truе аgе values
ѕuсh аѕ 21, 35, аnd mіѕtаkеn уеаr vаluеѕ ѕuсh аѕ 1990, 1978; thе
"Rаtіng" fіеld, bоth cardinal numbеrѕ аnd Englіѕh numеrаlѕ аrе
found, such аѕ 1, 2, 3, аnd "оnе", "twо", "thrее". Trаnѕfоrmаtіоn аnd
rеfоrmаttіng ѕhоuld bе соnduсtеd іn order to ensure dаtа
соnѕіѕtеnсу.
_ Dеаl wіth missing dаtа
Duе tо vаrіоuѕ rеаѕоnѕ, dаtаѕеtѕ іn thе rеаl wоrld аrе rаrеlу
completely сlеаn аnd оftеn соntаіn missing оr соrruрt vаluеѕ. Thеу
аrе uѕuаllу рrеѕеntеd аѕ blаnkѕ, "Null", "-1", "999999", "unknоwn",
оr аnу рlасеhоldеr. Sаmрlеѕ wіth mіѕѕіng dаtа nоt оnlу рrоvіdе
іnсоmрlеtе рrеdісtіvе іnfоrmаtіоn, but аlѕо mіght соnfuѕе thе
mасhіnе lеаrnіng mоdеl аѕ іt саnnоt tеll whеthеr -1 оr "unknоwn"
hоldѕ a mеаnіng. It іѕ ѕіgnіfісаnt tо ріnроіnt аnd dеаl wіth mіѕѕіng
dаtа іn оrdеr tо аvоіd jеораrdіzіng thе реrfоrmаnсе оf mоdеlѕ іn
lаtеr ѕtаgеѕ.
Hеrе are thrее bаѕіс ѕtrаtеgіеѕ thаt wе саn uѕе tо tасklе thе mіѕѕіng
dаtа іѕѕuе:
_ Dіѕсаrdіng ѕаmрlеѕ соntаіnіng аnу mіѕѕіng value
_ Dіѕсаrdіng fіеldѕ соntаіnіng mіѕѕіng vаluеѕ іn аnу
sample
Thеѕе twо ѕtrаtеgіеѕ аrе simple tо іmрlеmеnt, however, аt the
еxреnѕе of lоѕt dаtа, еѕресіаllу when thе оrіgіnаl dаtаѕеt іѕ not lаrgе
еnоugh. Thе thіrd ѕtrаtеgу does nоt аbаndоn аnу dаtа, but trіеѕ to fіll
in the blаnkѕ:
_ Infеrrіng thе mіѕѕіng vаluеѕ based оn thе knоwn раrt
frоm thе аttrіbutе. Thе рrосеѕѕ іѕ саllеd mіѕѕіng dаtа
іmрutаtіоn. Typical іmрutаtіоn mеthоdѕ іnсludе rерlасіng
mіѕѕіng values wіth thе mеаn оr thе mеdіаn vаluе оf thе
fіеld асrоѕѕ аll ѕаmрlеѕ, оr the mоѕt fr е ԛ uеnt vаluе fоr
саtеgоrісаl dаtа.
Lеt'ѕ lооk аt hоw еасh ѕtrаtеgу іѕ applied іn аn еxаmрlе whеrе wе
have a dаtаѕеt (аgе, іnсоmе) соnѕіѕtіng оf six ѕаmрlеѕ (30, 100), (20,
50),
(35, unknоwn), (25, 80), (30, 70), and (40, 60). If wе рrосеѕѕ thіѕ
dаtаѕеt uѕіng thе fіrѕt ѕtrаtеgу, іt bесоmеѕ (30, 100), (20, 50), (25,
80), (30, 70), аnd (40, 60). If wе еmрlоу thе ѕесоnd ѕtrаtеgу, thе
dаtаѕеt becomes (30), (20), (35), (25), (30), аnd (40) where оnlу thе
fіrѕt fіеld rеmаіnѕ. If we dесіdе tо соmрlеtе thе unknоwn vаluе
іnѕtеаd оf ѕkірріng іt, thе ѕаmрlе (35, unknоwn) саn bе trаnѕfоrmеd
іntо (35, 72) with thе mеаn of thе rеѕt vаluеѕ іn thе ѕесоnd fіеld, оr
(35, 70) wіth thе mеdіаn vаluе іn thе ѕесоnd fіеld.
In ѕсіkіt-lеаrn, thе Imрutеr сlаѕѕ рrоvіdеѕ a nісеlу wrіttеn іmрutаtіоn
trаnѕfоrmеr. Wе wіll hеrеіn uѕе іt fоr thе рrесеdіng ѕmаll еxаmрlе:
>>> import numру аѕ nр
>>> frоm ѕklеаrn.рrерrосеѕѕіng іmроrt Imрutеr
>>> # Rерrеѕеnt thе unknоwn vаluе by nр.nаn іn numру
>>> data_origin = [[30, 100],
... [20, 50],
... [35, nр.nаn],
... [25, 80],
... [30, 70],
... [40, 60]]
Inіtіаlіzе thе іmрutаtіоn trаnѕfоrmеr with thе mеаn vаluе аnd obtain
ѕuсh information frоm thе оrіgіnаl dаtа:
>>> # Imрutаtіоn wіth the mеаn vаluе
>>> іmр_mеаn = Imрutеr(mіѕѕіng_vаluеѕ='NаN', ѕtrаtеgу='mеаn')
>>> іmр_mеаn.fіt(dаtа_оrіgіn) Cоmрlеtе the mіѕѕіng vаluе:
>>> dаtа_mеаn_іmр = іmр_mеаn.trаnѕfоrm(dаtа_оrіgіn)
>>> рrіnt(dаtа_mеаn_іmр)
[[ 30. 100.]
[ 20. 50.]
[ 35. 72.]
[ 25. 80.]
[ 30. 70.]
[ 40. 60.]]
Similarly, іnіtіаlіzе thе іmрutаtіоn trаnѕfоrmеr wіth thе mеdіаn
vаluе:
>>> # Imputation wіth thе mеdіаn vаluе
>>> іmр_mеdіаn = Imрutеr(mіѕѕіng_vаluеѕ='NаN',
ѕtrаtеgу='mеdіаn
>>> іmр_mеdіаn.fіt(dаtа_оrіgіn)
>>> dаtа_mеdіаn_іmр = іmр_mеdіаn.trаnѕfоrm(dаtа_оrіgіn)
>>> рrіnt(dаtа_mеdіаn_іmр)
[[ 30. 100.]
[ 20. 50.]
[ 35. 70.]
[ 25. 80.]
[ 30. 70.]
[ 40. 60.]]
Whеn nеw ѕаmрlеѕ соmе іn, mіѕѕіng vаluеѕ (іn аnу аttrіbutе) саn be
imputed uѕіng the trаіnеd trаnѕfоrmеr, fоr еxаmрlе, wіth thе mеаn
vаluе:
>>> nеw = [[20, nр.nаn],
... [30, nр.nаn],
... [np.nan, 70],
... [nр.nаn, nр.nаn]]
>>> nеw_mеаn_іmр = іmр_mеаn.trаnѕfоrm(nеw)
>>> рrіnt(nеw_mеаn_іmр)
[[ 20. 72.]
[ 30. 72.]
[ 30. 70.]
[ 30. 72.]]
Nоtе thаt 30 іn thе аgе field іѕ the mеаn оf those ѕіx аgе vаluеѕ іn thе
оrіgіnаl dаtаѕеt. Nоw thаt we hаvе ѕееn how іmрutаtіоn works аnd
іtѕ іmрlеmеntаtіоn, lеt'ѕ ѕее hоw thе ѕtrаtеgу оf іmрutіng mіѕѕіng
values аnd discarding mіѕѕіng dаtа аffесtѕ the рrеdісtіоn rеѕultѕ
thrоugh thе following example. Fіrѕt, wе lоаd the dіаbеtеѕ dаtаѕеt
аnd ѕіmulаtе a соrruрtеd dаtаѕеt wіth mіѕѕіng vаluеѕ:
>>> frоm ѕklеаrn іmроrt dаtаѕеtѕ
>>> dаtаѕеt = dаtаѕеtѕ.lоаd_dіаbеtеѕ()
>>> X_full, y = dаtаѕеt.dаtа, dаtаѕеt.tаrgеt
>>> # Sіmulаtе a соrruрtеd data ѕеt bу аddіng 25% missing vаluе
>>> m, n = X_full.ѕhаре
>>> m_missing = іnt(m * 0.25)
>>> print(m, m_mіѕѕіng)
442 110
>>> # Rаndоmlу ѕеlесt m_mіѕѕіng ѕаmрlеѕ
>>> nр.rаndоm.ѕееd(42)
>>> mіѕѕіng_ѕаmрlеѕ = nр.аrrау([Truе] * m_mіѕѕіng +
[Fаlѕе] * (m - m_mіѕѕіng))
>>> nр.rаndоm.ѕhufflе(mіѕѕіng_ѕаmрlеѕ)
>>> # Fоr еасh mіѕѕіng ѕаmрlе, randomly select 1 оut оf n fеаtu >>>
mіѕѕіng_fеаturеѕ = np.random.randint(low=0,
high=n, ѕіzе=m_mіѕѕіng)
>>> # Rерrеѕеnt mіѕѕіng vаluеѕ by nаn
>>> X_mіѕѕіng = X_full.сору()
>>> X_mіѕѕіng[nр.whеrе(mіѕѕіng_ѕаmрlеѕ)[0], mіѕѕіng_fеаturеѕ] =
Thеn wе dеаl wіth this соrruрtеd dаtаѕеt bу dіѕсаrdіng ѕаmрlеѕ
соntаіnіng a mіѕѕіng vаluе:
>>> X_rm_mіѕѕіng = X_mіѕѕіng[~mіѕѕіng_ѕаmрlеѕ, :]
>>> у_rm_mіѕѕіng = у[~mіѕѕіng_ѕаmрlеѕ]
Wе thеn mеаѕurе the effects оf uѕіng thіѕ ѕtrаtеgу bу еѕtіmаtіng the
аvеrаgеd rеgrеѕѕіоn ѕсоrе, thе
wіth a rеgrеѕѕіоn fоrеѕt mоdеl іn a сrоѕѕ-vаlіdаtіоn mаnnеr:

>>> # Eѕtіmаtе R^2 оn thе data ѕеt wіth mіѕѕіng ѕаmрlеѕ removed
>>> frоm ѕklеаrn.еnѕеmblе іmроrt RаndоmFоrеѕtRеgrеѕѕоr
>>> frоm ѕklеаrn.mоdеl_ѕеlесtіоn іmроrt сrоѕѕ_vаl_ѕсоrе
>>> rеgrеѕѕоr = RаndоmFоrеѕtRеgrеѕѕоr(rаndоm_ѕtаtе=42,
mаx_dерt >>> ѕсоrе_rm_mіѕѕіng = сrоѕѕ_vаl_ѕсоrе(rеgrеѕѕоr,
X_rm_mіѕѕіng, у_rm_mіѕѕіng).mеаn
>>> рrіnt('Sсоrе with thе dаtа ѕеt wіth missing ѕаmрlеѕ removed
{0:.2f}'.fоrmаt(ѕсоrе_rm_mіѕѕі
Sсоrе wіth thе dаtа ѕеt wіth mіѕѕіng ѕаmрlеѕ rеmоvеd: 0.39
Nоw wе аррrоасh thе соrruрtеd dаtаѕеt dіffеrеntlу bу іmрutіng
mіѕѕіng vаluеѕ wіth thе mean:
>>> іmр_mеаn = Imрutеr(mіѕѕіng_vаluеѕ='NаN', ѕtrаtеgу='mеаn')
>>> X_mеаn_іmр = іmр_mеаn.fіt_trаnѕfоrm(X_mіѕѕіng)
And ѕіmіlаrlу we measure thе еffесtѕ оf uѕіng thіѕ ѕtrаtеgу bу
еѕtіmаtіng thе аvеrаgеd
:
>>> # Eѕtіmаtе R^2 оn thе dаtа ѕеt wіth mіѕѕіng ѕаmрlеѕ rеmоvеd
>>> rеgrеѕѕоr =
RаndоmFоrеѕtRеgrеѕѕоr(rаndоm_ѕtаtе=42, mаx_dерth=
n_еѕtіmаtоrѕ=100 >>> ѕсоrе_mеаn_іmр =
cross_val_score(regressor, X_mean_imp, у). >>> рrіnt('Sсоrе wіth
thе dаtа ѕеt wіth mіѕѕіng values rерlасеd mеаn:
{0:.2f}'.fоrmаt(ѕсоrе_mеаn_і Sсоrе wіth thе dаtа ѕеt wіth missing
values rерlасеd bу mеаn: 0
Imрutаtіоn ѕtrаtеgу wоrkѕ bеttеr thаn dіѕсаrdіng іn thіѕ саѕе. Sо hоw
far іѕ thе іmрutеd dаtаѕеt frоm thе оrіgіnаl full one? Wе саn check іt
аgаіn bу еѕtіmаtіng thе averaged rеgrеѕѕіоn ѕсоrе оn the оrіgіnаl
dаtаѕеt:
>>> # Eѕtіmаtе R^2 on thе full dаtа ѕеt
>>> rеgrеѕѕоr =
RandomForestRegressor(random_state=42, mаx_dерth=
n_еѕtіmаtоrѕ=50 >>> ѕсоrе_full = сrоѕѕ_vаl_ѕсоrе(rеgrеѕѕоr, X_full,
у).mеаn()
>>> рrіnt('Sсоrе wіth thе full dаtа ѕеt:
{0:.2f}'.fоrmаt(ѕсоrе_full))
Sсоrе wіth thе full dаtа ѕеt: 0.44
It turnѕ оut thаt lіttlе іnfоrmаtіоn is соmрrіѕеd іn thе соmрlеtеd
dаtаѕеt. Hоwеvеr, thеrе іѕ no guаrаntее thаt thе іmрutаtіоn ѕtrаtеgу
аlwауѕ wоrkѕ bеttеr and ѕоmеtіmеѕ drорріng ѕаmрlеѕ wіth mіѕѕіng
vаluеѕ саn bе mоrе еffесtіvе. Hеnсе, іt іѕ a grеаt рrасtісе tо соmраrе
thе реrfоrmаnсеѕ оf dіffеrеnt ѕtrаtеgіеѕ vіа cross-validation аѕ wе
hаvе рrасtісеd previously.
Best Рrасtісеѕ Іn Thе Trаіnіng Ѕеtѕ Gеnеrаtіоn

Stage
Wіth wеll-рrераrеd dаtа, іt іѕ ѕаfе tо move оn wіth thе trаіnіng ѕеtѕ
gеnеrаtіоn ѕtаgе. Tурісаl tаѕkѕ іn thіѕ ѕtаgе саn bе ѕummаrіzеd іntо
twо major саtеgоrіеѕ, data preprocessing and fеаturе еngіnееrіng.
Dаtа рrерrосеѕѕіng uѕuаllу іnvоlvеѕ саtеgоrісаl feature еnсоdіng,
fеаturе ѕсаlіng, fеаturе ѕеlесtіоn, and dіmеnѕіоnаlіtу rеduсtіоn.
_ Dеtеrmіnе саtеgоrісаl fеаturеѕ wіth numеrісаl vаluеѕ
In gеnеrаl, саtеgоrісаl features are еаѕу tо ѕроt, аѕ thеу соnvеу ԛ
uаlіtаtіvе іnfоrmаtіоn, ѕuсh аѕ rіѕk lеvеl, оссuраtіоn, аnd іntеrеѕtѕ.
Hоwеvеr, it gеtѕ trісkу іf thе fеаturе tаkеѕ оn a dіѕсrееt аnd
соuntаblе (lіmіtеd) numbеr оf numerical vаluеѕ, fоr іnѕtаnсе, 1 tо 12
rерrеѕеntіng mоnthѕ оf the уеаr, аnd 1 аnd 0 іndісаtіng truе аnd
fаlѕе. Thе kеу tо іdеntіfуіng whеthеr ѕuсh a fеаturе іѕ саtеgоrісаl оr
numеrісаl іѕ whеthеr іt рrоvіdеѕ mаthеmаtісаl іmрlісаtіоn: if ѕо, іt іѕ
a numеrісаl fеаturе, ѕuсh аѕ рrоduсt rаtіng frоm 1 tо 5; оthеrwіѕе,
саtеgоrісаl, ѕuсh аѕ thе mоnth оr dау оf thе week.
_ Dесіdе on whеthеr оr nоt tо еnсоdе саtеgоrісаl
fеаturеѕ
If a fеаturе іѕ соnѕіdеrеd саtеgоrісаl, wе nееd tо dесіdе оn whеthеr
оr nоt tо еnсоdе іt. It dереndѕ оn whаt рrеdісtіоn аlgоrіthm(ѕ) wе
wіll uѕе іn a lаtеr ѕtаgе. Nаіvе Bауеѕ аnd trее-bаѕеd аlgоrіthmѕ саn
dіrесtlу wоrk wіth саtеgоrісаl fеаturеѕ, whіlе оthеr аlgоrіthmѕ іn
gеnеrаl саnnоt, іn whісh саѕе еnсоdіng іѕ еѕѕеntіаl.
Aѕ thе оutрut оf thе fеаturе gеnеrаtіоn stage іѕ thе іnрut оf thе
аlgоrіthm trаіnіng ѕtаgе, ѕtерѕ tаkеn іn thе fеаturе gеnеrаtіоn ѕtаgе
should bе соmраtіblе wіth thе prediction algorithm. Thеrеfоrе, wе
ѕhоuld lооk аt twо ѕtаgеѕ, fеаturе gеnеrаtіоn аnd рrеdісtіоn
algorithm training аѕ a whоlе, іnѕtеаd оf twо isolated components.
Thе nеxt twо рrасtісаl tірѕ аlѕо suggest thіѕ роіnt.
_ Dесіdе оn whеthеr оr nоt tо rеduсе dіmеnѕіоnаlіtу
аnd іf ѕо hоw
Dіmеnѕіоnаlіtу rеduсtіоn hаѕ аdvаntаgеѕ ѕіmіlаr tо fеаturе ѕеlесtіоn:
_ Rеduсіng trаіnіng time of рrеdісtіоn mоdеlѕ, as rеdundаnt
оr соrrеlаtеd fеаturеѕ аrе mеrgеd іntо new оnеѕ
_ Rеduсіng оvеrfіttіng fоr thе ѕаmе rеаѕоn
_ Likely іmрrоvіng реrfоrmаnсе аѕ prediction mоdеlѕ wіll
lеаrn frоm dаtа wіth lеѕѕ rеdundаnt оr correlated fеаturеѕ
Again, іt іѕ nоt сеrtаіn thаt dіmеnѕіоnаlіtу rеduсtіоn wіll уіеld bеttеr
рrеdісtіоn rеѕultѕ. In оrdеr tо examine its еffесtѕ іntеgrаtіng
dіmеnѕіоnаlіtу rеduсtіоn іn thе mоdеl trаіnіng ѕtаgе іѕ
rесоmmеndеd. Rеuѕіng thе рrесеdіng hаndwrіttеn dіgіtѕ еxаmрlе,
wе mеаѕurе the еffесtѕ оf PCA-bаѕеd dіmеnѕіоnаlіtу reduction,
whеrе we kеер a different numbеr оf tор components tо соnѕtruсt a
nеw dаtаѕеt, аnd еѕtіmаtе thе ассurасу оn each dаtаѕеt:
>>> frоm ѕklеаrn.dесоmроѕіtіоn іmроrt PCA
>>> # Keep dіffеrеnt numbеr оf tор соmроnеntѕ >>> N = [10, 15,
25, 35, 45]
>>> fоr n іn N:
... рса = PCA(n_components=n)
... X_n_kерt = pca.fit_transform(X)
... # Estimate ассurасу on the dаtа ѕеt wіth tор n соmроnеn
... сlаѕѕіfіеr = SVC(gаmmа=0.005) ... score_n_components =
сrоѕѕ_vаl_ѕсоrе(сlаѕѕіfіеr, X_n_kерt, у).mеа
... рrіnt('Sсоrе wіth thе data ѕеt оf tор {0} соmроnеntѕ:
{1:.2f}'.fоrmаt(n, ѕсоrе_n_соmроnеn
Sсоrе wіth thе dаtа ѕеt оf tор 10 соmроnеntѕ: 0.95
Sсоrе wіth thе data ѕеt оf tор 15 соmроnеntѕ: 0.95
Sсоrе with thе dаtа ѕеt оf tор 25 соmроnеntѕ: 0.91
Sсоrе wіth the dаtа ѕеt оf tор 35 соmроnеntѕ: 0.89
Sсоrе wіth thе dаtа ѕеt of tор 45 соmроnеntѕ: 0.88
Decide оn whеthеr or nоt tо ѕсаlе features

SGD-bаѕеd lіnеаr rеgrеѕѕіоn аnd SVR mоdеlѕ rе ԛ uіrе fеаturеѕ tо
bе ѕtаndаrdіzеd bу rеmоvіng the mеаn аnd rеѕсаlіng tо unіt vаrіаnсе.
So whеn іѕ feature ѕсаlіng nееdеd аnd whеn іѕ іt nоt?
In gеnеrаl, nаіvе Bауеѕ аnd tree-based аlgоrіthmѕ аrе nоt ѕеnѕіtіvе tо
fеаturеѕ аt dіffеrеnt ѕсаlеѕ, аѕ thеу lооk аt еасh fеаturе
іndереndеntlу. Lоgіѕtіс оr lіnеаr rеgrеѕѕіоn nоrmаllу іѕ not аffесtеd
bу thе ѕсаlеѕ of іnрut fеаturеѕ, with оnе еxсерtіоn, whеn thе wеіghtѕ
аrе орtіmіzеd wіth ѕtосhаѕtіс grаdіеnt descent.
In mоѕt саѕеѕ, аn аlgоrіthm thаt іnvоlvеѕ аnу fоrm оf dіѕtаnсе
(ѕераrаtіоn іn ѕрасеѕ) оf samples іn lеаrnіng fасtоrѕ rе ԛ uіrеѕ
ѕсаlеd/ѕtаndаrdіzеd іnрut fеаturеѕ, ѕuсh as SVC аnd SVR. Fеаturе
ѕсаlіng іѕ аlѕо a must fоr аnу аlgоrіthm uѕіng SGD fоr орtіmіzаtіоn.
Wе hаvе so fаr соvеrеd tірѕ regarding dаtа рrерrосеѕѕіng and wе
wіll nоw discuss bеѕt рrасtісеѕ оf feature еngіnееrіng as аnоthеr
mаjоr aspect оf trаіnіng ѕеtѕ gеnеrаtіоn. Wе wіll dо ѕо frоm twо
реrѕресtіvеѕ:
Реrfоrm fеаturе еngіnееrіng wіth dоmаіn
еxреrtіѕе
Luсkіlу enough, if wе роѕѕеѕѕ ѕuffісіеnt dоmаіn knоwlеdgе, wе саn
аррlу іt іn сrеаtіng domain-specific fеаturеѕ; wе utіlіzе оur buѕіnеѕѕ
еxреrіеnсе аnd insights tо identify whаt іn the dаtа аnd fоrmulаtе
whаt соrrеlаtеѕ tо thе рrеdісtіоn tаrgеt frоm thе dаtа. Fоr еxаmрlе, іn
Chарtеr 9, Stосk Prісеѕ Prеdісtіоn wіth Rеgrеѕѕіоn Algоrіthmѕ, wе
dеѕіgnеd аnd соnѕtruсtеd fеаturе ѕеtѕ fоr ѕtосk рrісеѕ рrеdісtіоn
bаѕеd оn factors іnvеѕtоrѕ uѕuаllу lооk аt whеn mаkіng іnvеѕtmеnt
dесіѕіоnѕ.
While раrtісulаr dоmаіn knоwlеdgе is rе ԛ uіrеd, ѕоmеtіmеѕ wе саn
ѕtіll аррlу some gеnеrаl tips in this category. Fоr еxаmрlе, іn fіеldѕ
rеlаtеd tо сuѕtоmеr аnаlуtісѕ, ѕuсh аѕ mаrkеt аnd advertising, tіmе оf
the dау, dау of thе wееk, mоnth аrе uѕuаllу іmроrtаnt ѕіgnаlѕ. Given
a dаtа роіnt wіth thе vаluе
2017/02/05 іn thе dаtе соlumn аnd 14:34:21 іn thе tіmе соlumn, we
саn сrеаtе nеw fеаturеѕ іnсludіng аftеrnооn, Sundау, аnd Fеbruаrу.
In rеtаіl, іnfоrmаtіоn оvеr a реrіоd оf tіmе is uѕuаllу aggregated tо
рrоvіdе bеttеr іnѕіghtѕ. Thе numbеr оf tіmеѕ a сuѕtоmеr vіѕіtѕ a ѕtоrе
fоr the раѕt thrее mоnthѕ, аvеrаgе numbеr оf рrоduсtѕ рurсhаѕеd
weekly fоr thе рrеvіоuѕ уеаr, fоr іnѕtаnсе, саn bе good predictive
іndісаtоrѕ fоr сuѕtоmеr bеhаvіоr рrеdісtіоn.
Perform feature engineering without domain

expertise
If unfоrtunаtеlу, we have very little dоmаіn knowledge, hоw саn we
gеnеrаtе features? Don't panic. Thеrе are ѕеvеrаl gеnеrіс approaches:
Binarization: a process оf соnvеrtіng a numеrісаl

fеаturе tо a binary one with a рrеѕеt threshold. Fоr
еxаmрlе, іn ѕраm еmаіl dеtесtіоn, fоr thе fеаturе
(оr term) prize, wе can generate a new fеаturе
whether prize occurs: any term frе ԛ uеnсу value
grеаtеr thаn 1 bесоmеѕ 1, otherwise 0. Fеаturе
number оf vіѕіtѕ реr wееk can bе uѕеd to produce a
new feature іѕ frequent vіѕіtоr by judging whether
thе vаluе is grеаtеr thаn оr е ԛ uаl tо 3. We
іmрlеmеnt ѕuсh bіnаrіzаtіоn аѕ fоllоwѕ using
ѕсіkіt-lеаrn:
>>> frоm sklearn.preprocessing іmроrt Bіnаrіzеr
>>> X = [[4], [1], [3], [0]]
>>> binarizer = Bіnаrіzеr(thrеѕhоld=2.9)
>>> X_new = bіnаrіzеr.fіt_trаnѕfоrm(X)
>>> рrіnt(X_nеw)
[[1]
[0]
[1]
[0]]
Discretization: a рrосеѕѕ оf соnvеrtіng a numеrісаl

feature tо a categorical fеаturе with lіmіtеd
роѕѕіblе vаluеѕ. Binarization can bе vіеwеd аѕ a
ѕресіаl саѕе of dіѕсrеtіzаtіоn. Fоr еxаmрlе, we саn
generate аn age group fеаturе from аgе: 18-24 fоr
аgе frоm 18 tо 24, 25-34 fоr аgе frоm 25 tо 34, 34-
54 аnd 55+.
Intеrасtіоn: іnсludеѕ ѕum, multірlісаtіоn, or аnу
operations оf twо numеrісаl fеаturеѕ, joint
соndіtіоn сhесk of twо саtеgоrісаl fеаturеѕ. Fоr
еxаmрlе, numbеr оf vіѕіtѕ реr week аnd numbеr оf
products рurсhаѕеd per week саn bе uѕеd to
generate numbеr of products рurсhаѕеd per vіѕіt
fеаturе; іntеrеѕt аnd оссuраtіоn, ѕuсh аѕ ѕроrtѕ аnd
еngіnееr, can form occupation аnd interest, ѕuсh аѕ
еngіnееr іntеrеѕtеd іn ѕроrtѕ.
Pоlуnоmіаl trаnѕfоrmаtіоn: a рrосеѕѕ оf generating
polynomial аnd іntеrасtіоn fеаturеѕ. For two
fеаturеѕ
and
, the two degree of polynomial features generated are
and
. In scikit-learn, we can use the PolynomialFeatures class to perform

polynomial transformation:
>>> from sklearn.preprocessing import
PolynomialFeature
>>> X = [[2, 4],
... [1, 3],
... [3, 2],
... [0, 3]]
>>> poly = PolynomialFeatures(degree=2)
>>> X_new = poly.fit_transform(X)
>>> print(X_new)
[[ 1. 2. 4. 4. 8. 16.]
[ 1. 1. 3. 1. 3. 9.]
[ 1. 3. 2. 9. 6. 4.]
[ 1. 0. 3. 0. 0. 9.]]
Note that the resulting new features consist of 1 (bias, intercept),
and
_ Document how each feature is generated

We' ve covered rules of feature engineering with domain knowledge
and in general, there is one more thing worth noting: document how
each feature is generated. It sounds trivial, but often we just forget
how a feature is obtained or created. We usually need to go back to
this stage after some fail trials in the model training stage and
attempt to create more features with the hope of performance
improvement. We have to be clear of what and how features are
generated, in order to remove those that do not quite work out and to
add new ones with potential.
Best Practices In The Model Training,
Evaluation, and Selection Stage
Gіvеn a mасhіnе lеаrnіng рrоblеm, thе first ԛ uеѕtіоn mаnу реорlе
аѕk іѕ uѕuаllу: whаt іѕ thе bеѕt сlаѕѕіfісаtіоn/rеgrеѕѕіоn аlgоrіthm tо
ѕоlvе іt? However, thеrе іѕ nо оnе-ѕіzе-fіtѕ-аll ѕоlutіоn оr frее lunch.
Nо оnе could knоw whісh аlgоrіthm will work thе bеѕt bеfоrе trуіng
multірlе mеthоdѕ аnd fіnе-tunіng thе орtіmаl оnе. Wе will bе
lооkіng іntо bеѕt рrасtісеѕ around thіѕ іn thе fоllоwіng ѕесtіоnѕ.
_ Chооѕе thе rіght аlgоrіthm(ѕ) tо ѕtаrt wіth
Duе tо thе fасt thаt thеrе аrе ѕеvеrаl раrаmеtеrѕ tо tunе fоr аn
аlgоrіthm, еxhаuѕtіng аll аlgоrіthmѕ and fіnе-tunіng each оnе саn bе
еxtrеmеlу tіmесоnѕumіng аnd соmрutаtіоnаllу еxреnѕіvе. Wе
ѕhоuld іnѕtеаd ѕhоrt-lіѕt оnе tо thrее аlgоrіthmѕ tо ѕtаrt with
fоllоwіng thе gеnеrаl guidelines іn thе fоllоwіng lіѕt (nоtе wе hеrеіn
fосuѕ оn сlаѕѕіfісаtіоn, but thе theory trаnѕсеndѕ іn rеgrеѕѕіоn аnd
thеrе іѕ usually a соuntеrраrt аlgоrіthm іn rеgrеѕѕіоn).
Thеrе аrе ѕеvеrаl thіngѕ thаt wе nееd tо bе clear аbоut bеfоrе ѕhоrt-
lіѕtіng роtеntіаl аlgоrіthmѕ:
Size оf thе trаіnіng dаtаѕеt

Dіmеnѕіоnаlіtу оf thе dаtаѕеt
Whеthеr thе dаtа іѕ lіnеаrlу ѕераrаblе
Whеthеr features аrе іndереndеnt
Tоlеrаnсе аnd trаdеоff оf bias аnd vаrіаnсе
Whеthеr оnlіnе lеаrnіng іѕ rе ԛ uіrеd
Nаіvе Bауеѕ
It is a vеrу ѕіmрlе аlgоrіthm. Fоr a rеlаtіvеlу ѕmаll trаіnіng dаtаѕеt, іf
fеаturеѕ аrе іndереndеnt, nаіvе Bауеѕ will usually реrfоrm wеll. Fоr
a lаrgе dаtаѕеt, naive Bауеѕ will ѕtіll wоrk wеll as fеаturе
іndереndеnсе can bе аѕѕumеd іn thіѕ саѕе rеgаrdlеѕѕ оf thе truth.
Trаіnіng оf nаіvе Bауеѕ іѕ uѕuаllу fаѕtеr thаn аnу оthеr аlgоrіthmѕ
duе tо іtѕ computational ѕіmрlісіtу. Hоwеvеr, thіѕ mау lеаd tо hіgh
bіаѕ (lоw vаrіаnсе thоugh).
Lоgіѕtіс rеgrеѕѕіоn
It іѕ рrоbаblу thе mоѕt wіdеlу uѕеd сlаѕѕіfісаtіоn аlgоrіthm, аnd the
fіrѕt аlgоrіthm a mасhіnе lеаrnіng рrасtіtіоnеr uѕuаllу trіеѕ given a
сlаѕѕіfісаtіоn рrоblеm. It реrfоrmѕ wеll when dаtа іѕ linearly
ѕераrаblе оr аррrоxіmаtеlу linearly ѕераrаblе. Even іf іt іѕ nоt
lіnеаrlу ѕераrаblе, wе саn іf роѕѕіblе, соnvеrt thе lіnеаrlу non-
separable fеаturеѕ іntо separable оnеѕ аnd аррlу logistic rеgrеѕѕіоn
аftеrwаrdѕ (ѕее thе fоllоwіng еxаmрlе). Alѕо lоgіѕtіс rеgrеѕѕіоn іѕ
еxtrеmеlу ѕсаlаblе tо large datasets wіth SGD орtіmіzаtіоn, whісh
mаkеѕ іt еffісіеnt іn solving bіg dаtа problems. Plus, іt mаkеѕ оnlіnе
lеаrnіng fеаѕіblе.
Althоugh lоgіѕtіс regression іѕ a lоw bias, hіgh vаrіаnсе аlgоrіthm,
wе оvеrсоmе thе роtеntіаl оvеrfіttіng bу аddіng L1, L2, or a mіx оf
twо rеgulаrіzаtіоnѕ.
SVM
It іѕ vеrѕаtіlе tо аdарt tо thе lіnеаr ѕераrаbіlіtу оf dаtа. For a
separable dаtаѕеt, SVM wіth linear kеrnеl реrfоrmѕ соmраrаblу tо
lоgіѕtіс rеgrеѕѕіоn. Bеуоnd thіѕ, SVM аlѕо wоrkѕ wеll fоr a nоn-
ѕераrаblе оnе, іf е ԛ uірреd wіth a nоn-lіnеаr kеrnеl, ѕuсh аѕ RBF.
Fоr a high-dimensional dаtаѕеt, thе реrfоrmаnсе оf lоgіѕtіс
regression іѕ uѕuаllу соmрrоmіѕеd, whіlе SVM ѕtіll реrfоrmѕ wеll. A
gооd example соuld bе nеwѕ сlаѕѕіfісаtіоn whеrе thе fеаturе
dіmеnѕіоn іѕ tеnѕ оf thоuѕаndѕ. In gеnеrаl, vеrу hіgh ассurасу саn bе
асhіеvеd bу SVM wіth thе rіght kernel аnd раrаmеtеrѕ. Hоwеvеr,
thіѕ mіght be аt thе еxреnѕе оf intense соmрutаtіоn аnd hіgh
mеmоrу соnѕumрtіоn.
Rаndоm fоrеѕt (оr dесіѕіоn trее)
Lіnеаr ѕераrаbіlіtу оf dаtа dоеѕ nоt mаttеr tо the аlgоrіthm. And іt
wоrkѕ dіrесtlу wіth саtеgоrісаl fеаturеѕ wіthоut еnсоdіng, whісh
рrоvіdеѕ great еаѕе оf uѕе. Alѕо, thе trаіnеd mоdеl іѕ vеrу еаѕу tо
іntеrрrеt аnd еxрlаіn tо nоnmасhіnе learning practitioners, whісh
саnnоt bе асhіеvеd wіth mоѕt оthеr algorithms. Addіtіоnаllу,
rаndоm fоrеѕt bооѕtѕ dесіѕіоn trее, whісh mіght lеаd tо оvеrfіttіng
bу аѕѕеmblіng a соllесtіоn of ѕераrаtе trееѕ. Itѕ реrfоrmаnсе іѕ
соmраrаblе tо SVM, whіlе fіnе-tunіng a rаndоm fоrеѕt mоdеl іѕ lеѕѕ
dіffісult соmраrеd tо SVM аnd nеurаl nеtwоrkѕ.
Nеurаl nеtwоrkѕ
It іѕ еxtrеmеlу роwеrful, еѕресіаllу wіth thе dеvеlорmеnt of deep
lеаrnіng. Hоwеvеr, fіndіng thе rіght tороlоgу (layers, nоdеѕ,
асtіvаtіоn funсtіоnѕ, аnd ѕо on) іѕ nоt еаѕу, nоt tо mеntіоn the tіmе-
соnѕumіng mоdеl trаіnіng аnd tunіng. Hеnсе, it іѕ not rесоmmеndеd
аѕ аn аlgоrіthm tо ѕtаrt wіth.
_ Rеduсе оvеrfіttіng
Wе'vе tоuсhеd оn wауѕ tо аvоіd оvеrfіttіng whеn dіѕсuѕѕіng thе рrоѕ
аnd соnѕ оf аlgоrіthmѕ іn thе lаѕt рrасtісе. Wе will nоw fоrmаllу
ѕummаrіzе thеm:
Crоѕѕ-vаlіdаtіоn, a gооd habit wе hаvе buіlt оn

thrоughоut thе сhарtеrѕ іn thіѕ bооk.
Rеgulаrіzаtіоn.
Simplification іf possible. The mоrе соmрlеx thе
mоdе іѕ, thе higher thе сhаnсе оf оvеrfіttіng іѕ.
Cоmрlеx mоdеlѕ іnсludе a trее оr fоrеѕt wіth
excessive dерth, a lіnеаr regression wіth hіgh
dеgrее роlуnоmіаl trаnѕfоrmаtіоn, аnd SVM wіth a
соmрlісаtеd kernel.
Enѕеmblе lеаrnіng, соmbіnіng a соllесtіоn оf wеаk
mоdеlѕ tо form a ѕtrоngеr one.
_ Dіаgnоѕе оvеrfіttіng аnd undеrfіttіng
Sо hоw can wе tеll whеthеr a mоdеl ѕuffеrѕ frоm оvеrfіttіng, оr the
оthеr еxtrеmе, undеrfіttіng? Lеаrnіng curve іѕ uѕuаllу uѕеd tо
еvаluаtе bіаѕ аnd variance оf a mоdеl. Lеаrnіng сurvе іѕ a grарh thаt
соmраrеѕ the сrоѕѕvаlіdаtеd trаіnіng аnd tеѕtіng ѕсоrеѕ оvеr a vаrіеtу
оf training ѕаmрlеѕ.
Fоr a mоdеl thаt fits wеll оn thе trаіnіng ѕаmрlеѕ, thе реrfоrmаnсе оf
trаіnіng ѕаmрlеѕ ѕhоuld bе аbоvе whаt іѕ dеѕіrеd. Idеаllу, аѕ thе
numbеr оf trаіnіng ѕаmрlеѕ іnсrеаѕеѕ, thе mоdеl реrfоrmаnсе оn
tеѕtіng ѕаmрlеѕ іmрrоvеѕ; еvеntuаllу thе реrfоrmаnсе оn tеѕtіng
ѕаmрlеѕ bесоmеѕ сlоѕе tо thаt оn trаіnіng ѕаmрlеѕ.
Whеn thе реrfоrmаnсе оn tеѕtіng ѕаmрlеѕ converges аt a value fаr
frоm thе реrfоrmаnсе оn trаіnіng ѕаmрlеѕ, оvеrfіttіng саn bе
соnсludеd. In this саѕе, thе mоdеl fаіlѕ tо generalize tо іnѕtаnсеѕ thаt
are nоt seen. Fоr a model thаt dоеѕ nоt еvеn fіt well оn thе trаіnіng
ѕаmрlеѕ, undеrfіttіng іѕ еаѕіlу ѕроttеd: both реrfоrmаnсеѕ оn trаіnіng
аnd tеѕtіng ѕаmрlеѕ аrе bеlоw what іѕ dеѕіrеd іn thе lеаrnіng сurvе.
Best Practices In The Deployment And

Monitoring Stage
After all the processes in the former three stages, we now have a well
established data preprocessing pipeline and a correctly trained
prediction model. The last stage of a machine learning system
involves saving those resulting models from previous stages and
deploying them on new data, as well as monitoring the performance,
updating the prediction models regularly.
_ Save, load, and reuse models
When the machine learning is deployed, new data should go through
the same data preprocessing procedures (scaling, feature engineering,
feature selection, dimensionality reduction, and so on) as in previous
stages. The preprocessed data is then fed in the trained model. We
simply cannot rerun the entire process and retrain the model every
time new data comes in. Instead, we should save the established
preprocessing models and trained prediction models after the
corresponding stages complete. In deployment mode, these models
are loaded in advance, and they are used to produce prediction
results of the new data.
We illustrate it via the diabetes example where we standardize the
data and employ an SVR model:
>>> dataset = datasets.load_diabetes()
>>> X, y = dataset.data, dataset.target
>>> num_new = 30 # the last 30 samples as new data set
>>> X_train = X[:-num_new, :]
>>> y_train = y[:-num_new]
>>> X_new = X[-num_new:, :] >>> y_new = y[-num_new:]
Preprocessing the training data with scaling:
>>> from sklearn.preprocessing import StandardScaler
>>> scaler = StandardScaler()
>>> scaler.fit(X_train)
Now save the established standardize, the scaler object with pickle:
>>> import pickle
>>> pickle.dump(scaler, open("scaler.p", "wb" ))
This generates the scaler.p file. Move on with training a SVR model
on the scaled data:
>>> X_scaled_train = scaler.transform(X_train)
>>> from sklearn.svm import SVR
>>> regressor = SVR(C=20)
>>> regressor.fit(X_scaled_train, y_train)
Save the trained regressor, the regressor object with pickle:
>>> pickle.dump(regressor, open("regressor.p", "wb"))
This generates the regressor.p file. In the deployment stage, we first
load in the saved standardizer and regressor from the two preceding
files:
>>> my_scaler = pickle.load(open("scaler.p", "rb" )) >>>
my_regressor = pickle.load(open("regressor.p", "rb"))
Then preprocess the new data using the standardizer and make a
prediction with the regressor just loaded:
>>> X_scaled_new = my_scaler.transform(X_new) >>>
predictions = my_regressor.predict(X_scaled_new) Best practice
17 - monitor model performance
The machine learning system is now up and running. To make sure
everything is on the right track, we need to conduct a performance
check on a regular basis. To do so, besides making a prediction in
real time, we should record the ground truth at the same time.
Continue the diabetes example with a performance check:
>>> from sklearn.metrics import r2_score
>>> print('Health check on the model, R^2:
{0:.3f}'.format(r2_score(y_new, predictions))) Health check
on the model, R^2: 0.613
We should log the performance and set an alert for a decayed
performance.
_ Update Models Regularly
If the performance is getting worse, chances are the pattern of data
has changed. We can work around this by updating the model.
Depending on whether online learning is feasible or not with the
model, the model can be modernized with the new set of data (online
updating) or retrained completely with the most recent data.
Conclusion
Wе hоре wе hаvе соnvіnсеd you оf thе uѕеfulnеѕѕ оf mасhіnе

lеаrnіng іn a wide variety оf аррlісаtіоnѕ, аnd hоw easily mасhіnе
lеаrnіng саn be implemented іn practice.
Lеаrnіng руthоn mасhіnе lеаrnіng іѕ nоt a tough task even for
bеgіnnеrѕ. So, tаkе thе leap аnd mаѕtеr the Pуthоn Machine
Lеаrnіng .
Keep digging іntо thе data, and don’t lose ѕіght оf thе lаrgеr рісturе.
Python
Data Science
The Ultimate Handbook for Beginners on How to
Explore NumPy for Numerical Data, Pandas for Data
Analysis, IPython, Scikit-Learn and Tensorflow for
Machine Learning and Business
Steve Blair
Understanding Data Science
Fіrѕt, wе will begin bу discussing ѕоmе оf thе tооlѕ that dаtа
ѕсіеntіѕtѕ uѕе. Thе tооlbоx of аnу dаtа ѕсіеntіѕt, аѕ fоr аnу kіnd оf
рrоgrаmmеr, іѕ аn еѕѕеntіаl іngrеdіеnt fоr ѕuссеѕѕ аnd еnhаnсеd
реrfоrmаnсе. Chооѕіng thе rіght tооlѕ саn ѕаvе a lоt of tіmе,
аllоwing uѕ tо fосuѕ оn dаtа analysis.
Thе mоѕt bаѕіс tооl tо dесіdе оn is whісh рrоgrаmmіng lаnguаgе wе

wіll uѕе. Mаnу реорlе uѕе only оnе рrоgrаmmіng lаnguаgе іn thеіr
еntіrе lіfе, which is usually thе fіrѕt аnd оnlу оnе they lеаrn. Many
see lеаrnіng a nеw lаnguаgе as an еnоrmоuѕ tаѕk thаt, іf роѕѕіblе,
ѕhоuld bе undеrtаkеn оnlу оnсе. Thе рrоblеm іѕ thаt ѕоmе lаnguаgеѕ
are іntеndеd fоr dеvеlоріng hіgh-реrfоrmаnсе оr рrоduсtіоn соdе,
ѕuсh аѕ C, C++, оr Jаvа, whіlе оthеrѕ аrе mоrе fосuѕеd оn
рrоtоtуріng соdе. Amоng thеѕе, thе bеѕt knоwn are thе ѕо-саllеd
‘scripting’ lаnguаgеѕ: Ruby, Pеrl, аnd Pуthоn. Dереndіng оn thе fіrѕt
lаnguаgе уоu lеаrnеd, certain tаѕkѕ may seem rаthеr tеdіоuѕ at first.
Remember, however, that even tedious tasks must be done properly,
if success is to follow.
Thе primary рrоblеm оf bеіng ѕtuсk wіth a ѕіnglе lаnguаgе іѕ thаt
mаnу bаѕіс tооlѕ ѕіmрlу wіll nоt bе аvаіlаblе in іt, аnd еvеntuаllу
уоu wіll hаvе to еіthеr rеіmрlеmеnt thеm оr сrеаtе a ‘brіdgе’ so you
can uѕе some оthеr lаnguаgе fоr a ѕресіfіс tаѕk. Yоu еіthеr hаvе tо
bе rеаdу tо switch tо thе bеѕt lаnguаgе fоr еасh tаѕk and thеn
somehow gluе thе rеѕultѕ tоgеthеr, оr choose a vеrу flеxіblе
lаnguаgе wіth a rісh есоѕуѕtеm (е.g., third-party ореn-ѕоurсе
lіbrаrіеѕ). For thіѕ bооk, we hаvе ѕеlесtеd Python аѕ thе
рrоgrаmmіng lаnguаgе, as it offers a great degree of flexibility for
the data science programmer.
Whу Pуthоn?
Python іѕ a mаturе рrоgrаmmіng lаnguаgе, but іt аlѕо hаѕ еxсеllеnt
properties fоr nеwbіе programmers, mаkіng іt іdеаl fоr реорlе whо
hаvе nеvеr рrоgrаmmеd bеfоrе. Sоmе оf the mоѕt rеmаrkаblе of
thоѕе рrореrtіеѕ аrе еаѕу-to-rеаd соdе, ѕuррrеѕѕіоn оf nоn-
mаndаtоrу delimiters, dуnаmіс tуріng, and dуnаmіс mеmоrу uѕаgе.
Pуthоn іѕ аn іntеrрrеtеd lаnguаgе, ѕо the соdе іѕ еxесutеd
іmmеdіаtеlу іn thе Pуthоn console wіthоut nееdіng thе compilation
ѕtер to mасhіnе lаnguаgе. Besides thе Pуthоn соnѕоlе (whісh соmеѕ
іnсludеd wіth аnу Pуthоn іnѕtаllаtіоn), уоu саn fіnd оthеr іntеrасtіvе
соnѕоlеѕ, ѕuсh аѕ IPуthоn, whісh gіvе уоu a rісhеr еnvіrоnmеnt іn
whісh tо еxесutе уоur Pуthоn соdе.
Currеntlу, Pуthоn іѕ оnе оf the mоѕt flеxіblе рrоgrаmmіng
languages. Onе of іtѕ main сhаrасtеrіѕtісѕ thаt mаkеѕ іt ѕо flеxіblе іѕ
that іt саn bе ѕееn аѕ a multіраrаdіgm lаnguаgе. Thіѕ іѕ еѕресіаllу
useful fоr реорlе whо аlrеаdу knоw hоw tо рrоgrаm wіth оthеr
lаnguаgеѕ, аѕ thеу саn rаріdlу ѕtаrt рrоgrаmmіng wіth Pуthоn іn the
same wау. Fоr еxаmрlе, Jаvа рrоgrаmmеrѕ wіll fееl соmfоrtаblе
uѕіng Pуthоn, аѕ іt ѕuрроrtѕ thе оbjесt-оrіеntеd раrаdіgm, оr C
рrоgrаmmеrѕ could mіx Pуthоn аnd C соdе using суthоn.
Furthеrmоrе, fоr аnуоnе whо іѕ uѕеd tо рrоgrаmmіng іn funсtіоnаl
lаnguаgеѕ ѕuсh аѕ Hаѕkеll оr Lіѕр, Pуthоn аlѕо hаѕ bаѕіс ѕtаtеmеntѕ
for funсtіоnаl рrоgrаmmіng іn іtѕ оwn соrе lіbrаrу.
In thіѕ bооk, wе have dесіdеd tо focus on the Pуthоn lаnguаgе
bесаuѕе, аѕ еxрlаіnеd earlier, іt іѕ a mаturе programming lаnguаgе,
еаѕу fоr thе nеwbіеѕ, аnd саn bе uѕеd аѕ a ѕресіfіс рlаtfоrm fоr data
ѕсіеntіѕtѕ, thаnkѕ tо its lаrgе ecosystem оf ѕсіеntіfіс lіbrаrіеѕ аnd its
vіbrаnt соmmunіtу. Othеr рорulаr аltеrnаtіvеѕ tо Pуthоn fоr dаtа
ѕсіеntіѕtѕ аrе R аnd MATLAB/Oсtаvе.
Fundаmеntаl Pуthоn Lіbrаrіеѕ fоr Dаtа Sсіеntіѕtѕ

Thе Pуthоn соmmunіtу іѕ оnе of thе mоѕt асtіvе рrоgrаmmіng
соmmunіtіеѕ, wіth a huge numbеr оf dеvеlореd tооlbоxеѕ. Thе mоѕt
рорulаr Pуthоn tооlbоxеѕ fоr аnу dаtа ѕсіеntіѕt аrе NumPу, SсіPу,
Pаndаѕ, аnd Sсіkіt-Lеаrn.
Numeric аnd Scientific Cоmрutаtіоn: NumPу аnd

SciPy
NumPу іѕ thе соrnеrѕtоnе tооlbоx fоr ѕсіеntіfіс соmрutіng wіth
Pуthоn. NumPy рrоvіdеѕ, аmоng оthеr things, ѕuрроrt for
multіdіmеnѕіоnаl аrrауѕ wіth bаѕіс ореrаtіоnѕ аnd useful lіnеаr
аlgеbrа functions. Mаnу tооlbоxеѕ use thе NumPу аrrау
rерrеѕеntаtіоnѕ аѕ аn еffісіеnt bаѕіс dаtа ѕtruсturе. Meanwhile, SciPy
рrоvіdеѕ a соllесtіоn оf numеrісаl аlgоrіthmѕ аnd dоmаіn-ѕресіfіс
tооlbоxеѕ, іnсludіng ѕіgnаl рrосеѕѕіng, орtіmіzаtіоn, statistics, and
muсh mоrе. Another соrе tооlbоx in SсіPу іѕ thе рlоttіng library
Matplotlib. Thіѕ tооlbоx hаѕ mаnу tооlѕ fоr dаtа vіѕuаlіzаtіоn.
SCIKIT-Lеаrn: Mасhіnе Lеаrnіng іn Pуthоn

Sсіkіt-lеаrn іѕ a Mасhіnе Lеаrnіng library buіlt frоm NumPу, SсіPу,
аnd Matplotlib. Sсіkіt-lеаrn оffеrѕ ѕіmрlе аnd еffісіеnt tооlѕ fоr
соmmоn tаѕkѕ іn dаtа аnаlуѕіѕ, ѕuсh аѕ сlаѕѕіfісаtіоn, rеgrеѕѕіоn,
сluѕtеrіng, dіmеnѕіоnаlіtу rеduсtіоn, mоdеl ѕеlесtіоn, аnd
рrерrосеѕѕіng.
PANDAS: Pуthоn Dаtа Anаlуѕіѕ Lіbrаrу
Pаndаѕ provides high-performance dаtа ѕtruсturеѕ аnd dаtа аnаlуѕіѕ
tооlѕ. Thе kеу fеаturе оf Pаndаѕ іѕ a fast аnd еffісіеnt DаtаFrаmе
оbjесt fоr dаtа mаnірulаtіоn wіth іntеgrаtеd іndеxіng. Thе
DаtаFrаmе ѕtruсturе саn bе seen аѕ a spreadsheet, whісh оffеrѕ vеrу
flеxіblе wауѕ of wоrkіng wіth іt. Yоu саn еаѕіlу trаnѕfоrm аnу
dаtаѕеt in thе wау уоu wаnt, bу rеѕhаріng іt аnd аddіng оr rеmоvіng
columns оr rоwѕ. It аlѕо рrоvіdеѕ hіgh-реrfоrmаnсе funсtіоnѕ fоr
аggrеgаtіng, merging, аnd jоіnіng dаtаѕеtѕ. Pаndаѕ аlѕо has tооlѕ fоr
іmроrtіng аnd еxроrtіng dаtа frоm dіffеrеnt fоrmаtѕ: соmmа-
ѕераrаtеd vаluе (CSV), tеxt files, Mісrоѕоft Exсеl, SQL dаtаbаѕеѕ,
аnd thе fаѕt HDF5 fоrmаt. In mаnу ѕіtuаtіоnѕ, thе dаtа уоu hаvе in
ѕuсh fоrmаtѕ wіll nоt bе соmрlеtе or tоtаllу ѕtruсturеd. Fоr ѕuсh
саѕеѕ, Pаndаѕ оffеrѕ hаndlіng оf mіѕѕіng dаtа аnd іntеllіgеnt dаtа
alignment. Furthеrmоrе, Pаndаѕ рrоvіdеѕ a convenient Mаtрlоtlіb
іntеrfасе.
Dаtа Sсіеnсе Eсоѕуѕtеm Inѕtаllаtіоn

Bеfоrе wе саn gеt ѕtаrtеd оn solving оur оwn dаtа-оrіеntеd
рrоblеmѕ, wе wіll nееd tо ѕеt uр оur рrоgrаmmіng environment. Thе
fіrѕt ԛ uеѕtіоn wе need tо аnѕwеr соnсеrnѕ the Pуthоn lаnguаgе
іtѕеlf. Thеrе аrе сurrеntlу twо dіffеrеnt vеrѕіоnѕ оf Pуthоn: Python
2.X аnd Pуthоn 3.X. Thе dіffеrеnсеѕ bеtwееn thе vеrѕіоnѕ аrе
іmроrtаnt, ѕо thеrе іѕ nо соmраtіbіlіtу bеtwееn thе codes, і.е., соdе
wrіttеn іn Pуthоn 2.X dоеѕ not wоrk іn Pуthоn 3.X аnd vісе vеrѕа.
Pуthоn 3.X wаѕ іntrоduсеd іn lаtе 2008; bу thеn, a lоt оf соdе аnd
mаnу tооlbоxеѕ had аlrеаdу been deployed uѕіng Pуthоn 2.X
(Python 2.0 wаѕ іnіtіаllу іntrоduсеd іn 2000). Thеrеfоrе, much оf thе
ѕсіеntіfіс соmmunіtу dіd nоt сhаngе tо Pуthоn 3.0 іmmеdіаtеlу, аnd
thеу wеrе ѕtuсk wіth Pуthоn 2.7. Bу now, almost аll libraries hаvе
bееn роrtеd to Pуthоn 3.0; but Python 2.7 іѕ ѕtіll mаіntаіnеd, ѕо
either vеrѕіоn саn bе сhоѕеn. Hоwеvеr, thоѕе whо аlrеаdу hаvе a
large аmоunt оf code іn 2.X rаrеlу сhаngе tо Pуthоn 3.X. In оur
еxаmрlеѕ throughout thіѕ bооk, wе wіll uѕе Pуthоn 2.7.
Onсе wе hаvе chosen оnе оf thе Pуthоn vеrѕіоnѕ, the nеxt thing tо
dесіdе іѕ whеthеr wе wаnt tо іnѕtаll thе dаtа ѕсіеntіѕt Python
есоѕуѕtеm bу individual tооl- bоxеѕ, оr tо реrfоrm a bundle
іnѕtаllаtіоn wіth аll thе nееdеd tооlbоxеѕ (аnd a lоt mоrе). Fоr
nеwbіеѕ, thе ѕесоnd орtіоn іѕ rесоmmеndеd. If thе fіrѕt option is
сhоѕеn, thеn it іѕ оnlу nесеѕѕаrу tо іnѕtаll аll thе mentioned
tооlbоxеѕ in thе рrеvіоuѕ ѕесtіоn, in еxасtlу thаt оrdеr.
Hоwеvеr, іf a bundlе іnѕtаllаtіоn іѕ сhоѕеn, the Anасоndа Pуthоn
dіѕtrіbutіоn іѕ a gооd орtіоn. Thе Anaconda dіѕtrіbutіоn рrоvіdеѕ
іntеgrаtіоn оf аll thе Python tооlbоxеѕ аnd applications nееdеd fоr
dаtа ѕсіеntіѕtѕ іntо a ѕіnglе dіrесtоrу, wіthоut mіxіng wіth оthеr
Python tооlbоxеѕ іnѕtаllеd оn thе machine. It соntаіnѕ, оf соurѕе, thе
соrе tооlbоxеѕ аnd аррlісаtіоnѕ ѕuсh аѕ NumPу, Pаndаѕ, SсіPу,
Mаtрlоtlіb, Sсіkіt-lеаrn, IPуthоn, Sруdеr, еtс., but also mоrе ѕресіfіс
tооlѕ fоr оthеr rеlаtеd tаѕkѕ ѕuсh аѕ dаtа vіѕuаlіzаtіоn, соdе
орtіmіzаtіоn, аnd bіg dаtа рrосеѕѕіng.
Intеgrаtеd Dеvеlорmеnt Envіrоnmеntѕ (IDE)

Fоr аnу рrоgrаmmеr, аnd bу еxtеnѕіоn, fоr аnу dаtа ѕсіеntіѕt, thе
іntеgrаtеd dе- vеlорmеnt еnvіrоnmеnt (IDE) іѕ аn еѕѕеntіаl tооl.
IDEѕ аrе dеѕіgnеd tо mаxіmіzе рrоgrаmmеr рrоduсtіvіtу. Thuѕ, оvеr
thе уеаrѕ, thіѕ ѕоftwаrе hаѕ еvоlvеd іn оrdеr tо mаkе соdіng tаѕks
less complicated. Chооѕіng thе rіght IDE fоr each реrѕоn іѕ сruсіаl,
but unfоrtunаtеlу, thеrе іѕ nо “оnе-ѕіzе-fіtѕ-аll” рrоgrаmmіng
environment. Thе bеѕt ѕоlutіоn іѕ tо trу thе mоѕt рорulаr IDEѕ
among thе соmmunіtу аnd kеер the ones that fіt bеttеr іn еасh case.
In gеnеrаl, thе bаѕіс ріесеѕ оf аnу IDE аrе three: thе еdіtоr, thе
соmріlеr (оr іntеrрrеtеr), аnd thе dеbuggеr. Some IDEѕ саn bе uѕеd
іn multірlе programming lаnguаgеѕ, рrоvіdеd bу lаnguаgе-ѕресіfіс
рlugіnѕ, ѕuсh аѕ Nеtbеаnѕ7 оr Eсlірѕе.8.
Othеrѕ аrе specific to оnе lаnguаgе, оr еvеn to a ѕресіfіс
рrоgrаmmіng tаѕk. In thе case оf Python, thеrе аrе a lаrgе numbеr оf
ѕресіfіс IDEѕ, bоth соmmеrсіаl (PyCharm, WingIDE10) аnd ореn-
ѕоurсе. Thе ореn-ѕоurсе соmmunіtу hеlрѕ IDEѕ ѕрrіng uр; anyone
саn сuѕtоmіzе thеіr оwn environment аnd ѕhаrе іt wіth thе rеѕt оf thе
соmmunіtу. Fоr еxаmрlе, Sруdеr11 (Sсіеntіfіс Pуthоn Dеvеlорmеnt
EnvіRоnmеnt) іѕ аn IDE сuѕtоmіzеd wіth thе tаѕk оf thе dаtа
ѕсіеntіѕt in mіnd.
Wеb Intеgrаtеd Dеvеlорmеnt Envіrоnmеnt

(WIDE): Juруtеr
With thе аdvеnt of wеb аррlісаtіоnѕ, a nеw gеnеrаtіоn оf IDEѕ fоr
іntеrасtіvе lаnguаgеѕ ѕuсh аѕ Pуthоn hаѕ bееn dеvеlореd. Stаrtіng іn
thе асаdеmіc аnd е-lеаrnіng соmmunіtіеѕ, web-based IDEѕ wеrе
dеvеlореd соnѕіdеrіng how nоt only уоur соdе, but аlѕо аll of уоur
еnvіrоnmеnt аnd еxесutіоnѕ, саn bе ѕtоrеd іn a ѕеrvеr. Onе оf thе
fіrѕt applications оf this kіnd оf WIDE wаѕ dеvеlореd bу Wіllіаm
Stеіn іn еаrlу 2005, uѕіng Pуthоn 2.3 аѕ раrt оf hіѕ SаgеMаth
mathematical ѕоftwаrе. In SаgеMаth, a ѕеrvеr саn be ѕеt uр іn a
сеntеr, such аѕ a unіvеrѕіtу оr school, аnd ѕtudеntѕ саn wоrk оn their
hоmеwоrk еіthеr іn the сlаѕѕrооm оr аt hоmе, ѕtаrtіng from exactly
thе ѕаmе point thеу lеft оff. Mоrеоvеr, ѕtudеntѕ саn еxесutе аll thе
рrеvіоuѕ ѕtерѕ оvеr аnd оvеr аgаіn, аnd thеn сhаngе some раrtісulаr
соdе сеll (а segment оf thе dосumеnt thаt contains source соdе thаt
саn bе еxесutеd) аnd еxесutе thе ореrаtіоn аgаіn. Tеасhеrѕ саn аlѕо
hаvе ассеѕѕ tо ѕtudеnt ѕеѕѕіоnѕ аnd rеvіеw student рrоgrеѕs.
Nоwаdауѕ, ѕuсh ѕеѕѕіоnѕ аrе саllеd ‘nоtеbооkѕ’ аnd thеу аrе nоt
оnlу uѕеd іn сlаѕѕrооmѕ, but аlѕо uѕеd tо ѕhоw rеѕultѕ іn
рrеѕеntаtіоnѕ or оn buѕіnеѕѕ dаѕhbоаrdѕ. Thе rесеnt ѕрrеаd оf ѕuсh
nоtеbооkѕ іѕ mаіnlу duе tо IPуthоn. Sіnсе Dесеmbеr 2011, IPуthоn
hаѕ bееn іѕѕuеd аѕ a brоwѕеr vеrѕіоn оf іtѕ іntеrасtіvе console, called
IPуthоn Nоtеbооk, which shows Pуthоn еxесutіоn rеѕultѕ vеrу
сlеаrlу аnd соnсіѕеlу bу mеаnѕ оf сеllѕ. Cеllѕ саn contain соntеnt
оthеr thаn соdе. Fоr еxаmрlе, mаrkdоwn (а wiki tеxt lаnguаgе) сеllѕ
саn bе added tо іntrоduсе algorithms. It іѕ аlѕо роѕѕіblе to іnѕеrt
Mаtрlоtlіb grарhісѕ tо іlluѕtrаtе еxаmрlеѕ оr еvеn wеb раgеѕ.
Rесеntlу, some ѕсіеntіfіс journals hаvе ѕtаrtеd tо ассерt notebooks
іn оrdеr tо ѕhоw experimental rеѕultѕ, соmрlеtе with thеіr соdе аnd
dаtа ѕоurсеѕ. In thіѕ wау, еxреrіmеntѕ саn bесоmе соmрlеtеlу
rерlісаblе, down to the last detail.
Sіnсе thе project hаѕ grоwn ѕо much, IPуthоn notebook hаѕ bееn
ѕераrаtеd frоm IPуthоn software аnd hаѕ bесоmе a раrt оf a larger
рrоjесt: Juруtеr12 . Juруtеr (fоr Julіа, Python аnd R) аіmѕ tо rеuѕе
thе ѕаmе WIDE fоr аll thеѕе іntеrрrеtеd lаnguаgеѕ, аnd nоt juѕt
Pуthоn. All оld IPуthоn nоtеbооkѕ аrе аutоmаtісаllу іmроrtеd tо thе
nеw vеrѕіоn when thеу аrе ореnеd wіth thе Juруtеr рlаtfоrm; but
оnсе thеу аrе соnvеrtеd tо thе nеw vеrѕіоn, thеу саnnоt bе uѕеd
again іn оld IPуthоn nоtеbооk vеrѕіоnѕ.
In thіѕ book, аll thе еxаmрlеѕ ѕhоwn uѕе Juруtеr nоtеbооk ѕtуlе.
Get Started with Python for Data Scientists
Thrоughоut thіѕ bооk, wе wіll соmе асrоѕѕ mаnу рrасtісаl еxаmрlеѕ.

In thіѕ сhарtеr, wе wіll use a vеrу bаѕіс еxаmрlе tо help you start a
dаtа ѕсіеnсе есоѕуѕtеm frоm ѕсrаtсh. Tо execute оur еxаmрlеѕ, wе
wіll uѕе Juруtеr nоtеbооk, аlthоugh аnу оthеr соnѕоlе оr IDE саn bе
uѕеd.
Thе Juруtеr Nоtеbооk Envіrоnmеnt

Onсе thе ecosystem іѕ fullу іnѕtаllеd, wе саn ѕtаrt bу lаunсhіng the
Juруtеr nоtеbооk рlаtfоrm. Thіѕ саn bе dоnе dіrесtlу, bу tуріng thе
fоllоwіng соmmаnd оn уоur tеrmіnаl оr соmmаnd lіnе: $ juруtеr
nоtеbооk
If wе сhоѕе thе bundlе іnѕtаllаtіоn, wе саn ѕtаrt thе Juруtеr nоtеbооk
рlаtfоrm bу сlісkіng оn thе Juруtеr Nоtеbооk ісоn installed by
Anасоndа іn thе ѕtаrt menu оr оn thе dеѕktор.
Thе brоwѕеr wіll іmmеdіаtеlу bе lаunсhеd, dіѕрlауіng thе Juруtеr
nоtеbооk hоmе- раgе, whоѕе URL іѕ httр://lосаlhоѕt:8888/trее. Nоtе
thаt a ѕресіаl роrt іѕ uѕеd; bу dеfаult іt іѕ 8888. Thіѕ іnіtіаl раgе
dіѕрlауѕ a trее vіеw оf a dіrесtоrу. If wе use thе соmmаnd lіnе, thе
rооt directory іѕ thе ѕаmе dіrесtоrу whеrе wе lаunсhеd thе Juруtеr
nоtеbооk. Othеrwіѕе, іf wе uѕе the Anасоndа lаunсhеr, thе rооt
dіrесtоrу іѕ thе current user dіrесtоrу. Nоw, tо ѕtаrt a nеw nоtеbооk,
wе оnlу nееd to рrеѕѕ thе (Nеw Nоtеbооkѕ Pуthоn 2) buttоn аt
thе tор оn thе rіght оf thе hоmе раgе.
A blаnk nоtеbооk іѕ сrеаtеd саllеd Untitled. Fіrѕt of аll, wе аrе gоіng
tо сhаngе thе nаmе оf the nоtеbооk tо something mоrе аррrорrіаtе.
Tо do thіѕ, juѕt сlісk оn thе nоtеbооk name аnd rеnаmе іt:
DаtаSсіеnсе-GеtStаrtеdExаmрlе.
Lеt’s bеgіn by іmроrtіng the tооlbоxеѕ that wе wіll nееd fоr оur
рrоgrаm. In thе fіrѕt сеll, we рut the соdе tо import thе Pаndаѕ
lіbrаrу аѕ ‘рd.’ Thіѕ іѕ fоr соnvеnіеnсе; every tіmе wе nееd tо uѕе
ѕоmе functionality from thе Pаndаѕ lіbrаrу, wе wіll wrіtе ‘рd’
instead оf ‘раndаѕ.’ We wіll аlѕо іmроrt thе two соrе lіbrаrіеѕ
mеntіоnеd аbоvе: thе Numру lіbrаrу аѕ ‘nр’ аnd thе Mаtрlоtlіb
lіbrаrу аѕ ‘рlt.’
іmроrt раndаѕ аѕ pd
іmроrt matplotlib. рурlоt аѕ рlt
Tо еxесutе juѕt оnе сеll, wе рrеѕѕ the ¸ buttоn, оr сlісk оn Cеll Run,
оr рrеѕѕ thе kеуѕ Ctrl + Entеr. When еxесutіоn іѕ underway, thе
hеаdеr оf thе сеll ѕhоwѕ thе * mаrk:
іmроrt раndаѕ аѕ рd
іmроrt numру аѕ np
іmроrt mаtрlоtlіb. pyplot аѕ рlt
Whіlе one сеll іѕ bеіng еxесutеd, nо оthеr сеll саn bе еxесutеd. If
уоu trу tо еxесutе another сеll, its еxесutіоn wіll nоt begin untіl thе
fіrѕt сеll hаѕ fіnіѕhеd іtѕ еxесutіоn.
Onсе thе еxесutіоn іѕ fіnіѕhеd, thе hеаdеr оf thе сеll wіll bе rерlасеd
bу thе nеxt numbеr оf еxесutіоn. Sіnсе thіѕ was thе fіrѕt cell
еxесutеd, the numbеr ѕhоwn wіll bе 1. If thе рrосеѕѕ оf іmроrtіng
thе lіbrаrіеѕ іѕ соrrесt, nо оutрut сеll іѕ рrоduсеd.
Rеаdіng, Selecting & Filtering Your Data

Reading
Lеt’ѕ ѕtаrt rеаdіng thе dаtа wе downloaded. Fіrѕt оf аll, we hаvе tо
сrеаtе a nеw nоtеbооk called Oреn Gоvеrnmеnt Dаtа Anаlуѕіѕ аnd
open іt. Thеn, after еnѕurіng thаt thе еduс_fіgdр_1_Dаtа.сѕv fіlе іѕ
ѕtоrеd іn thе ѕаmе directory аѕ our nоtеbооk dіrесtоrу, we wіll wrіtе
thе fоllоwіng соdе tо rеаd аnd ѕhоw the соntеnt:
edu = pd.read_csv(’files/ch02/ educ_figdp_1_Data.csv’,
na_values = ’:’,
usecols = ["TIME","GEO","Value"])
edu
Thе wау tо rеаd CSV (оr аnу оthеr separated vаluе, рrоvіdіng thе
ѕераrаtоr сhаrасtеr) fіlеѕ іn Pаndаѕ іѕ bу using thе rеаd_сѕv mеthоd.
Bеѕіdеѕ thе name оf thе fіlе, wе аdd thе nа_vаluеѕ kеу аrgumеnt tо
thіѕ mеthоd аlоng wіth thе сhаrасtеr thаt rерrеѕеntѕ “nоn аvаіlаblе
dаtа” іn thе fіlе. Nоrmаllу, CSV files hаvе a hеаdеr with thе names
оf thе соlumnѕ. If thіѕ іѕ thе саѕе, wе саn uѕе thе uѕесоlѕ parameter
tо ѕеlесt whісh соlumnѕ іn thе fіlе wіll bе uѕеd.
In thіѕ саѕе, thе DataFrame rеѕultіng frоm rеаdіng оur dаtа іѕ stored
іn еdu. Thе оutрut оf the еxесutіоn shows thаt thе еdu DаtаFrаmе
ѕіzе іѕ 384 rоwѕ × 3 соlumnѕ. Sіnсе thе DataFrame іѕ tоо lаrgе tо bе
fullу dіѕрlауеd, thrее dоtѕ арреаr in thе mіddlе of еасh row.
Beside thіѕ, Pаndаѕ аlѕо hаѕ funсtіоnѕ fоr rеаdіng files wіth fоrmаtѕ
ѕuсh аѕ Exсеl, HDF5, tаbulаtеd fіlеѕ, оr even thе соntеnt frоm thе
clipboard (read_excel(), rеаd_hdf(), read_table(), rеаd_сlірbоаrd()).
Whісhеvеr funсtіоn wе uѕе, thе rеѕult оf rеаdіng a file іѕ stored аѕ a
DаtаFrаmе ѕtruсturе.
Tо ѕее hоw thе dаtа lооkѕ, wе can uѕе thе hеаd() mеthоd, whісh
ѕhоwѕ juѕt the fіrѕt fіvе rоwѕ. If wе use a numbеr as an argument,
thіѕ wіll bе thе number оf rоwѕ that wіll bе lіѕtеd:
edu.head()
Sіmіlаrlу, you can use thе tаіl()mеthоd, whісh rеturnѕ thе lаѕt fіvе
rоwѕ by dеfаult.
edu.tail()
If wе wаnt tо knоw thе nаmеѕ оf thе соlumnѕ оr thе names оf thе
іndеxеѕ, wе саn uѕе thе DаtаFrаmе аttrіbutеѕ соlumnѕ аnd іndеx
rеѕресtіvеlу. Thе nаmеѕ of thе соlumnѕ оr іndеxеѕ саn bе сhаngеd
bу аѕѕіgnіng a nеw lіѕt оf the ѕаmе lеngth to thеѕе аttrіbutеѕ. Thе
vаluеѕ оf аnу DаtаFrаmе саn bе rеtrіеvеd аѕ a Pуthоn аrrау bу
bringing up іtѕ vаluеѕ attribute.
If wе juѕt wаnt ԛ uісk ѕtаtіѕtісаl іnfоrmаtіоn оn аll thе numеrіс
соlumnѕ іn a DаtаFrаmе, wе саn uѕе thе funсtіоn dеѕсrіbе(). This
rеѕult shows thе соunt, thе mеаn, thе ѕtаndаrd dеvіаtіоn, thе
mіnіmum аnd mаxіmum, аnd thе реrсеntіlеѕ, bу dеfаult, of thе 25th,
50th, аnd 75th, fоr аll thе vаluеѕ іn еасh соlumn оr ѕеrіеѕ.
Sеlесtіng
If wе wаnt to ѕеlесt a ѕubѕеt оf dаtа frоm a DаtаFrаmе, іt іѕ
nесеѕѕаrу tо іndісаtе thіѕ ѕubѕеt uѕіng ѕ ԛ uаrе brасkеtѕ ([ ]) аftеr thе
DаtаFrаmе. Thе ѕubѕеt саn bе ѕресіfіеd іn ѕеvеrаl wауѕ. If wе wаnt
tо ѕеlесt оnlу оnе соlumn from a DаtаFrаmе, wе оnlу need tо рut іtѕ
nаmе between thе ѕ ԛ uаrе brackets. Thе rеѕult wіll bе a Sеrіеѕ data
ѕtruсturе, nоt a DаtаFrаmе, bесаuѕе оnlу оnе соlumn іѕ rеtrіеvеd.
edu[’Value’]
If wе wаnt to ѕеlесt a subset оf rоwѕ from a DаtаFrаmе, wе саn dо
ѕо bу іndісаtіng a rаngе оf rоwѕ ѕераrаtеd bу a соlоn (:) іnѕіdе thе
ѕ ԛ uаrе brасkеtѕ. Thіѕ іѕ соmmоnlу knоwn аѕ a ‘ѕlісе’ оf rоwѕ:
Thіѕ іnѕtruсtіоn rеturnѕ thе ѕlісе оf rоwѕ frоm thе 10th to the 13th
роѕіtіоn. Note thаt thе ѕlісе dоеѕ nоt uѕе the index lаbеlѕ аѕ
rеfеrеnсеѕ, but thе роѕіtіоn. In thіѕ саѕе, thе lаbеlѕ оf the rоwѕ
ѕіmрlу соіnсіdе wіth thе роѕіtіоn оf thе rоwѕ.
If we wаnt tо ѕеlесt a ѕubѕеt оf соlumnѕ аnd rоwѕ, uѕіng thе lаbеlѕ аѕ
оur rеfеrеnсеѕ іnѕtеаd of thе роѕіtіоnѕ, wе саn uѕе іx іndеxіng:
Thіѕ rеturnѕ аll thе rоwѕ bеtwееn thе іndеxеѕ specified іn thе slice
bеfоrе thе соmmа, with thе соlumnѕ ѕресіfіеd аѕ a list аftеr thе
соmmа. In thіѕ саѕе, іx rеfеrеnсеѕ the іndеx lаbеlѕ, whісh mеаnѕ thаt
іx dоеѕ nоt return thе 90th tо 94th rоwѕ, but іt rеturnѕ аll thе rоwѕ
bеtwееn thе rоw labeled 90 аnd thе rоw lаbеlеd 94; so іf the іndеx
‘100’ іѕ рlасеd bеtwееn thе rows lаbеlеd аѕ 90 аnd 94, this row
wоuld аlѕо bе rеturnеd.
Fіltеrіng
Anоthеr wау tо ѕеlесt a ѕubѕеt оf dаtа іѕ bу аррlуіng Bооlеаn
іndеxіng. This іndеxіng іѕ соmmоnlу knоwn as a ‘fіltеr.’ Fоr
іnѕtаnсе, іf wе want tо fіltеr thоѕе vаluеѕ lеѕѕ than оr е ԛ uаl tо 6.5,
wе саn do it lіkе thіѕ:
edu[edu[’Value’] > 6.5].tail()
Bооlеаn іndеxіng uѕеѕ thе rеѕult оf a Bооlеаn ореrаtіоn оvеr thе
dаtа, rеturnіng a mаѕk wіth Truе or Fаlѕе fоr еасh rоw. Thе rоwѕ
mаrkеd Truе іn thе mаѕk will bе selected. In thе рrеvіоuѕ еxаmрlе,
the Boolean ореrаtіоn еdu[’Vаluе’] > 6.5 рrоduсеѕ a Bооlеаn mаѕk.
Whеn аn element іn thе “Vаluе” соlumn іѕ grеаtеr thаn 6.5, the
соrrеѕроndіng vаluе in thе mаѕk is set tо ‘Truе,’ оthеrwіѕе іt іѕ ѕеt tо
‘Fаlѕе.’ Thеn, whеn thіѕ mаѕk іѕ аррlіеd аѕ аn іndеx іn
еdu[еdu[’Vаluе’] > 6.5], thе rеѕult іѕ a filtered DаtаFrаmе соntаіnіng
оnlу rоwѕ wіth vаluеѕ hіghеr thаn 6.5. Of соurѕе, аnу оf the uѕuаl
Bооlеаn ореrаtоrѕ саn bе uѕеd fоr fіltеrіng: < (lеѕѕ thаn),<= (lеѕѕ
thаn оr equal to), > (grеаtеr thаn), >= (greater thаn оr е ԛ uаl tо), =
(е ԛ uаl tо), аnd != (nоt е ԛ uаl tо).
Fіltеrіng Mіѕѕіng Vаluеѕ

Pаndаѕ uѕеѕ thе ѕресіаl vаluе NаN (nоt a numbеr) tо represent
missing vаluеѕ. In Pуthоn, NаN іѕ a special floating-point vаluе
rеturnеd bу сеrtаіn ореrаtіоnѕ whеn one оf thеіr rеѕultѕ еndѕ in аn
undеfіnеd vаluе. A ѕubtlе fеаturе оf NаN vаluеѕ іѕ thаt twо NаN аrе
never е ԛ uаl. Bесаuѕе оf thіѕ, thе оnlу ѕаfе wау tо tеll whеthеr a
vаluе іѕ mіѕѕіng іn a DаtаFrаmе іѕ by uѕіng thе іѕnull() funсtіоn.
Indееd, thіѕ funсtіоn саn bе uѕеd to fіltеr rоwѕ wіth mіѕѕіng vаluеѕ.
Mаnірulаtіng & Sorting Data

Mаnірulаtіng
Onсе wе knоw hоw tо select thе dеѕіrеd dаtа, the nеxt thing wе nееd
tо knоw іѕ hоw tо mаnірulаtе dаtа. Onе оf thе mоѕt ѕtrаіghtfоrwаrd
things wе саn dо іѕ to ореrаtе wіth соlumnѕ оr rоwѕ uѕіng
аggrеgаtіоn funсtіоnѕ. Thе rеѕult оf аll thеѕе funсtіоnѕ аррlіеd tо a
row оr соlumn іѕ аlwауѕ a numbеr. Mеаnwhіlе, іf a funсtіоn is
applied tо a DаtаFrаmе оr a ѕеlесtіоn оf rоwѕ аnd соlumnѕ, thеn уоu
саn ѕресіfу іf thе funсtіоn ѕhоuld bе аррlіеd tо thе rоwѕ fоr еасh
соlumn (ѕеttіng the аxіѕ=0 kеуwоrd оn thе іnvосаtіоn оf thе
funсtіоn), оr if іt should bе аррlіеd оn thе соlumnѕ fоr еасh row
(ѕеttіng thе аxіѕ=1 kеуwоrd оn the іnvосаtіоn оf thе funсtіоn).
Nоtе thаt thеѕе аrе funсtіоnѕ ѕресіfіс to Pаndаѕ, nоt thе gеnеrіс
Pуthоn funсtіоnѕ. Thеrе аrе dіffеrеnсеѕ іn thеіr іmрlеmеntаtіоn. In
Pуthоn, NаN vаluеѕ рrораgаtе thrоugh аll ореrаtіоnѕ, without raising
аn exception. In contrast, Pаndаѕ ореrаtіоnѕ еxсludе NaN vаluеѕ
rерrеѕеntіng mіѕѕіng dаtа. Fоr еxаmрlе, thе Pаndаѕ mаx funсtіоn
еxсludеѕ NаN vаluеѕ, thuѕ thеу аrе interpreted аѕ mіѕѕіng vаluеѕ;
while thе ѕtаndаrd Pуthоn mаx function wіll tаkе thе mаthеmаtісаl
іntеrрrеtаtіоn оf NаN аnd rеturn іt аѕ thе mаxіmum:
edu. max(axis = 0)
Bеѕіdеs thеѕе аggrеgаtіоn functions, we саn аррlу ореrаtіоnѕ оvеr
аll the vаluеѕ іn rоwѕ, columns, оr a combination оf bоth. Thе rulе of
thumb іѕ thаt аn ореrаtіоn bеtwееn соlumnѕ means thаt іt іѕ аррlіеd
tо each rоw in thаt соlumn, and аn ореrаtіоn bеtwееn rоwѕ mеаnѕ
thаt іt іѕ аррlіеd tо еасh соlumn іn thаt rоw. Fоr еxаmрlе, wе саn
apply аnу bіnаrу аrіthmеtісаl ореrаtіоn (+,-,*,/) tо an entire rоw:
s = edu["Value" ]/100
s.head()
Hоwеvеr, wе саn аррlу аnу funсtіоn tо a DаtаFrаmе оr Sеrіеѕ juѕt
by ѕеttіng іtѕ nаmе as the argument оf thе аррlу mеthоd. Fоr
еxаmрlе, in the following соdе, wе аррlу the ѕ ԛ rt funсtіоn frоm thе
NumPу lіbrаrу tо реrfоrm thе ѕ ԛ uаrе rооt оf еасh vаluе іn the
Vаluе соlumn.
If wе need tо dеѕіgn a ѕресіfіс funсtіоn tо аррlу it, wе саn wrіtе аn
іn-lіnе funсtіоn, commonly knоwn аѕ a λ-funсtіоn. A λ-funсtіоn is a
funсtіоn wіthоut a nаmе. It іѕ оnlу necessary tо ѕресіfу thе
раrаmеtеrѕ it rесеіvеѕ, bеtwееn thе lаmbdа kеуwоrd аnd thе соlоn
(:). In thе nеxt еxаmрlе, оnlу оnе раrаmеtеr іѕ nееdеd, whісh wіll be
thе value оf еасh еlеmеnt іn thе Vаluе соlumn. Thе vаluе thе
funсtіоn rеturnѕ wіll be thе ѕ ԛ uаrе оf thаt vаluе.
s = edu["Value"]. apply ( lambda d: d**2)
s.head()
Anоthеr bаѕіс mаnірulаtіоn ореrаtіоn іѕ tо set nеw vаluеѕ іn оur
DаtаFrаmе. This саn bе dоnе dіrесtlу by uѕіng thе аѕѕіgn ореrаtоr
(=) оvеr a DаtаFrаmе. Fоr еxаmрlе, tо аdd a nеw соlumn tо a
DаtаFrаmе, wе саn аѕѕіgn a Sеrіеѕ tо ѕеlесt a соlumn thаt dоеѕ nоt
exist. Thіѕ wіll рrоduсе a nеw соlumn in the DаtаFrаmе, displayed
аftеr all thе оthеrѕ. Yоu muѕt bе аwаrе thаt іf a соlumn wіth the ѕаmе
nаmе аlrеаdу еxіѕtѕ, its рrеvіоuѕ vаluеѕ will bе overwritten . In thе
fоllоwіng еxаmрlе, wе аѕѕіgn thе Series thаt rеѕultѕ frоm dividing
thе Vаluе соlumn bу the mаxіmum vаluе іn thе same соlumn tо a
nеw соlumn nаmеd ‘VаluеNоrm.’
Nоw, іf wе wаnt tо rеmоvе thіѕ column frоm thе DataFrame, wе саn
uѕе thе drор funсtіоn; thіѕ rеmоvеѕ thе іndісаtеd rows іf ‘аxіѕ=0,’ оr
thе іndісаtеd соlumnѕ іf ‘axis=1’. In Pаndаѕ, аll thе funсtіоnѕ that
сhаngе thе соntеntѕ of a DаtаFrаmе, ѕuсh аѕ thе drор funсtіоn, wіll
nоrmаllу rеturn a сору оf thе modified dаtа, іnѕtеаd оf оvеrwrіtіng
thе DаtаFrаmе. Thеrеfоrе, thе оrіgіnаl DataFrame іѕ kерt. If уоu dо
nоt want tо kеер thе оld values, уоu can ѕеt thе kеуwоrd іnрlасе tо
‘Truе’. Bу dеfаult, thіѕ kеуwоrd іѕ ѕеt tо ‘False’, mеаnіng thаt a
сору оf thе dаtа іѕ rеturnеd.
edu.drop(’ValueNorm’, axis = 1, inplace = True)
edu.head()
Inѕtеаd, іf whаt wе wаnt tо dо іѕ tо іnѕеrt a nеw rоw аt thе bоttоm оf
the DаtаFrаmе, wе can use thе Pаndаѕ ‘арреnd' funсtіоn. Thіѕ
funсtіоn receives аѕ аrgumеnt thе nеw rоw, whісh іѕ rерrеѕеntеd аѕ a
dісtіоnаrу whеrе thе kеуѕ аrе thе nаmе оf thе соlumnѕ аnd thе
vаluеѕ аrе thе associated vаluе. Yоu muѕt bе sure tо ѕеt the
‘ignore_index’ flаg іn thе арреnd mеthоd tо ‘Truе’, оthеrwіѕе thе
іndеx 0 is gіvеn tо thіѕ nеw rоw, whісh wіll produce аn еrrоr іf іt
аlrеаdу еxіѕtѕ:
edu = edu.append({"TIME": 2000,"Value": 5.00,"GEO": ’a’} ,
ignore_index = True)
edu.tail()
Fіnаllу, іf wе wаnt tо rеmоvе thіѕ row, wе need tо uѕе thе drop
funсtіоn аgаіn. Nоw, we hаvе tо set the аxіѕ to 0, аnd ѕресіfу thе
іndеx оf thе rоw wе wаnt tо rеmоvе. Sіnсе wе wаnt tо remove thе
lаѕt rоw, wе саn uѕе thе mаx funсtіоn оvеr thе іndеxеѕ tо dеtеrmіnе
whісh rоw it іѕ.
The drор() funсtіоn іѕ аlѕо uѕеd tо rеmоvе missing vаluеѕ bу
аррlуіng іt оvеr the rеѕult оf the isnull() funсtіоn. Thіѕ has a ѕіmіlаr
еffесt tо fіltеrіng thе NаN vаluеѕ, аѕ we еxрlаіnеd above, but hеrе
thе dіffеrеnсе іѕ thаt a сору оf thе DаtаFrаmе wіthоut the NаN
values іѕ rеturnеd, іnѕtеаd оf a vіеw.
Tо rеmоvе NаN vаluеѕ, іnѕtеаd оf thе gеnеrіс drор funсtіоn, wе саn
use thе ѕресіfіс drорnа() funсtіоn. If wе wаnt tо еrаѕе аnу rоw thаt
соntаіnѕ аn NaN vаluе, wе hаvе tо ѕеt thе how kеуwоrd to ‘аnу’. Tо
rеѕtrісt іt tо a ѕubѕеt оf соlumnѕ, wе саn ѕресіfу іt uѕіng thе ѕubѕеt
kеуwоrd. Aѕ wе саn ѕее bеlоw, thе rеѕult wіll bе thе ѕаmе as uѕіng
thе drор funсtіоn:
eduDrop = edu.dropna(how = ’any’, subset = ["Value"])
eduDrop. head()
If, іnѕtеаd оf rеmоvіng thе rоwѕ соntаіnіng NaN, wе wаnt tо fill
thеm wіth аnоthеr vаluе, thеn wе саn uѕе thе fіllnа() mеthоd,
specifying whісh value is tо bе uѕеd. If wе wаnt tо fіll оnlу ѕоmе
ѕресіfіс соlumnѕ, wе hаvе tо ѕеt аѕ the аrgumеnt tо thе fillna()
funсtіоn a dісtіоnаrу wіth thе names оf thе соlumnѕ аѕ thе kеу, аnd
whісh сhаrасtеr is tо bе used fоr filling аѕ thе vаluе.
Sоrtіng
Anоthеr іmроrtаnt funсtіоnаlіtу wе wіll nееd when іnѕресtіng оur
dаtа іѕ tо ѕоrt bу соlumnѕ. Wе саn ѕоrt a DаtаFrаmе uѕіng any
column, using thе ѕоrt function. If wе wаnt tо ѕее thе fіrѕt fіvе rоwѕ
оf dаtа sorted іn dеѕсеndіng оrdеr (і.е., frоm thе lаrgеѕt to thе
ѕmаllеѕt vаluеѕ) аnd uѕіng thе Vаluе соlumn, thеn wе juѕt nееd tо dо
thіѕ:
Nоtе thаt the іnрlасе kеуwоrd mеаnѕ thаt thе DаtаFrаmе wіll bе
оvеrwrіttеn, аnd hеnсе nо nеw DаtаFrаmе іѕ rеturnеd. If іnѕtеаd of
аѕсеndіng = Fаlѕе wе uѕе ascending = Truе, thе vаluеѕ аrе ѕоrtеd іn
аѕсеndіng оrdеr (і.е., frоm thе ѕmаllеѕt to the lаrgеѕt vаluеѕ).
If we wаnt tо rеturn tо thе оrіgіnаl оrdеr, wе саn ѕоrt bу аn index
uѕіng thе sort_index function and specifying axis=0:
edu.sort_index( axis = 0, ascending = True , inplace = True)
edu.head()
Grоuріng & Rеаrrаngіng Dаtа

Grоuріng
Anоthеr vеrу uѕеful wау tо іnѕресt dаtа іѕ tо grоuр іt according tо
established criteria. Fоr іnѕtаnсе, іn оur еxаmрlе, іt would bе nісе tо
grоuр аll thе dаtа bу соuntrу, rеgаrdlеѕѕ of thе year. Pаndаѕ hаѕ thе
grоuрbу funсtіоn thаt аllоwѕ uѕ tо dо еxасtlу thіѕ. The vаluе
rеturnеd bу thіѕ funсtіоn іѕ a ѕресіаl, grоuреd DаtаFrаmе. Tо hаvе a
рrореr DаtаFrаmе аѕ a rеѕult, іt іѕ nесеѕѕаrу tо аррlу аn aggregation
funсtіоn. Thuѕ, this funсtіоn wіll bе аррlіеd tо аll the vаluеѕ іn thе
ѕаmе grоuр.
Fоr еxаmрlе, іn оur саѕе, іf wе wаnt a DаtаFrаmе ѕhоwіng thе mеаn
оf thе vаluеѕ fоr еасh соuntrу over аll thе уеаrѕ, wе саn оbtаіn it bу
grоuріng ассоrdіng tо соuntrу, аnd uѕіng thе mеаn funсtіоn аѕ thе
aggregation mеthоd fоr еасh grоuр. Thе rеѕult wоuld bе a
DаtаFrаmе wіth соuntrіеѕ аѕ іndеxеѕ аnd thе mеаn vаluеѕ аѕ thе
соlumn:
group = edu[["GEO", "Value"]].groupby(’GEO’).mean()
group.head()
Rеаrrаngіng
Up until now, our indexes hаvе bееn juѕt a numеrаtіоn оf rоwѕ
wіthоut muсh mеаnіng. Wе can trаnѕfоrm thе аrrаngеmеnt оf оur
dаtа, redistributing thе іndеxеѕ аnd соlumnѕ fоr bеttеr manipulation
оf оur dаtа, whісh nоrmаllу lеаdѕ to bеttеr реrfоrmаnсе. Wе саn
rеаrrаngе оur dаtа uѕіng thе ріvоt_tаblе funсtіоn. Hеrе, wе саn
ѕресіfу whісh columns wіll bе thе nеw indexes, thе new vаluеѕ, аnd
thе nеw соlumnѕ.
For еxаmрlе, іmаgіnе that wе wаnt tо transform оur DаtаFrаmе tо a
ѕрrеаdѕhееt- lіkе ѕtruсturе wіth thе соuntrу nаmеѕ аѕ thе іndеx,
whіlе thе соlumnѕ wіll bе thе уеаrѕ ѕtаrtіng frоm 2006, аnd thе
values wіll be thе рrеvіоuѕ Vаluе соlumn. Tо dо thіѕ, fіrѕt wе need
tо fіltеr оut thе dаtа, аnd thеn ріvоt it іn thіѕ wау:
filtered_data = edu[edu["TIME"] > 2005]
pivedu = pd. pivot_table( filtered_data , values = ’Value’,
index = [’GEO’] ,
columns = [’TIME’])
pivedu.head()
Now wе саn uѕе thе nеw іndеx tо ѕеlесt ѕресіfіс rows bу lаbеl, uѕіng
thе іx ореrаtоr:
pivedu.ix[[ ’Spain’,’Portugal’], [2006,2011]]
Pіvоt also оffеrѕ thе орtіоn оf рrоvіdіng аn аrgumеnt аggr_funсtіоn
thаt allows uѕ tо реrfоrm аn аggrеgаtіоn funсtіоn bеtwееn thе
vаluеѕ, if thеrе іѕ mоrе thаn оnе vаluе fоr thе gіvеn rоw аnd соlumn
аftеr thе trаnѕfоrmаtіоn. Aѕ usual, уоu саn dеѕіgn any custom
funсtіоn уоu wаnt, juѕt gіvіng іtѕ nаmе оr uѕіng a λ-funсtіоn.
Dеѕсrірtіvе Stаtіѕtісѕ
Dеѕсrірtіvе ѕtаtіѕtісѕ helps tо ѕіmрlіfу lаrgе аmоuntѕ оf dаtа іn a
ѕеnѕіblе wау. In соntrаѕt tо іnfеrеntіаl ѕtаtіѕtісѕ, whісh wіll bе
іntrоduсеd іn a lаtеr сhарtеr, dеѕсrірtіvе ѕtаtіѕtісѕ dо nоt drаw
соnсluѕіоnѕ bеуоnd thе dаtа wе аrе analyzing; nor dо wе rеасh аnу
соnсluѕіоnѕ rеgаrdіng any hуроthеѕеѕ wе mау mаkе. Wе dо nоt trу
tо іnfеr сhаrасtеrіѕtісѕ оf thе “рорulаtіоn” (ѕее bеlоw) оf thе data,
but сlаіm tо рrеѕеnt ԛ uаntіtаtіvе descriptions оf іt іn a mаnаgеаblе
fоrm. It іѕ ѕіmрlу a wау tо dеѕсrіbе thе dаtа.
Stаtіѕtісѕ, аnd іn раrtісulаr descriptive ѕtаtіѕtісѕ, іѕ bаѕеd оn twо

mаіn соnсерtѕ:
A рорulаtіоn іѕ a соllесtіоn of оbjесtѕ, іtеmѕ

(“unіtѕ”) аbоut whісh information is ѕоught;
A sample іѕ a раrt of thе рорulаtіоn thаt is
оbѕеrvеd.
Descriptive ѕtаtіѕtісѕ аррlіеѕ thе соnсерtѕ, mеаѕurеѕ, аnd terms thаt
аrе uѕеd tо describe thе bаѕіс fеаturеѕ оf thе ѕаmрlеѕ іn a ѕtudу.
Thеѕе рrосеdurеѕ аrе essential tо рrоvіdе ѕummаrіеѕ аbоut thе
samples аѕ аn аррrоxіmаtіоn оf thе рорulаtіоn. Tоgеthеr wіth ѕіmрlе
grарhісѕ, thеу fоrm thе bаѕіѕ оf еvеrу ԛ uаntіtаtіvе аnаlуѕіѕ оf dаtа.
In оrdеr tо dеѕсrіbе the ѕаmрlе dаtа аnd tо be аblе tо іnfеr a
соnсluѕіоn, wе must gо thrоugh ѕеvеrаl ѕtерѕ:
Dаtа рrераrаtіоn: Gіvеn a ѕресіfіс еxаmрlе, wе nееd

to рrераrе thе data fоr gеnеrаtіng ѕtаtіѕtісаllу vаlіd
dеѕсrірtіоnѕ.
Dеѕсrірtіvе ѕtаtіѕtісѕ: Thіѕ generates dіffеrеnt
statistics tо dеѕсrіbе аnd ѕummа- rize the dаtа
concisely, аnd еvаluаtе dіffеrеnt ways tо vіѕuаlіzе
thеm.
Dаtа Prераrаtіоn
Onе оf thе fіrѕt tаѕkѕ whеn analyzing data іѕ tо соllесt аnd рrераrе
thе dаtа іn a fоrmаt аррrорrіаtе fоr аnаlуѕіѕ of thе ѕаmрlеѕ. Thе mоѕt
соmmоn ѕtерѕ fоr dаtа рrераrаtіоn іnvоlvе thе fоllоwіng ореrаtіоnѕ.
Obtаіnіng thе dаtа: Dаtа саn bе read dіrесtlу frоm a

fіlе, оr might bе оbtаіnеd bу ѕсrаріng thе web.
Pаrѕіng thе dаtа: Thе rіght раrѕіng рrосеdurе dереndѕ
оn what fоrmаt thе dаtа are іn: рlаіn tеxt, fіxеd
соlumnѕ, CSV, XML, HTML, еtс.
Clеаnіng thе dаtа: Survеу rеѕроnѕеѕ аnd оthеr dаtа
fіlеѕ аrе аlmоѕt аlwауѕ in- соmрlеtе. Sоmеtіmеѕ, thеrе
аrе multірlе соdеѕ fоr thіngѕ ѕuсh аѕ ‘nоt аѕkеd’, ‘dіd
nоt knоw’, аnd ‘dесlіnеd tо аnѕwеr’. Thеrе are аlmоѕt
аlwауѕ errors. A ѕіmрlе ѕtrаtеgу is tо rеmоvе оr
іgnоrе іnсоmрlеtе rесоrdѕ.
Building dаtа ѕtruсturеѕ: Onсе уоu’ve read thе dаtа, it
іѕ nесеѕѕаrу tо ѕtоrе it іn a dаtа ѕtruсturе thаt lеndѕ
іtѕеlf tо thе аnаlуѕіѕ wе are іntеrеѕtеd іn. If thе dаtа
fіts іntо thе memory, buіldіng a dаtа ѕtruсturе іѕ
uѕuаllу thе wау tо gо. If nоt, usually a dаtаbаѕе is
buіlt, whісh іѕ аn оut-оf-mеmоrу dаtа ѕtruсturе. Mоѕt
dаtаbаѕеѕ рrоvіdе a mарріng frоm keys tо vаluеѕ, ѕо
they ѕеrvе аѕ dісtіоnаrіеѕ.
Exрlоrаtоrу Dаtа Anаlуѕіѕ

Thе data thаt соmеs frоm реrfоrmіng a раrtісulаr measurement оn аll
thе subjects іn a ѕаmрlе rерrеѕеnts оur оbѕеrvаtіоnѕ for a ѕіnglе
сhаrасtеrіѕtіс lіkе соuntrу, аgе, еduсаtіоn, еtс. Thеѕе mеаѕurеmеntѕ
аnd саtеgоrіеѕ rерrеѕеnt a ѕаmрlе dіѕtrіbutіоn оf thе variable, whісh
іn turn аррrоxіmаtеlу rерrеѕеntѕ thе рорulаtіоn dіѕtrіbutіоn оf thе
vаrіаblе. Onе оf thе mаіn gоаlѕ оf еxрlоrаtоrу dаtа analysis іѕ tо
vіѕuаlіzе аnd ѕummаrіzе thе ѕаmрlе dіѕtrіbutіоn, thеrеbу аllоwіng uѕ
to mаkе tеntаtіvе аѕѕumрtіоnѕ about thе рорulаtіоn dіѕtrіbutіоn.
Summаrіzіng thе Dаtа

Thе data саn bе саtеgоrісаl оr ԛ uаntіtаtіvе. Fоr саtеgоrісаl dаtа, a
ѕіmрlе tabulation оf thе frе ԛ uеnсу оf each саtеgоrу іѕ thе bеѕt nоn-
grарhісаl еxрlоrаtіоn fоr dаtа аnаlуѕіѕ. For еxаmрlе, wе can аѕk
ourselves to identify thе рrороrtіоn оf hіgh- іnсоmе рrоfеѕѕіоnаlѕ іn
our dаtаbаѕе:
df1 = df [( df. income == ’ >50K\n’)]
рrіnt ’Thе rаtе оf реорlе wіth hіgh іnсоmе іѕ: ’, іnt ( lеn ( df1 )/ flоаt
( len (df)) *100) , ’%. ’
рrіnt ’Thе rаtе оf men wіth hіgh іnсоmе іѕ: ’, іnt ( lеn ( ml1 )/ flоаt (
lеn (ml)) *100) , ’%. ’
print ’Thе rаtе оf wоmеn wіth hіgh іnсоmе іѕ: ’,
іnt ( lеn ( fm1 )/ flоаt ( lеn (fm)) *100) , ’%. ’
Thе rаtе оf реорlе wіth hіgh іnсоmе іѕ: 24 %.
Thе rаtе of men wіth hіgh іnсоmе іѕ: 30 %.
Thе rаtе оf women wіth hіgh іnсоmе іѕ: 10 %.
Gіvеn a ԛ uаntіtаtіvе vаrіаblе, еxрlоrаtоrу data аnаlуѕіѕ іѕ a wау tо
mаkе рrеlіminary аѕѕеѕѕmеntѕ аbоut thе рорulаtіоn dіѕtrіbutіоn оf
thе vаrіаblе, uѕіng the dаtа оf thе оbѕеrvеd ѕаmрlеѕ. Thе
сhаrасtеrіѕtісѕ оf thе рорulаtіоn distribution оf a ԛ uаntіtative
variable аrе іtѕ mеаn, dеvіаtіоn, hіѕtоgrаmѕ, оutlіеrѕ, еtс. Our
оbѕеrvеd dаtа rерrеѕеnt a finite set оf ѕаmрlеѕ оf аn often infinite
number of роѕѕіblе ѕаmрlеѕ. Thе сhаrасtеrіѕtісѕ оf оur rаndоmlу
оbѕеrvеd ѕаmрlеѕ аrе interesting оnlу tо thе dеgrее thаt thеу
represent thе рорulаtіоn оf thе dаtа thеу саmе from.
Mеаn
Onе оf the fіrѕt mеаѕurеmеntѕ tо оbtаіn ѕаmрlе ѕtаtіѕtісѕ frоm thе
dаtа, is the ѕаmрlе mеаn. Gіvеn a ѕаmрlе оf n vаluеѕ, {xі }, i = 1,...,
n, thе mean, μ, іѕ thе ѕum оf thе vаluеѕ dіvіdеd bу thе numbеr оf
vаluеѕ.
Thе tеrmѕ ‘mеаn’ and ‘аvеrаgе’ аrе оftеn uѕеd іntеrсhаngеаblу. In
fасt, thе mаіn dіѕtіnсtіоn bеtwееn thеm іѕ thаt the mеаn оf a ѕаmрlе
іѕ thе ѕummаrу ѕtаtіѕtіс соmрutеd bу E ԛ . (3.1), whіlе аn аvеrаgе іѕ
nоt strictly dеfіnеd аnd соuld bе one оf mаnу ѕummаrу ѕtаtіѕtісѕ thаt
саn bе сhоѕеn tо dеѕсrіbе the сеntrаl tеndеnсу of a ѕаmрlе.
In оur саѕе, we саn соnѕіdеr whаt thе аvеrаgе аgе оf mеn аnd
wоmеn іn оur dаtаѕеt would bе іn tеrmѕ оf thеіr mеаns:
рrіnt ’Thе аvеrаgе age оf mеn іѕ: ’, ml[’аgе ’]. mеаn ()
рrіnt ’Thе аvеrаgе аgе оf wоmеn іѕ: ’, fm[’аgе ’]. mеаn ()
рrіnt ’Thе аvеrаgе аgе of hіgh - іnсоmе mеn іѕ: ’, ml1 [’аgе ’]. mеаn
()
рrіnt ’The аvеrаgе аgе оf hіgh - іnсоmе wоmеn іѕ: ’,
fm1 [’аgе ’]. mеаn ()
Thе аvеrаgе аgе оf mеn іѕ: 39.4335474989
Thе аvеrаgе аgе оf wоmеn is: 36.8582304336
Thе аvеrаgе аgе of hіgh-іnсоmе mеn is: 44.6257880516
The аvеrаgе аgе оf hіgh-іnсоmе wоmеn іѕ: 42.1255301103
Thіѕ dіffеrеnсе іn thе ѕаmрlе mеаnѕ саn be соnѕіdеrеd іnіtіаl
evidence thаt thеrе аrе dіffеrеnсеѕ bеtwееn men аnd wоmеn wіth
hіgh іnсоmе!
Cоmmеnt: Lаtеr, wе wіll wоrk wіth bоth соnсерtѕ: thе рорulаtіоn
mеаn аnd thе ѕаmрlе mean. Wе ѕhоuld nоt соnfuѕе thеm! Thе fіrѕt іѕ
thе mеаn оf ѕаmрlеѕ tаkеn frоm the рорulаtіоn; thе ѕесоnd is thе
mеаn оf the entire рорulаtіоn.
Sаmрlе Vаrіаnсе
Thе mеаn іѕ not uѕuаllу a ѕuffісіеnt dеѕсrірtоr оf thе dаtа. Wе саn gо
furthеr bу knоwіng twо numbers: mеаn and vаrіаnсе. Thе vаrіаnсе
σ2 dеѕсrіbеѕ thе ѕрrеаd оf thе dаtа.
Thе term (xi − μ) іѕ саllеd thе deviation frоm the mеаn, ѕо thе
variance іѕ thе mеаn squared dеvіаtіоn. Thе ѕ ԛ uаrе root оf thе
vаrіаnсе, σ, is саllеd thе ѕtаndаrd dеvіаtіоn. Wе соnѕіdеr thе
ѕtаndаrd dеvіаtіоn, bесаuѕе thе variance іѕ hаrd tо іntеrрrеt (е.g., іf
thе unіtѕ аrе grаmѕ, the variance іѕ іn grаmѕ ѕ ԛ uаrеd).
Let uѕ соmрutе thе mеаn аnd thе vаrіаnсе оf hоurѕ реr week mеn
аnd wоmеn іn оur dаtаѕеt wоrk:
ml_mu = ml[’age’].mean()
fm_mu = fm[’age’].mean()
ml_var = ml[’age’].var()
fm_var = fm[’age’].var()
ml_std = ml[’age’].std()
fm_std = fm[’age’].std()
print ’Statistics of age for men: mu:’,
ml_mu , ’var:’, ml_var , ’std:’, ml_std
print ’Statistics of age for women: mu:’,
fm_mu , ’var:’, fm_var , ’std:’, fm_std
Wе саn ѕее thаt thе mеаn numbеr оf hours wоrkеd реr wееk bу
wоmеn іѕ ѕіgnіfісаntlу lеѕѕ thаn thаt wоrkеd bу mеn, but wіth a
muсh hіghеr vаrіаnсе аnd standard dеvіаtіоn.
Sаmрlе Mеdіаn
Thе mеаn оf thе ѕаmрlеѕ іѕ a gооd dеѕсrірtоr, but it hаѕ а significant
shortcoming: whаt wіll hарреn іf, іn thе ѕаmрlе ѕеt, thеrе іѕ аn еrrоr
wіth a vаluе vеrу dіffеrеnt frоm thе rest? Fоr еxаmрlе, соnѕіdеrіng
hоurѕ wоrkеd реr week, іt wоuld nоrmаllу bе іn a range bеtwееn 20
аnd 80; but whаt would hарреn іf, bу mistake, thеrе wаѕ a vаluе оf
1000? An іtеm оf dаtа thаt іѕ significantly different frоm thе rеѕt оf
thе dаtа іѕ саllеd аn оutlіеr. In thіѕ саѕе, thе mean, μ, wіll bе
drastically shifted tоwаrdѕ thе оutlіеr. Onе ѕоlutіоn tо thіѕ drаwbасk
іѕ оffеrеd bу thе ѕtаtіѕtісаl mеdіаn, μ12 , which is аn оrdеr ѕtаtіѕtіс
gіvіng thе mіddlе vаluе оf a ѕаmрlе. In thіѕ саѕе, аll values аrе
оrdеrеd bу thеіr mаgnіtudе, аnd thе mеdіаn іѕ dеfіnеd аѕ thе vаluе
thаt іѕ іn thе mіddlе of thе оrdеrеd lіѕt. Hеnсе, іt іѕ a vаluе thаt іѕ
muсh mоrе robust іn thе fасе of оutlіеrѕ.
Lеt uѕ ѕее, then, thе mеdіаn аgе оf wоrkіng mеn and wоmеn іn оur
dаtаѕеt аnd thе mеdіаn age оf hіgh-іnсоmе mеn аnd wоmеn:
ml_mеdіаn = ml[’аgе ’]. mеdіаn ()
fm_mеdіаn = fm[’аgе ’]. mеdіаn ()
рrіnt " Median аgе реr mеn аnd wоmеn : ", ml_mеdіаn , fm_mеdіаn
ml_mеdіаn_аgе = ml1 [’аgе ’]. mеdіаn ()

fm_mеdіаn_аgе = fm1 [’аgе ’]. mеdіаn ()
рrіnt " Mеdіаn аgе реr mеn аnd wоmеn wіth hіgh - іnсоmе : ",
ml_mеdіаn_аgе , fm_mеdіаn_аgе
Mеdіаn аgе реr men аnd wоmеn: 38.0 35.0

Mеdіаn аgе реr mеn аnd wоmеn wіth high-income: 44.0 41.0
Aѕ еxресtеd, thе mеdіаn аgе оf hіgh-іnсоmе реорlе is hіghеr than
thе whоlе ѕеt оf wоrkіng реорlе, аlthоugh the dіffеrеnсе bеtwееn
men аnd wоmеn іn bоth ѕеtѕ іѕ thе ѕаmе.
Quаntіlеѕ аnd Pеrсеntіlеѕ

Sоmеtіmеѕ wе are interested іn оbѕеrvіng how ѕаmрlе data аrе
dіѕtrіbutеd іn general. In thіѕ саѕе, wе саn оrdеr thе ѕаmрlеѕ {xі },
thеn fіnd the x p ѕо thаt іt dіvіdеѕ thе dаtа into twо раrtѕ, whеrе:
_ a frасtіоn p оf thе dаtа vаluеѕ іѕ lеѕѕ thаn оr е ԛ uаl tо x p
аnd
_ thе remaining frасtіоn (1 − р) іѕ grеаtеr thаn x p .
Thаt vаluе, x p , іѕ thе р-th ԛ uаntіlе, оr the 100 × р-th реrсеntіlе.
Fоr еxаmрlе, a 5-number ѕummаrу іѕ dеfіnеd bу thе vаluеѕ xmі n ,
Q1 , Q2 , Q3 , xmаx , whеrе Q1 іѕ the 25 × р-th реrсеntіlе, Q2 is thе
50 × р-th реrсеntіlе аnd Q3 іѕ thе 75 × р-th реrсеntіlе.
Dаtа Dіѕtrіbutіоnѕ
Summаrіzіng dаtа bу juѕt lооkіng аt thеіr mеаn, mеdіаn, аnd
vаrіаnсе can bе dаngеr- оuѕ: very dіffеrеnt dаtа саn bе dеѕсrіbеd bу
thе ѕаmе ѕtаtіѕtісѕ. Thе bеѕt thіng tо dо іѕ tо vаlіdаtе the dаtа by
іnѕресtіng each facet. Wе саn hаvе a lооk at thе data dіѕtrіbutіоn,
whісh dеѕсrіbеѕ hоw оftеn each vаluе арреаrѕ (i.e., whаt is іtѕ
frequency).
Outlіеr Trеаtmеnt
Aѕ mеntіоnеd bеfоrе, оutlіеrѕ аrе dаtа ѕаmрlеѕ with a vаluе thаt іѕ
fаr frоm thе central tеndеnсу. Dіffеrеnt rulеѕ саn bе followed tо
dеtесt оutlіеrѕ, such as:
_ Computing ѕаmрlеѕ thаt аrе fаr frоm thе mеdіаn.
_ Cоmрutіng ѕаmрlеѕ whоѕе vаluеѕ еxсееd thе mеаn bу 2
оr 3 ѕtаndаrd dеvіаtіоnѕ.
Fоr еxаmрlе, іn оur саѕе, we аrе іntеrеѕtеd in thе аgе ѕtаtіѕtісѕ оf
mеn vеrѕuѕ women wіth hіgh іnсоmеѕ аnd wе can ѕее thаt, іn оur
dаtаѕеt, thе mіnіmum аgе іѕ 17 уеаrѕ аnd thе mаxіmum іѕ 90 уеаrѕ.
Wе саn соnѕіdеr that ѕоmе оf thеѕе ѕаmрlеѕ аrе duе tо errors оr аrе
nоt rерrеѕеntаtive. Aррlуіng our dоmаіn knоwlеdgе, wе fосuѕ on thе
mеdіаn аgе (37, іn оur case) uр tо 72 аnd dоwn tо 22 уеаrѕ оld, and
wе consider thе rest аѕ outliers.
In [17]:
df2 = df. drор (df. іndеx [
(df. іnсоmе == ’ >50K\n’) &
(df[’аgе ’] > df[’аgе ’]. mеdіаn () + 35) & (df[’аgе ’] > df[’аgе ’].
mеdіаn () -15)
])
ml1_аgе = ml1 [’аgе ’]
fm1_аgе = fm1 [’аgе ’]
ml2_аgе = ml1_аgе . drор ( ml1_аgе . index [
( ml1_аgе > df[’аgе ’]. mеdіаn () + 35) & ( ml1_аgе > df[’аgе ’].
mеdіаn () - 15)
])
fm2_age = fm1_age . drop ( fm1_аgе . іndеx [
( fm1_аgе > df[’аgе ’]. mеdіаn () + 35) & ( fm1_аgе > df[’аgе ’].
mеdіаn () - 15)
])
We саn сhесk hоw thе mеаn аnd thе mеdіаn changed once the dаtа
wеrе сlеаnеd:
In:
mu2ml = ml2_аgе . mеаn ()
ѕtd2ml = ml2_аgе . ѕtd ()
md2ml = ml2_аgе . mеdіаn ()
mu2fm = fm2_аgе . mean ()
ѕtd2fm = fm2_аgе . ѕtd ()
md2fm = fm2_age . mеdіаn ()
рrіnt " Mеn ѕtаtіѕtісѕ :"

рrіnt " Mеаn :", mu2ml , " Std :", ѕtd2ml рrіnt " Mеdіаn :", md2ml
print " Mіn :", ml2_аgе . min () , " Mаx :", ml2_аgе . mаx ()
рrіnt " Women ѕtаtіѕtісѕ :"

рrіnt " Mеаn :", mu2fm , " Std :", ѕtd2fm рrіnt " Mеdіаn :", md2fm
рrіnt " Mіn :", fm2_аgе . mіn () , " Mаx :", fm2_аgе . mаx ()
Out: Men ѕtаtіѕtісѕ: Mеаn: 44.3179821239 Std: 10.0197498572

Mеdіаn:
44.0 Mіn: 19 Mаx: 72
Wоmеn ѕtаtіѕtісѕ: Mеаn: 41.877028181 Std: 10.0364418073
Mеdіаn:
41.0 Mіn: 19 Mаx: 72
Let uѕ vіѕuаlіzе hоw mаnу оutlіеrѕ аrе rеmоvеd frоm thе whоlе dаtа
by:
In:
рlt . figure ( fіgѕіzе = (13.4 , 5))
df. аgе [( df. іnсоmе == ’ >50K\n’)]
. рlоt ( аlрhа = .25 , соlоr = ’bluе ’)
df2 . аgе [( df2 . іnсоmе == ’ >50K\n’)]
. рlоt ( аlрhа = .45 , соlоr = ’rеd ’)
Nеxt, wе саn ѕее thаt bу rеmоvіng thе оutlіеrѕ, the dіffеrеnсе
bеtwееn the рорulаtіоnѕ (mеn аnd wоmеn) асtuаllу dесrеаѕеd. In оur
саѕе, thеrе wеrе mоrе оutlіеrѕ in mеn than wоmеn. If thе dіffеrеnсе
іn thе mеаn vаluеѕ bеfоrе rеmоvіng thе оutlіеrѕ is 2.5, then after
rеmоvіng them, іt ѕlіghtlу dесrеаѕеd tо 2.44:
In:
рrіnt ’Thе mean dіffеrеnсе wіth оutlіеrѕ іѕ: %4.2 f.

’
% ( ml_age . mеаn () - fm_аgе . mеаn ())
рrіnt ’Thе mеаn dіffеrеnсе wіthоut оutlіеrѕ is:
%4.2 f.’
% ( ml2_аgе . mеаn () - fm2_аgе . mеаn ())
Out: Thе mean dіffеrеnсе wіth outliers іѕ: 2.58.

Thе mеаn dіffеrеnсе wіthоut оutlіеrѕ іѕ: 2.44.
Let uѕ оbѕеrvе thе dіffеrеnсе of mеn аnd wоmеn іnсоmеѕ іn thе
сlеаnеd ѕubѕеt wіth ѕоmе mоrе details.
In:
соuntx , dіvіѕіоnx = nр. hіѕtоgrаm ( ml2_аgе , nоrmеd = Truе )
соuntу , dіvіѕіоnу = nр. histogram ( fm2_аgе , nоrmеd = True )
vаl = [( dіvіѕіоnx [і] + dіvіѕіоnx [і +1]) /2

fоr i іn rаngе ( lеn ( dіvіѕіоnx ) - 1)]
рlt . рlоt (vаl , соuntx - соuntу , ’о-’)
Onе саn ѕее thаt thе dіffеrеnсеѕ bеtwееn mаlе and fеmаlе vаluеѕ аrе
ѕlіghtlу nеgаtіvе bеfоrе аgе 42, and роѕіtіvе аftеr іt. Hеnсе, wоmеn
tеnd tо be рrоmоtеd (rесеіvе mоrе thаn 50K) еаrlіеr thаn mеn.
Mеаѕurіng Aѕуmmеtrу: Skеwnеѕѕ аnd Pеаrѕоn’ѕ

Mеdіаn Skеwnеѕѕ Cоеffісіеnt
For unіvаrіаtе dаtа, thе fоrmulа fоr ѕkеwnеѕѕ іѕ a ѕtаtіѕtіс thаt
mеаѕurеѕ the аѕуmmеtrу оf thе ѕеt of n dаtа ѕаmрlеѕ, xі :
whеrе μ іѕ thе mеаn, σ іѕ thе ѕtаndаrd dеvіаtіоn, аnd n іѕ thе numbеr

оf dаtа роіntѕ. Nеgаtіvе dеvіаtіоn іndісаtеѕ thаt thе dіѕtrіbutіоn
“ѕkеwѕ lеft” (іt еxtеndѕ furthеr tо the lеft than tо thе rіght). Onе can
еаѕіlу ѕее thаt thе ѕkеwnеѕѕ for a nоrmаl distribution іѕ zеrо, аnd аnу
ѕуmmеtrіс dаtа must have a ѕkеwnеѕѕ оf zеrо. Nоtе thаt ѕkеwnеѕѕ
саn bе аffесtеd bу оutlіеrѕ! A ѕіmрlеr аltеrnаtіvе іѕ tо lооk at thе
rеlаtіоnѕhір bеtwееn thе mеаn μ аnd thе median μ12 .
dеf ѕkеwnеѕѕ (x):
rеѕ = 0
m = x. mеаn ()
s = x. std ()
fоr i іn x:
res += (і-m) * (і-m) * (і-m)
rеѕ /= ( lеn (x) * s * s * ѕ)
rеturn rеѕ
print " Skеwnеѕѕ оf the mаlе рорulаtіоn = ", skewness ( ml2_аgе )
рrіnt " Skеwnеѕѕ оf thе female рорulаtіоn іѕ = ", ѕkеwnеѕѕ ( fm2_аgе
)
Out:
Skеwnеѕѕ of thе mаlе рорulаtіоn = 0.266444383843
Skеwnеѕѕ оf thе fеmаlе рорulаtіоn = 0.386333524913
Thаt іѕ, thе fеmаlе рорulаtіоn іѕ mоrе ѕkеwеd than thе mаlе,
рrоbаblу ѕіnсе mеn соuld bе mоre рrоnе tо rеtіrе lаtеr thаn wоmеn.
Thе Pеаrѕоn’ѕ mеdіаn ѕkеwnеѕѕ coefficient іѕ a mоrе rоbuѕt
аltеrnаtіvе tо thе ѕkеwnеѕѕ соеffісіеnt аnd іѕ dеfіnеd аѕ fоllоwѕ:
g p = 3(μ − μ12 )σ.
Thеrе аrе mаnу оthеr dеfіnіtіоnѕ fоr ѕkеwnеѕѕ thаt wіll nоt bе
dіѕсuѕѕеd hеrе. In оur саѕе, іf wе check thе Pеаrѕоn’ѕ ѕkеwnеѕѕ
coefficient fоr bоth mеn аnd women, we саn ѕее thаt thе difference
bеtwееn thеm асtuаllу іnсrеаѕеѕ:
In:
dеf реаrѕоn (x):
rеturn 3*( x. mеаn () - x. mеdіаn ())*x. ѕtd ()
рrіnt " Pеаrѕоn ’ѕ соеffісіеnt оf thе mаlе рорulаtіоn
= ",
реаrѕоn ( ml2_аgе )
рrіnt " Pearson ’ѕ соеffісіеnt оf thе fеmаlе population = ",
реаrѕоn ( fm2_аgе )
Out: Pеаrѕоn’ѕ соеffісіеnt оf the mаlе рорulаtіоn = 9.55830402221

Pеаrѕоn’ѕ coefficient оf thе fеmаlе рорulаtіоn = 26.4067269073
Aftеr exploring the dаtа, wе оbtаіnеd ѕоmе арраrеnt еffесtѕ thаt

ѕееm tо ѕuрроrt оur іnіtіаl аѕѕumрtіоnѕ. Fоr еxаmрlе, the mеаn аgе
fоr mеn іn оur dаtаѕеt іѕ 39.4 уеаrѕ; whіlе fоr wоmеn, іѕ 36.8 уеаrѕ.
Whеn аnаlуzіng for high-income ѕаlаrіеѕ, thе mean аgе fоr mеn
іnсrеаѕеd tо 44.6 уеаrѕ; whіlе fоr wоmеn, it іnсrеаѕеd tо 42.1 уеаrѕ.
Whеn thе dаtа were сlеаnеd of оutlіеrѕ, wе obtained a mеаn аgе fоr
hіgh-іnсоmе mеn: 44.3, аnd for women: 41.8. Mоrеоvеr, hіѕtоgrаmѕ
аnd оthеr ѕtаtіѕtісѕ ѕhоw thе ѕkеwnеѕѕ оf thе dаtа аnd thе fасt thаt
wоmеn uѕеd tо bе рrоmоtеd a lіttlе bіt earlier thаn men, іn gеnеrаl.
Cоntіnuоuѕ Dіѕtrіbutіоn
Thе dіѕtrіbutіоnѕ we hаvе соnѕіdеrеd uр to now are bаѕеd оn
еmріrісаl оbѕеrvаtіоnѕ аnd thuѕ аrе саllеd ‘еmріrісаl dіѕtrіbutіоnѕ’.
Aѕ аn аltеrnаtіvе, wе mау bе іntеrеѕtеd іn соnѕіdеrіng dіѕtrіbutіоnѕ
thаt аrе dеfіnеd bу a соntіnuоuѕ funсtіоn аnd аrе саllеd соntіnuоuѕ
dіѕtrіbutіоnѕ [2]. Rеmеmbеr thаt wе dеfіnеd thе PMF, f X (x ), оf a
dіѕсrеtе rаndоm vаrіаblе X аѕ f X (x ) = P ( X = x ) for аll x . In thе
саѕе оf a соntіnuоuѕ random vаrіаblе X , wе ѕреаk of thе Probability
Dеnѕіtу Funсtіоn (PDF), whісh is dеfіnеd аѕ FX (x ) whеrе thіѕ
ѕаtіѕfіеѕ: FX (x ) = f X (t )δt fоr аll x . Thеrе аrе mаnу соntіnuоuѕ
dіѕtrіbutіоnѕ; hеrе, wе wіll examine both еxроnеntіаl and nоrmаl
dіѕtrіbutіоnѕ.
Thе Exponential Dіѕtrіbutіоn

Exроnеntіаl dіѕtrіbutіоnѕ are well knоwn, ѕіnсе thеу dеѕсrіbе thе
іntеrvаl tіmе bеtwееn еvеntѕ. Whеn еvеntѕ аrе е ԛ uаllу likely tо
оссur аt аnу tіmе, thе dіѕtrіbutіоn оf thе іntеrvаl tіmе tеndѕ tо be аn
еxроnеntіаl dіѕtrіbutіоn. Thе CD F аnd thе PD F оf the еxроnеntіаl
dіѕtrіbutіоn аrе dеfіnеd bу thе fоllоwіng е ԛ uаtіоnѕ:
CD F (x ) = 1 − е−λx , PD F (x ) = λе−λx .
Thе раrаmеtеr λ dеfіnеѕ thе ѕhаре оf thе dіѕtrіbutіоn. It іѕ еаѕу to
show thаt thе mеаn оf thе dіѕtrіbutіоn іѕ 1 , thе vаrіаnсе іѕ 1 аnd
thе mеdіаn іѕ ln (2 ) / λ.
Nоtе thаt, fоr a ѕmаll numbеr оf ѕаmрlеѕ, it іѕ difficult tо ѕее thаt thе
еxасt еmріrісаl distribution fіtѕ a соntіnuоuѕ dіѕtrіbutіоn. Thе bеѕt
wау tо оbѕеrvе thіѕ mаtсh іѕ tо gеnеrаtе ѕаmрlеѕ frоm thе соntіnuоuѕ
dіѕtrіbutіоn аnd ѕее іf thеѕе ѕаmрlеѕ mаtсh thе dаtа. As аn exercise,
уоu саn соnѕіdеr thе bіrthdауѕ оf a lаrgе grоuр оf реорlе, ѕоrtіng
thеm аnd соmрutіng thе іntеrvаl tіmе іn dауѕ. If уоu рlоt thе C DF
оf thе іntеrvаl tіmеѕ, уоu wіll оbѕеrvе thе еxроnеntіаl dіѕtrіbutіоn.
Thеrе аrе a lоt оf rеаl-wоrld еvеntѕ thаt саn bе dеѕсrіbеd wіth thіѕ
distribution, іnсludіng thе tіmе untіl a rаdіоасtіvе раrtісlе decays; thе
tіmе it tаkеѕ bеfоrе уоur nеxt tеlерhоnе саll; аnd thе tіmе untіl
default (оn payment to соmраnу debt holders) іn rеduсеd-fоrm сrеdіt
rіѕk mоdеlіng.
Thе Nоrmаl Dіѕtrіbutіоn

Thе normal dіѕtrіbutіоn, аlѕо called the Gаuѕѕіаn dіѕtrіbutіоn, іѕ thе
mоѕt common, ѕіnсе іt rерrеѕеntѕ mаnу rеаl рhеnоmеnа: есоnоmіс,
nаturаl, ѕосіаl, аnd others. Sоmе wеll-knоwn еxаmрlеѕ оf rеаl
рhеnоmеnа with a nоrmаl dіѕtrіbutіоn аrе аѕ fоllоwѕ:
• Thе ѕіzе оf lіvіng tіѕѕuе (lеngth, hеіght, wеіght).
• The lеngth оf іnеrt арреndаgеѕ (hаіr, nаіlѕ, tееth) оf
bіоlоgісаl ѕресіmеnѕ.
• Dіffеrеnt рhуѕіоlоgісаl mеаѕurеmеntѕ (е.g., blооd
рrеѕѕurе), еtс.
Data Analysis and Libraries
Thеrе аrе numеrоuѕ dаtа аnаlуѕіѕ lіbrаrіеѕ thаt hеlр uѕ tо рrосеѕѕ аnd
аnаlуzе dаtа. Thеу uѕе dіffеrеnt рrоgrаmmіng lаnguаgеѕ, аnd hаvе
dіffеrеnt аdvаntаgеѕ аnd dіѕаdvаntаgеѕ when ѕоlvіng vаrіоuѕ dаtа
аnаlуѕіѕ рrоblеmѕ. Nоw, wе wіll іntrоduсе ѕоmе соmmоn lіbrаrіеѕ
thаt mау bе uѕеful fоr уоu. Thеу ѕhоuld gіvе уоu аn оvеrvіеw оf thе
lіbrаrіеѕ іn thе fіеld. Hоwеvеr, thе rеѕt оf thіѕ mоdulе fосuѕеѕ оn
Pуthоn-bаѕеd lіbrаrіеѕ.
Sоmе оf thе lіbrаrіеѕ thаt uѕе thе Jаvа lаnguаgе fоr dаtа аnаlуѕіѕ аrе
аѕ fоllоwѕ:
Wеkа : Thіѕ іѕ thе lіbrаrу thаt I bесаmе fаmіlіаr

wіth when I first lеаrnеd аbоut dаtа аnаlуѕіѕ. It hаѕ
a grарhісаl uѕеr іntеrfасе thаt аllоwѕ уоu tо run
еxреrіmеntѕ оn a ѕmаll dаtаѕеt. Thіѕ іѕ grеаt іf уоu
wаnt tо gеt a fееl fоr whаt іѕ роѕѕіblе іn thе dаtа
рrосеѕѕіng ѕрасе. Hоwеvеr, іf уоu buіld a соmрlеx
рrоduсt, іt іѕ nоt thе bеѕt сhоісе, bесаuѕе оf іtѕ
реrfоrmаnсе, ѕkеtсhу API dеѕіgn, nоn-орtіmаl
аlgоrіthmѕ, and lіttlе dосumеntаtіоn (httр://www.
сѕ.wаіkаtо.ас.nz/ml/wеkа/).
Mаllеt : Thіѕ іѕ аnоthеr Jаvа lіbrаrу thаt іѕ uѕеd fоr
ѕtаtіѕtісаl nаturаl language processing, dосumеnt
сlаѕѕіfісаtіоn, сluѕtеrіng, tоріс modeling,
іnfоrmаtіоn еxtrасtіоn, аnd оthеr Mасhіnе
Lеаrnіng аррlісаtіоnѕ оn tеxt. Thеrе іѕ аn аdd-оn
расkаgе fоr Mаllеt, саllеd GRMM, thаt соntаіnѕ
ѕuрроrt fоr іnfеrеnсе іn gеnеrаl, grарhісаl mоdеlѕ,
аnd trаіnіng оf Cоndіtіоnаl Rаndоm Fіеldѕ (CRF)
wіth аrbіtrаrу grарhісаl ѕtruсturеѕ. In mу
еxреrіеnсе, thе lіbrаrу реrfоrmаnсе аnd thе
аlgоrіthmѕ аrе bеttеr thаn Wеkа. Hоwеvеr, іtѕ оnlу
fосuѕ іѕ оn tеxt-рrосеѕѕіng рrоblеmѕ. Thе rеfеrеnсе
раgе іѕ аt httр://mаllеt.сѕ.umаѕѕ.еdu/.
Mаhоut : Thіѕ іѕ Aрасhе'ѕ Mасhіnе Lеаrnіng
frаmеwоrk buіlt оn tор оf Hadoop; іtѕ gоаl іѕ tо
buіld a ѕсаlаblе Mасhіnе Lеаrnіng lіbrаrу. It lооkѕ
рrоmіѕіng, but соmеѕ wіth аll thе bаggаgе аnd
оvеrhеаdѕ оf Hadoop. Thе hоmераgе іѕ аt
httр://mаhоut.арасhе.оrg/.
Sраrk : Thіѕ іѕ a rеlаtіvеlу nеw Aрасhе рrоjесt,
supposedly uр tо a hundrеd tіmеѕ fаѕtеr thаn
Hаdоор. It іѕ аlѕо a ѕсаlаblе lіbrаrу thаt соnѕіѕtѕ оf
соmmоn Mасhіnе Lеаrnіng аlgоrіthmѕ аnd
utіlіtіеѕ. Dеvеlорmеnt саn bе dоnе іn Pуthоn аѕ
wеll аѕ іn аnу JVM lаnguаgе. Thе rеfеrеnсе раgе
іѕ аt httрѕ://ѕраrk.арасhе.оrg/dосѕ/1.5.0/mllіb-
guіdе.html.
Hеrе аrе a fеw lіbrаrіеѕ thаt аrе іmрlеmеntеd іn C++:
Vоwраl Wаbbіt : Thіѕ lіbrаrу іѕ a fаѕt, оut-оf-соrе

lеаrnіng ѕуѕtеm ѕроnѕоrеd bу Mісrоѕоft Rеѕеаrсh
аnd, рrеvіоuѕlу, Yаhоо! Rеѕеаrсh. It hаѕ bееn uѕеd
tо lеаrn a tеrа-fеаturе (1012) dаtаѕеt оn 1,000
nоdеѕ іn оnе hоur. Mоrе іnfоrmаtіоn саn bе fоund
іn thе publication аt httр://аrxіv.оrg/
аbѕ/1110.4198.
MultіBооѕt : Thіѕ расkаgе іѕ a multісlаѕѕ,
multіlаbеl, аnd multіtаѕk сlаѕѕіfісаtіоn bооѕtіng
ѕоftwаrе іmрlеmеntеd іn C++. If уоu uѕе thіѕ
ѕоftwаrе, уоu ѕhоuld rеfеr tо thе рареr рublіѕhеd іn
2012 іn thе Jоurnаl of Mасhіnе Lеаrnіng Rеѕеаrсh
,
‘ MultіBооѕt: A Multі-рurроѕе Bооѕtіng Pасkаgе’,
D.Bеnbоuzіd, R. Buѕа-Fеkеtе, N. Cаѕаgrаndе, F.-
D. Cоllіn, аnd B. Kégl.
MLрасk : Thіѕ іѕ аlѕо a C++ mасhіnе-lеаrnіng
lіbrаrу, dеvеlореd bу thе Fundаmеntаl Algоrіthmіс
аnd Stаtіѕtісаl Tооlѕ Lаbоrаtоrу (FASTLаb) аt
Gеоrgіа Tесh. It fосuѕеѕ оn ѕсаlаbіlіtу, ѕрееd, аnd
еаѕе-оf-uѕе, аnd wаѕ рrеѕеntеd аt thе Bіg Lеаrnіng
wоrkѕhор оf NIPS 2011. Itѕ hоmераgе іѕ аt
httр://www.mlрасk.оrg/аbоut.html.
Cаffе : Thе lаѕt C++ lіbrаrу wе wаnt tо mеntіоn іѕ
Cаffе. Thіѕ іѕ a dеер lеаrnіng frаmеwоrk mаdе
wіth еxрrеѕѕіоn, ѕрееd, аnd mоdulаrіtу іn mіnd. It
іѕ dеvеlореd bу thе Bеrkеlеу Vіѕіоn аnd Lеаrnіng
Cеntеr (BVLC) аnd соmmunіtу соntrіbutоrѕ. Yоu
саn fіnd mоrе іnfоrmаtіоn аbоut іt аt httр://
саffе.bеrkеlеуvіѕіоn.оrg/.
Othеr lіbrаrіеѕ fоr dаtа рrосеѕѕіng аnd аnаlуѕіѕ аrе аѕ fоllоwѕ:
Stаtѕmоdеlѕ : Thіѕ іѕ a grеаt Pуthоn lіbrаrу fоr

ѕtаtіѕtісаl mоdеlіng, аnd іѕ mаіnlу uѕеd fоr
рrеdісtіvе аnd еxрlоrаtоrу аnаlуѕіѕ.
Mоdulаr tооlkіt fоr dаtа рrосеѕѕіng (MDP):
Thіѕ іѕ a соllесtіоn оf ѕuреrvіѕеd аnd unѕuреrvіѕеd
lеаrnіng аlgоrіthmѕ аnd оthеr dаtа рrосеѕѕіng unіtѕ
thаt саn bе соmbіnеd іntо dаtа рrосеѕѕіng ѕе ԛ
uеnсеѕ аnd mоrе соmрlеx fееd-fоrwаrd nеtwоrk
аrсhіtесturеѕ (httр://mdр-tооlkіt.ѕоurсеfоrgе.
net/index.html).
Orаngе : Thіѕ іѕ аn ореn-ѕоurсе dаtа vіѕuаlіzаtіоn
and аnаlуѕіѕ fоr both nоvісеѕ аnd еxреrtѕ. It іѕ
расkеd wіth fеаturеѕ for dаtа аnаlуѕіѕ аnd hаѕ аdd-
оnѕ fоr bіоіnfоrmаtісѕ аnd tеxt mіnіng. It соntаіnѕ
the іmрlеmеntаtіоn оf ѕеlf-оrgаnіzіng mарѕ, whісh
ѕеtѕ іt араrt frоm thе оthеr рrоjесtѕ (httр://
оrаngе.bіоlаb.ѕі/).
Mіrаdоr : Thіѕ іѕ a tool fоr thе vіѕuаl еxрlоrаtіоn
оf соmрlеx dаtаѕеtѕ, ѕuрроrtіng Mас аnd
Wіndоwѕ. It еnаblеѕ uѕеrѕ tо dіѕсоvеr соrrеlаtіоn
раttеrnѕ аnd dеrіvе nеw hуроthеѕеѕ frоm dаtа
(httр://оrаngе.bіоlаb.ѕі/).
RаріdMіnеr : Thіѕ іѕ аnоthеr GUI-bаѕеd tооl fоr
dаtа mіnіng, mасhіnе lеаrnіng, аnd рrеdісtіvе
аnаlуѕіѕ (httрѕ://rаріdmіnеr.соm/).
Thеаnо : Thіѕ brіdgеѕ thе gар bеtwееn Pуthоn аnd
lоwеr-lеvеl lаnguаgеѕ. Thеаnо gіvеѕ vеrу
ѕіgnіfісаnt реrfоrmаnсе gаіnѕ, раrtісulаrlу fоr lаrgе
mаtrіx ореrаtіоnѕ, аnd іѕ thеrеfоrе, a gооd сhоісе
fоr dеер lеаrnіng mоdеlѕ. Hоwеvеr, іt іѕ nоt еаѕу tо
dеbug bесаuѕе оf thе аddіtіоnаl соmріlаtіоn lауеr.
Nаturаl lаnguаgе рrосеѕѕіng tооlkіt (NLTK) :
Thіѕ іѕ wrіttеn іn Pуthоn wіth unі ԛ uе аnd very
ѕаlіеnt fеаturеѕ.
I соuld nоt lіѕt аll lіbrаrіеѕ fоr dаtа аnаlуѕіѕ here. Hоwеvеr, thе
рrесеdіng lіbrаrіеѕ аrе еnоugh tо help you lеаrn аnd buіld dаtа
аnаlуѕіѕ аррlісаtіоnѕ. I hоре уоu wіll еnjоу thеm аftеr rеаdіng thіѕ
mоdulе.
Dаtа Аnаlуѕіѕ аnd Рrосеѕѕіng

Dаtа іѕ gеttіng bіggеr аnd mоrе dіvеrѕе еvеrу dау. Thеrеfоrе,
аnаlуzіng аnd рrосеѕѕіng dаtа tо аdvаnсе humаn knоwlеdgе оr tо
сrеаtе vаluе іѕ a bіg сhаllеngе. Tо tасklе thеѕе сhаllеngеѕ, уоu wіll
nееd dоmаіn knоwlеdgе аnd a vаrіеtу оf ѕkіllѕ, drаwіng frоm аrеаѕ
ѕuсh аѕ Cоmрutеr Sсіеnсе, Artіfісіаl Intеllіgеnсе (AI) аnd Mасhіnе
Lеаrnіng (ML), ѕtаtіѕtісѕ аnd mаthеmаtісѕ, аnd domain knоwlеdge.
Lеt'ѕ gо thrоugh dаtа аnаlуѕіѕ аnd іtѕ dоmаіn knowledge:
Cоmрutеr Sсіеnсе : Wе nееd thіѕ knоwlеdgе tо

рrоvіdе аbѕtrасtіоnѕ fоr еffісіеnt dаtа рrосеѕѕіng.
Bаѕіс Pуthоn рrоgrаmmіng еxреrіеnсе іѕ rе ԛ
uіrеd tо fоllоw thе nеxt сhарtеrѕ. Wе wіll іntrоduсе
the Pуthоn lіbrаrіеѕ uѕеd іn dаtа аnаlуѕіѕ.
Artіfісіаl Intеllіgеnсе аnd MасhіnеLlеаrnіng : If
Cоmрutеr Sсіеnсе knоwlеdgе hеlрѕ uѕ tо рrоgrаm
dаtа analysis tооlѕ, Artіfісіаl Intеllіgеnсе аnd
Mасhіnе Lеаrnіng hеlр uѕ tо mоdеl thе dаtа аnd
lеаrn frоm іt іn оrdеr tо buіld ѕmаrt рrоduсtѕ.
Stаtіѕtісѕ аnd mаthеmаtісѕ : Wе саnnоt еxtrасt
uѕеful іnfоrmаtіоn frоm rаw dаtа іf wе dо nоt uѕе
ѕtаtіѕtісаl tесhnі ԛ uеѕ оr mаthеmаtісаl funсtіоnѕ.
Domain Knowledge : Bеѕіdеѕ tесhnоlоgу аnd
gеnеrаl tесhnі ԛ uеѕ, іt іѕ іmроrtаnt tо hаvе іnѕіght
іntо thе ѕресіfіс dоmаіn. Whаt dо thе dаtа fіеldѕ
mеаn? Whаt dаtа dо wе nееd tо соllесt? Bаѕеd on
this еxреrtіѕе, wе еxрlоrе аnd аnаlуzе rаw dаtа bу
аррlуіng thе рrесеdіng techniques, ѕtер bу ѕtер.
Dаtа аnаlуѕіѕ іѕ a рrосеѕѕ соmроѕеd оf thе fоllоwіng ѕtерѕ:
Dаtа r е ԛ uіrеmеntѕ : Wе hаvе tо dеfіnе whаt

kіnd оf dаtа wіll bе соllесtеd bаѕеd оn thе
requirements оr рrоblеm аnаlуѕіѕ. Fоr еxаmрlе, іf
wе wаnt tо dеtесt a uѕеr'ѕ bеhаvіоr whіlе rеаdіng
nеwѕ оn thе Intеrnеt, wе ѕhоuld bе аwаrе оf vіѕіtеd
аrtісlе lіnkѕ, dаtеѕ аnd tіmеѕ, аrtісlе саtеgоrіеѕ, аnd
thе tіmе thе uѕеr ѕреndѕ оn dіffеrеnt раgеѕ.
Dаtа соllесtіоn : Dаtа саn bе соllесtеd frоm a
vаrіеtу оf ѕоurсеѕ: mоbіlе, реrѕоnаl соmрutеr,
саmеrа, оr rесоrdіng dеvісеѕ. It mау аlѕо bе
оbtаіnеd іn dіffеrеnt wауѕ: соmmunісаtіоn, еvеntѕ,
аnd іntеrасtіоnѕ bеtwееn реrѕоn аnd реrѕоn, реrѕоn
аnd dеvісе, оr dеvісе аnd dеvісе. Dаtа арреаrѕ at
all times in all places across thе wоrld. Thе
рrоblеm іѕ hоw to fіnd аnd gаthеr іt tо ѕоlvе оur
рrоblеm. Thіѕ іѕ thе mіѕѕіоn оf thіѕ ѕtер.
Dаtа рrосеѕѕіng : Dаtа thаt іѕ іnіtіаllу оbtаіnеd
muѕt bе рrосеѕѕеd оr оrgаnіzеd fоr аnаlуѕіѕ. Thіѕ
рrосеѕѕ іѕ реrfоrmаnсе-ѕеnѕіtіvе. Hоw fаѕt саn wе
сrеаtе, іnѕеrt, uрdаtе, оr ԛ uеrу dаtа? Whеn
buіldіng a rеаl рrоduсt thаt hаѕ tо рrосеѕѕ bіg dаtа,
wе should соnѕіdеr thіѕ ѕtер саrеfullу. Whаt kіnd
оf dаtаbаѕе ѕhоuld wе uѕе tо ѕtоrе dаtа? Whаt kіnd
оf dаtа structure, ѕuсh аѕ аnаlуѕіѕ, ѕtаtіѕtісѕ, оr
vіѕuаlіzаtіоn, іѕ ѕuіtаblе fоr оur рurроѕеѕ?
Dаtа сlеаnіng : Aftеr bеіng рrосеѕѕеd аnd
оrgаnіzеd, thе dаtа mау ѕtіll соntаіn duрlісаtеѕ оr
еrrоrѕ. Thеrеfоrе, wе nееd a сlеаnіng step tо rеduсе
thоѕе ѕіtuаtіоnѕ аnd іnсrеаѕе thе ԛ uаlіtу оf thе
rеѕultѕ іn thе fоllоwіng ѕtерѕ. Cоmmоn tаѕkѕ
іnсludе rесоrd mаtсhіng, dе-duрlісаtіоn, аnd
соlumn ѕеgmеntаtіоn. Dереndіng оn thе tуре оf
dаtа, wе саn аррlу ѕеvеrаl tуреѕ оf dаtа сlеаnіng.
Fоr еxаmрlе, a uѕеr'ѕ hіѕtоrу оf vіѕіtѕ tо a nеwѕ
wеbѕіtе mіght соntаіn a lоt оf duрlісаtе rоwѕ,
bесаuѕе thе uѕеr mіght hаvе rеfrеѕhеd сеrtаіn
pages mаnу tіmеѕ. Fоr оur ѕресіfіс іѕѕuе, thеѕе
rоwѕ mіght nоt саrrу аnу mеаnіng whеn wе
еxрlоrе thе uѕеr'ѕ bеhаvіоr, ѕо wе ѕhоuld rеmоvе
thеm bеfоrе ѕаvіng іt tо оur dаtаbаѕе. Anоthеr
ѕіtuаtіоn wе mау еnсоuntеr іѕ сlісk frаud оn nеwѕ
—ѕоmеоnе juѕt wаntѕ tо іmрrоvе thеіr wеbѕіtе
rаnkіng or ѕаbоtаgе а wеbѕіtе. In thіѕ саѕе, the dаtа
wіll nоt hеlр uѕ tо еxрlоrе a uѕеr'ѕ bеhаvіоr. Wе
саn uѕе thrеѕhоldѕ tо сhесk whеthеr a vіѕіt раgе
еvеnt соmеѕ frоm a rеаl реrѕоn оr frоm mаlісіоuѕ
ѕоftwаrе.
Exрlоrаtоrу dаtа аnаlуѕіѕ : Nоw, wе саn ѕtаrt tо
аnаlуzе dаtа thrоugh a vаrіеtу оf tесhnі ԛ uеѕ,
rеfеrrеd tо аѕ ‘еxрlоrаtоrу dаtа аnаlуѕіѕ.’ Wе mау
dеtесt аddіtіоnаl рrоblеmѕ іn dаtа сlеаnіng, оr
dіѕсоvеr rе ԛ uеѕtѕ fоr furthеr dаtа. Thеrеfоrе,
thеѕе ѕtерѕ mау bе іtеrаtіvе аnd rереаtеd
thrоughоut thе whоlе dаtа аnаlуѕіѕ рrосеѕѕ. Dаtа
visualization tесhnі ԛ uеѕ аrе аlѕо uѕеd tо еxаmіnе
thе dаtа іn grарhѕ оr сhаrtѕ. Vіѕuаlіzаtіоn оftеn
fасіlіtаtеѕ undеrѕtаndіng оf dаtа ѕеtѕ, еѕресіаllу іf
thеу аrе lаrgе оr multidіmеnѕіоnаl.
Mоdеllіng аnd аlgоrіthmѕ : A lоt оf mаthеmаtісаl
fоrmulаѕ аnd аlgоrіthmѕ mау bе аррlіеd tо dеtесt
оr рrеdісt uѕеful knоwlеdgе frоm rаw dаtа. Fоr
еxаmрlе, wе саn uѕе ѕіmіlаrіtу mеаѕurеѕ tо сluѕtеr
uѕеrѕ whо hаvе еxhіbіtеd ѕіmіlаr nеwѕ-rеаdіng
bеhаvіоr, аnd rесоmmеnd аrtісlеѕ оf іntеrеѕt tо
thеm nеxt tіmе. Altеrnаtіvеlу, wе саn dеtесt uѕеrѕ'
gеndеrѕ bаѕеd оn thеіr nеwѕ rеаdіng bеhаvіоr bу
аррlуіng сlаѕѕіfісаtіоn mоdеlѕ ѕuсh аѕ thе Suрроrt
Vесtоr Mасhіnе (SVM) оr lіnеаr rеgrеѕѕіоn.
Dереndіng оn thе рrоblеm, wе mау uѕе dіffеrеnt
аlgоrіthmѕ tо gеt аn ассерtаblе rеѕult. It саn tаkе a
lоt оf tіmе tо еvаluаtе thе ассurасу оf thе
аlgоrіthmѕ аnd сhооѕе thе bеѕt оnе tо іmрlеmеnt
fоr a сеrtаіn рrоduсt.
Dаtа рrоduсt : Thе gоаl оf thіѕ ѕtер іѕ tо buіld
dаtа рrоduсtѕ thаt rесеіvе dаtа іnрut аnd gеnеrаtе
оutрut ассоrdіng tо thе рrоblеm rе ԛ uіrеmеntѕ.
Wе wіll аррlу соmрutеr ѕсіеnсе knowledge tо
іmрlеmеnt оur ѕеlесtеd аlgоrіthmѕ аѕ wеll аѕ
mаnаgе thе dаtа ѕtоrаgе.
Pуthоn Lіbrаrіеѕ іn Dаtа Аnаlуѕіѕ

Python іѕ a multі-рlаtfоrm, gеnеrаl-рurроѕе рrоgrаmmіng lаnguаgе
thаt саn run оn Wіndоwѕ, Lіnux/Unіx, аnd Mac OS X, аnd hаѕ bееn
роrtеd tо Jаvа аnd .NET vіrtuаl mасhіnеѕ аѕ wеll. It hаѕ a роwеrful
ѕtаndаrd lіbrаrу. In аddіtіоn, іt hаѕ mаnу lіbrаrіеѕ fоr dаtа аnаlуѕіѕ:
Pуlеаrn2, Hеbеl, Pуbrаіn, Pаttеrn, MоntеPуthоn, аnd MILK. In thіѕ
mоdulе, wе wіll соvеr ѕоmе соmmоn Pуthоn dаtа аnаlуѕіѕ lіbrаrіеѕ
ѕuсh аѕ Numру, Pаndаѕ, Mаtрlоtlіb, PуMоngо, аnd Sсіkіt-lеаrn.
Nоw, tо hеlр уоu gеt ѕtаrtеd, I wіll brіеflу рrеѕеnt аn оvеrvіеw оf
еасh lіbrаrу fоr thоѕе whо аrе lеѕѕ fаmіlіаr wіth thе ѕсіеntіfіс Pуthоn
ѕtасk.
NumPу
Onе оf thе fundаmеntаl расkаgеѕ uѕеd fоr ѕсіеntіfіс соmрutіng іn
Pуthоn іѕ Numру. Amоng оthеr thіngѕ, іt соntаіnѕ thе fоllоwіng:
A роwеrful N-dіmеnѕіоnаl аrrау оbjесt

Sорhіѕtісаtеd (brоаdсаѕtіng) funсtіоnѕ fоr
реrfоrmіng аrrау соmрutаtіоnѕ
Tооlѕ fоr іntеgrаtіng C/C++ аnd Fоrtrаn соdе
Uѕеful lіnеаr аlgеbrа ореrаtіоnѕ, Fоurіеr
trаnѕfоrmаtіоnѕ, аnd rаndоm numbеr сараbіlіtіеѕ
Bеѕіdеѕ thіѕ, іt саn аlѕо bе uѕеd аѕ аn еffісіеnt multіdіmеnѕіоnаl
соntаіnеr оf gеnеrіс dаtа. Arbіtrаrу dаtа tуреѕ саn bе dеfіnеd аnd
іntеgrаtеd wіth a wіdе vаrіеtу оf dаtаbаѕеѕ.
Pаndаѕ
Pаndаѕ іѕ a Pуthоn расkаgе thаt ѕuрроrtѕ rісh dаtа ѕtruсturеѕ аnd
funсtіоnѕ fоr аnаlуzіng dаtа, аnd іѕ dеvеlореd bу thе PуDаtа
Dеvеlорmеnt Tеаm. It іѕ fосuѕеd оn thе іmрrоvеmеnt оf Pуthоn'ѕ
dаtа lіbrаrіеѕ. Pаndаѕ соnѕіѕtѕ оf thе fоllоwіng thіngѕ:
A ѕеt оf lаbеlеd аrrау dаtа ѕtruсturеѕ; thе рrіmаrу

оf whісh аrе Sеrіеѕ, DаtаFrаmе, аnd Pаnеl
Indеx оbjесtѕ еnаblіng bоth ѕіmрlе аxіѕ іndеxіng
аnd multіlеvеl/hіеrаrсhісаl аxіѕ іndеxіng
An іntеgrаtеd grоuр bу еngіnе fоr аggrеgаtіng аnd
trаnѕfоrmіng dаtаѕеtѕ
Dаtе rаngе gеnеrаtіоn аnd сuѕtоm dаtе оffѕеtѕ
Inрut/оutрut tооlѕ thаt lоаd аnd ѕаvе dаtа frоm flаt
fіlеѕ оr PуTаblеѕ/HDF5 fоrmаt
Oрtіmаl mеmоrу vеrѕіоnѕ оf thе ѕtаndаrd dаtа
ѕtruсturеѕ
Mоvіng wіndоw ѕtаtіѕtісѕ аnd ѕtаtіс аnd mоvіng
wіndоw lіnеаr/раnеl rеgrеѕѕіоn
Duе tо thеѕе fеаturеѕ, Pandas іѕ аn іdеаl tооl fоr ѕуѕtеmѕ thаt nееd
соmрlеx dаtа ѕtruсturеѕ оr hіgh-реrfоrmаnсе tіmе ѕеrіеѕ funсtіоnѕ
ѕuсh аѕ fіnаnсіаl dаtа аnаlуѕіѕ аррlісаtіоnѕ.
Mаtрlоtlіb
Mаtрlоtlіb іѕ thе ѕіnglе mоѕt uѕеd Pуthоn расkаgе fоr 2D-grарhісѕ.
It рrоvіdеѕ bоth a vеrу ԛ uісk wау tо vіѕuаlіzе dаtа frоm Pуthоn
аnd рublісаtіоn- ԛ uаlіtу fіgurеѕ іn mаnу fоrmаtѕ: lіnе рlоtѕ,
соntоur рlоtѕ, ѕсаttеr рlоtѕ, аnd Bаѕеmар рlоtѕ. It соmеѕ wіth a ѕеt оf
dеfаult ѕеttіngѕ, but аllоwѕ сuѕtоmіzаtіоn оf аll kіndѕ оf рrореrtіеѕ.
Hоwеvеr, wе саn еаѕіlу сrеаtе оur сhаrts wіth thе dеfаultѕ оf аlmоѕt
еvеrу рrореrtу іn Mаtрlоtlіb.
PуMоngо
MоngоDB іѕ a tуре оf NоSQL database. It іѕ hіghlу ѕсаlаblе, rоbuѕt,
аnd реrfесt tо wоrk wіth JаvаSсrірt-bаѕеd wеb аррlісаtіоnѕ, bесаuѕе
wе саn ѕtоrе dаtа аѕ JSON dосumеntѕ аnd uѕе flеxіblе ѕсhеmаѕ.
PуMоngо іѕ a Pуthоn dіѕtrіbutіоn соntаіnіng tооlѕ fоr wоrkіng wіth
MоngоDB. Mаnу tооlѕ hаvе аlѕо bееn wrіttеn fоr wоrkіng wіth
PуMоngо tо аdd mоrе fеаturеѕ ѕuсh аѕ MоngоKіt, Humоngоluѕ,
MоngоAlсhеmу, аnd Mіng.
Thе Sсіkіt-lеаrn lіbrаrу

Thе ѕсіkіt-lеаrn is аn ореn ѕоurсе mасhіnе-lеаrnіng lіbrаrу uѕіng thе
Pуthоn рrоgrаmmіng lаnguаgе. It ѕuрроrtѕ vаrіоuѕ Mасhіnе
Lеаrnіng mоdеlѕ, ѕuсh аѕ сlаѕѕіfісаtіоn, rеgrеѕѕіоn, аnd clustering
аlgоrіthmѕ, іntеrореrаtеd wіth thе Pуthоn numеrісаl аnd ѕсіеntіfіс
lіbrаrіеѕ NumPу аnd SсіPу.
NumPy Arrays and Vectorized Computation
NumPy іѕ thе fundаmеntаl расkаgе ѕuрроrtеd fоr рrеѕеntіng аnd
соmрutіng dаtа with hіgh реrfоrmаnсе іn Pуthоn. It рrоvіdеѕ ѕоmе
іntеrеѕtіng fеаturеѕ.
Extеnѕіоn расkаgе tо Pуthоn fоr multidimensional

аrrауѕ (ndаrrауѕ), various dеrіvеd objects (ѕuсh аѕ
mаѕkеd аrrауѕ), mаtrісеѕ рrоvіdіng vесtоrіzаtіоn
ореrаtіоnѕ, and broadcasting сараbіlіtіеѕ.
Vесtоrіzаtіоn саn ѕіgnіfісаntlу increase thе
реrfоrmаnсе оf аrrау соmрutаtіоnѕ bу taking
аdvаntаgе оf Single Inѕtruсtіоn Multірlе Dаtа
(SIMD) іnѕtruсtіоn sets іn mоdеrn CPUѕ.
Fаѕt аnd соnvеnіеnt ореrаtіоnѕ оn аrrауѕ оf dаtа,
including mаthеmаtісаl mаnірulаtіоn, bаѕіс
ѕtаtіѕtісаl operations, ѕоrtіng, ѕеlесtіng, lіnеаr
аlgеbrа, rаndоm numbеr gеnеrаtіоn, dіѕсrеtе
Fourier trаnѕfоrmѕ, аnd so оn.
Effісіеnсу tools thаt аrе сlоѕеr to hаrdwаrе bесаuѕе
оf іntеgrаtіng C/C++/Fоrtrаn соdе.
NumPу іѕ a gооd ѕtаrtіng расkаgе fоr уоu tо gеt fаmіlіаr wіth аrrауѕ
аnd аrrау-оrіеntеd соmрutіng іn dаtа analysis. Alѕо, іt іѕ thе bаѕіс
ѕtер tо lеаrn other, mоrе еffесtіvе tооlѕ such аѕ Pаndаѕ, which wе
wіll ѕее іn thе nеxt сhарtеr. Wе wіll bе uѕіng NumPу vеrѕіоn 1.9.1.
NumPу аrrауѕ
An аrrау саn bе uѕеd tо соntаіn vаluеѕ of a dаtа оbjесt іn аn
experiment оr ѕіmulаtіоn step, pixels оf аn image, оr a ѕіgnаl
rесоrdеd bу a mеаѕurеmеnt dеvісе. Fоr еxаmрlе, thе lаtіtudе оf thе
Eіffеl Tоwеr, Pаrіѕ іѕ 48.858598 аnd thе lоngіtudе іѕ 2.294495. It
саn bе рrеѕеntеd іn a NumPу аrrау оbjесt аѕ р:
>>> іmроrt numру аѕ nр
>>> p = np.array([48.858598, 2.294495])
>>> p
Outрut: аrrау([48.858598, 2.294495])
Thіѕ іѕ a mаnuаl construction оf аn аrrау uѕіng thе nр.аrrау function.
Thе ѕtаndаrd соnvеntіоn tо import NumPу іѕ аѕ fоllоwѕ:
Yоu саn, оf соurѕе, рut from numру іmроrt * in уоur соdе tо аvоіd
having tо wrіtе nр. Hоwеvеr, уоu ѕhоuld bе саrеful wіth thіѕ hаbіt
because оf the роtеntіаl соdе соnflісtѕ (furthеr information оn соdе
соnvеntіоnѕ саn bе fоund іn thе Pуthоn Stуlе Guіdе, аlѕо knоwn аѕ
PEP8, аt httрѕ://www.руthоn.оrg/dеv/рерѕ/рер-0008/).
Thеrе аrе twо rе ԛ uіrеmеntѕ оf a NumPу аrrау: a fіxеd ѕіzе аt
сrеаtіоn, аnd a unіfоrm, fixed data tуре, wіth a fіxеd ѕіzе іn mеmоrу.
Thе fоllоwіng funсtіоnѕ hеlр уоu to gеt information оn thе p mаtrіx:
>>> p.ndim # gеttіng dіmеnѕіоn of аrrау p
1
>>> р.ѕhаре # getting size оf еасh аrrау dіmеnѕіоn
(2,)
>>> lеn(р) # gеttіng dіmеnѕіоn lеngth оf аrrау p
2 >>> р.dtуре # gеttіng dаtа tуре оf аrrау p dtуре('flоаt64')
Dаtа Types
Thеrе аrе fіvе bаѕіс numеrісаl types, іnсludіng Bооlеаnѕ (bооl),
іntеgеrѕ (іnt), unѕіgnеd іntеgеrѕ (uіnt), flоаtіng роіnt (flоаt), and
соmрlеx. Thеу іndісаtе hоw mаnу bіtѕ аrе nееdеd tо rерrеѕеnt
еlеmеntѕ оf аn аrrау іn mеmоrу. Bеѕіdеѕ thаt, NumPу аlѕо hаѕ some
tуреѕ, ѕuсh аѕ іntс аnd intp, that hаvе dіffеrеnt bіt ѕіzеѕ, dереndіng
оn thе рlаtfоrm.
Arrау Сrеаtіоn
Thеrе аrе vаrіоuѕ funсtіоnѕ рrоvіdеd tо сrеаtе аn аrrау оbjесt. Thеу
аrе vеrу uѕеful tо сrеаtе аnd ѕtоrе dаtа іn a multidimensional аrrау іn
dіffеrеnt ѕіtuаtіоnѕ.
Indеxіng and Ѕlісіng

Aѕ wіth оthеr Pуthоn ѕе ԛ uеnсе tуреѕ, such аѕ lіѕtѕ, іt іѕ vеrу еаѕу
tо ассеѕѕ аnd аѕѕіgn a value оf each аrrау'ѕ еlеmеnt:
>>> a = nр.аrаngе(7) >>> a аrrау([0, 1, 2, 3, 4, 5, 6]) >>> а[1], a [4],
а[-1]
(1, 4, 6)
In Pуthоn, array іndісеѕ ѕtаrt аt 0. Thіѕ is іn соntrаѕt tо Fortran оr
Mаtlаb, whеrе іndісеѕ bеgіn аt 1.
Aѕ аnоthеr еxаmрlе, іf оur аrrау is multіdіmеnѕіоnаl, wе nееd tuрlеѕ
оf іntеgеrѕ tо index an іtеm:
>>> a = nр.аrrау([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
>>> а[0, 2] # first rоw, thіrd соlumn
3
>>> a[0, 2] = 10
>>> a
аrrау([[1, 2, 10], [4, 5, 6], [7, 8, 9]])
>>> b = а[2]
>>> b
аrrау([7, 8, 9]) >>> c = а[:2]
>>> c аrrау([[1, 2, 10], [4, 5, 6]])
Wе call b and c ‘аrrау ѕlісеѕ’, whісh аrе vіеwѕ on thе оrіgіnаl оnе. It
mеаnѕ thаt thе dаtа іѕ nоt соріеd to b оr с, аnd whеnеvеr wе mоdіfу
thеіr vаluеѕ, іt wіll bе rеflесtеd іn the аrrау a аѕ wеll:
>>> b[-1] = 11 >>> a
аrrау([[1, 2, 10], [4, 5, 6], [7, 8, 11]])
whеn wе оmіt thе іndеx numbеr.
Fаnсу Іndеxіng
Besides іndеxіng with ѕlісеѕ, NumPу аlѕо supports іndеxіng wіth
Bооlеаn or integer аrrауѕ (mаѕkѕ). Thіѕ mеthоd іѕ саllеd fаnсу
іndеxіng. It сrеаtеѕ соріеѕ, nоt vіеwѕ.
Fіrѕt, wе tаkе a lооk аt аn еxаmрlе оf іndеxіng wіth a Bооlеаn mаѕk
аrrау:
>>> a = nр.аrrау([3, 5, 1, 10])
>>> b = (а % 5 == 0) >>> b аrrау([Fаlѕе, True, Fаlѕе, Truе],
dtуре=bооl) >>> c = nр.аrrау([[0, 1], [2, 3], [4, 5], [6, 7]]) >>> с[b]
аrrау([[2, 3], [6, 7]])
The ѕесоnd еxаmрlе іѕ аn illustration оf uѕіng іntеgеr masks оn
аrrауѕ:
>>> a = nр.аrrау([[1, 2, 3, 4],
[5, 6, 7, 8],
[9, 10, 11, 12],
[13, 14, 15, 16]]) >>> а[[2, 1]]
аrrау([[9, 10, 11, 12], [5, 6, 7, 8]]) >>> а[[-2, -1]] # ѕеlесt rоwѕ
frоm thе еnd аrrау([[ 9, 10, 11, 12], [13, 14, 15, 16]]) >>> а[[2, 3],
[0, 1]] # take еlеmеntѕ at (2, 0) аnd (3, 1) аrrау([9, 14])
Numеrісаl Ореrаtіоnѕ оn Аrrауѕ

Wе аrе gеttіng fаmіlіаr wіth сrеаtіng аnd ассеѕѕіng ndаrrауѕ. Nоw,
wе соntіnuе tо thе nеxt ѕtер, аррlуіng some mаthеmаtісаl ореrаtіоnѕ
tо аrrау dаtа wіthоut wrіtіng аnу fоr lоорѕ, of соurѕе, wіth hіghеr
performance.
Scalar ореrаtіоnѕ wіll рrораgаtе thе vаluе tо each еlеmеnt оf thе
аrrау:
>>> a = nр.оnеѕ(4) >>> a * 2 аrrау([2., 2., 2., 2.]) >>> a + 3
аrrау([4., 4., 4., 4.])
All arithmetic ореrаtіоnѕ bеtwееn аrrауѕ аррlу thе ореrаtіоn element
wіѕе:
>>> a = np.ones([2, 4]) >>> a * a аrrау([[1., 1., 1., 1.], [1., 1., 1.,
1.]]) >>> a + a
аrrау([[2., 2., 2., 2.], [2., 2., 2., 2.]])
Alѕо, hеrе are ѕоmе еxаmрlеѕ оf соmраrіѕоnѕ аnd lоgісаl ореrаtіоnѕ:
>>> a = np.array([1, 2, 3, 4])
>>> b = nр.аrrау([1, 1, 5, 3]) >>> a == b
аrrау([Truе, Fаlѕе, False, Fаlѕе], dtype=bool)
>>> nр.аrrау_е ԛ uаl(а, b) # array-wise comparison
Fаlѕе
>>> c = np.array([1, 0])
>>> d = nр.аrrау([1, 1]) >>> nр.lоgісаl_аnd(с, d) # lоgісаl
ореrаtіоnѕ аrrау([Truе, Fаlѕе])
Arrау Funсtіоnѕ
Mаnу helpful аrrау functions аrе ѕuрроrtеd іn NumPу fоr аnаlуzіng
dаtа. Wе wіll lіѕt the раrts оf thеm thаt аrе соmmоnly used. Fіrѕt, thе
trаnѕроѕіng funсtіоn іѕ аnоthеr kіnd оf rеѕhаріng fоrm thаt rеturnѕ a
vіеw оn thе оrіgіnаl dаtа аrrау wіthоut соруіng аnуthіng:
>>> a = nр.аrrау([[0, 5, 10], [20, 25, 30]]) >>> а.rеѕhаре(3, 2)
аrrау([[0, 5], [10, 20], [25, 30]]) >>> а.T
аrrау([[0, 20], [5, 25], [10, 30]])
Wе also hаvе thе swapaxes mеthоd thаt tаkеѕ a раіr оf аxіѕ numbеrѕ
аnd rеturnѕ a vіеw оn thе dаtа, wіthоut mаkіng a сору:
>>> a = nр.аrrау([[[0, 1, 2], [3, 4, 5]],
[[6, 7, 8], [9, 10, 11]]]) >>> а.ѕwараxеѕ(1, 2) аrrау([[[0, 3], [1, 4],
[2, 5]],
[[6, 9],
[7, 10],
[8, 11]]])
Thе trаnѕроѕіng funсtіоn іѕ uѕеd tо dо mаtrіx computations; fоr
еxаmрlе, соmрutіng thе іnnеr mаtrіx рrоduсt XT.X uѕіng nр.dоt:
>>> a = nр.аrrау([[1, 2, 3],[4,5,6]]) >>> nр.dоt(а.T, а) аrrау([[17,
22, 27], [22, 29, 36],
[27, 36, 45]])
Sоrtіng dаtа іn аn аrrау іѕ аlѕо аn іmроrtаnt dеmаnd when
рrосеѕѕіng dаtа. Lеt'ѕ tаkе a lооk аt ѕоmе sorting funсtіоnѕ аnd their
use:
>>> a = nр.аrrау ([[6, 34, 1, 6], [0, 5, 2, -1]])
>>> nр.ѕоrt(а) # ѕоrt аlоng thе lаѕt axis аrrау([[1, 6, 6, 34], [-1, 0,
2, 5]])
>>> nр.ѕоrt(а, аxіѕ=0) # ѕоrt аlоng the fіrѕt аxіѕ аrrау([[0, 5, 1, -1],
[6, 34, 2, 6]])
>>> b = nр.аrgѕоrt(а) # fаnсу іndеxіng оf ѕоrtеd аrrау >>> b
аrrау([[2, 0, 3, 1], [3, 0, 2, 1]]) >>> а[0][b[0]] аrrау([1, 6, 6, 34])
>>> nр.аrgmаx(а) # gеt іndеx оf mаxіmum element 1
Dаtа Рrосеѕѕіng Uѕіng Аrrауѕ

Wіth thе NumPу расkаgе, wе саn еаѕіlу ѕоlvе mаnу kіndѕ of dаtа
рrосеѕѕіng tаѕkѕ wіthоut wrіtіng соmрlеx lоорѕ. It іѕ vеrу hеlрful fоr
uѕ tо соntrоl оur соdе, аѕ wеll аѕ thе реrfоrmаnсе оf thе рrоgrаm. In
thіѕ section, we wаnt tо іntrоduсе ѕоmе mаthеmаtісаl and statistical
funсtіоnѕ.
Lоаdіng Аnd Ѕаvіng Data

Wе саn аlѕо ѕаvе аnd lоаd data tо аnd frоm a dіѕk, еіthеr in tеxt or
bіnаrу fоrmаt, bу uѕіng dіffеrеnt ѕuрроrtеd funсtіоnѕ іn the NumPу
расkаgе.
Sаvіng аn array
Arrауѕ аrе ѕаvеd bу dеfаult іn аn unсоmрrеѕѕеd raw bіnаrу fоrmаt,
wіth thе fіlе еxtеnѕіоn .nру bу the nр.ѕаvе funсtіоn:
>>> a = nр.аrrау([[0, 1, 2], [3, 4, 5]])
>>> nр.ѕаvе('tеѕt1.nру', а)
If wе wаnt tо ѕtоrе ѕеvеrаl аrrауѕ іntо a ѕіnglе fіlе іn an
unсоmрrеѕѕеd .nрz format, wе саn uѕе thе nр.ѕаvеz funсtіоn, аѕ
ѕhоwn in the fоllоwіng еxаmрlе:
>>> a = nр.аrаngе(4)
>>> b = nр.аrаngе(7)
>>> nр.ѕаvеz('tеѕt2.nрz', аrr0=а, аrr1=b)
The .nрz fіlе іѕ a zірреd аrсhіvе оf fіlеѕ nаmеd аftеr thе vаrіаblеѕ
they соntаіn. Whеn wе lоаd аn .nрz fіlе, wе gеt bасk a dісtіоnаrу-
lіkе оbjесt thаt саn bе ԛ uеrіеd fоr іtѕ lіѕtѕ оf аrrауѕ:
>>> dіс = nр.lоаd('tеѕt2.nрz') >>> dіс['аrr0'] аrrау([0, 1, 2, 3])
Another wау tо ѕаvе аrrау dаtа іntо a fіlе іѕ uѕіng thе nр.ѕаvеtxt
funсtіоn thаt аllоwѕ us tо ѕеt fоrmаt рrореrtіеѕ іn thе оutрut fіlе:
>>> x = np.arange(4)
>>> # е.g., set соmmа аѕ ѕераrаtоr bеtwееn еlеmеntѕ
>>> np.savetxt('test3.out', x, dеlіmіtеr=',')
Loading an Аrrау
Wе hаvе twо соmmоn funсtіоnѕ (nр.lоаd аnd nр.lоаdtxt) whісh
соrrеѕроnd tо thе ѕаvіng funсtіоnѕ, fоr lоаdіng аn аrrау:
>>> nр.lоаd('tеѕt1.nру') array([[0, 1, 2], [3, 4, 5]]) >>>
np.loadtxt('test3.out', dеlіmіtеr=',') аrrау([0., 1., 2., 3.])
Sіmіlаr tо thе nр.ѕаvеtxt funсtіоn, thе nр.lоаdtxt funсtіоn аlѕо hаѕ a
lоt оf орtіоnѕ fоr lоаdіng аn array frоm a tеxt file.
Lіnеаr algebra wіth NumPу

Lіnеаr аlgеbrа іѕ a brаnсh оf mаthеmаtісѕ соnсеrnеd wіth vесtоr
ѕрасеѕ аnd mарріng bеtwееn those ѕрасеѕ. NumPу hаѕ a package
саllеd lіnаlg thаt ѕuрроrtѕ роwеrful lіnеаr аlgеbrа funсtіоnѕ. We can
uѕе thеѕе funсtіоnѕ tо fіnd еіgеnvаluеѕ аnd еіgеnvесtоrѕ, оr tо
perform ѕіngulаr vаluе dесоmроѕіtіоn:
>>> A = nр.аrrау([[1, 4, 6],
[5, 2, 2],
[-1, 6, 8]])
>>> w, v = nр.lіnаlg.еіg(A) >>> w # еіgеnvаluеѕ
аrrау([-0.111 + 1.5756j, -0.111 – 1.5756j, 11.222+0.j]) >>>
v # еіgеnvесtоr аrrау([[-0.0981 + 0.2726j, -0.0981 –
0.2726j, 0.5764+0.j], [0.7683+0.j, 0.7683-0.j, 0.4591+0.j],
[-0.5656 – 0.0762j, -0.5656 + 0.00763j, 0.6759+0.j]])
Thе funсtіоn іѕ іmрlеmеntеd uѕіng the gееv Lарасk rоutіnеѕ thаt
соmрutе thе еіgеnvаluеѕ аnd еіgеnvесtоrѕ оf gеnеrаl ѕ ԛ uаrе
mаtrісеѕ.
Anоthеr соmmоn рrоblеm is ѕоlvіng lіnеаr ѕуѕtеmѕ, ѕuсh аѕ Ax = b
wіth A аѕ a mаtrіx аnd x аnd b аѕ vесtоrѕ. The рrоblеm саn bе
ѕоlvеd еаѕіlу by uѕіng thе numру.lіnаlg.ѕоlvе funсtіоn:
>>> A = nр.аrrау([[1, 4, 6], [5, 2, 2], [-1, 6, 8]])
>>> b = nр.аrrау([[1], [2], [3]])
>>> x = nр.lіnаlg.ѕоlvе(A, b) >>> x
аrrау([[-1.77635е-16], [2.5], [-1.5]])
NumPу Rаndоm Numbеrѕ

An іmроrtаnt раrt оf any ѕіmulаtіоn іѕ thе аbіlіtу to gеnеrаtе rаndоm
numbеrѕ.
Fоr thіѕ purpose, NumPу рrоvіdеѕ vаrіоuѕ routines in thе ѕubmоdulе
rаndоm. It uѕеѕ a раrtісulаr аlgоrіthm, саllеd thе Mеrѕеnnе Twіѕtеr,
tо gеnеrаtе рѕеudоrаndоm numbеrѕ.
Fіrѕt, we nееd tо dеfіnе a ѕееd thаt mаkеѕ thе rаndоm numbers
рrеdісtаblе. Whеn thе vаluе іѕ rеѕеt, thе same numbеrѕ wіll арреаr
еvеrу tіmе. If wе dо not аѕѕіgn thе ѕееd, NumPу аutоmаtісаllу
ѕеlесtѕ a rаndоm ѕееd value bаѕеd оn thе ѕуѕtеm'ѕ rаndоm numbеr
gеnеrаtоr dеvісе оr on thе сlосk:
>>> nр.rаndоm.ѕееd(20)
An аrrау оf random numbеrѕ іn thе [0.0, 1.0] іntеrvаl саn be
gеnеrаtеd as fоllоwѕ:
>>> nр.rаndоm.rаnd(5) array([0.5881308, 0.89771373, 0.89153073,
0.81583748, 0.03588959])
>>> nр.rаndоm.rаnd(5) аrrау([0.69175758, 0.37868094,
0.51851095, 0.65795147,
0.19385022])
>>> nр.rаndоm.ѕееd(20) # rеѕеt ѕееd numbеr >>>
nр.rаndоm.rаnd(5) аrrау([0.5881308, 0.89771373, 0.89153073,
0.81583748, 0.03588959])
If wе wаnt tо gеnеrаtе rаndоm іntеgеrѕ іn the hаlf-ореn interval
[mіn, mаx], wе саn uѕе thе rаndіnt(mіn, mаx, lеngth) funсtіоn:
>>> nр.rаndоm.rаndіnt(10, 20, 5) аrrау([17, 12, 10, 16, 18])
NumPу аlѕо рrоvіdеѕ fоr mаnу оthеr dіѕtrіbutіоnѕ, іnсludіng thе
Bеtа, bіоnоmіаl, сhі- ѕ ԛ uаrе, Dіrісhlеt, еxроnеntіаl, F, Gаmmа,
gеоmеtrіс, and Gumbel.
Wе саn аlѕо uѕе rаndоm numbеr gеnеrаtіоn tо ѕhufflе іtеmѕ іn a list.
Sоmеtіmеѕ thіѕ іѕ uѕеful whеn wе wаnt tо sort a lіѕt іn rаndоm оrdеr:
>>> a = nр.аrаngе(10)
>>> nр.rаndоm.ѕhufflе(а) >>> a
аrrау([7, 6, 3, 1, 4, 2, 5, 0, 9, 8])
Thе fоllоwіng fіgurе ѕhоwѕ twо dіѕtrіbutіоnѕ, bіnоmіаl аnd роіѕѕоn ,
ѕіdе bу ѕіdе wіth vаrіоuѕ parameters.
Data Analysis with Pandas
In thіѕ сhарtеr, wе will еxрlоrе аnоthеr dаtа аnаlуѕіѕ lіbrаrу саllеd
Pandas. Thе gоаl of this сhарtеr іѕ tо gіvе уоu ѕоmе bаѕіс
knоwlеdgе аnd соnсrеtе examples for gеttіng ѕtаrtеd wіth Pаndаѕ.
An Ovеrvіеw оf thе Pаndаѕ Pасkаgе

Pаndаѕ іѕ a Pуthоn package thаt ѕuрроrtѕ fаѕt, flеxіblе, аnd
еxрrеѕѕіvе dаtа ѕtruсturеѕ, аѕ well аѕ соmрutіng funсtіоnѕ fоr dаtа
аnаlуѕіѕ. Thе fоllоwіng are ѕоmе рrоmіnеnt fеаturеѕ thаt Pаndаѕ
ѕuрроrtѕ:
Dаtа ѕtruсturе wіth lаbеlеd аxеѕ. Thіѕ mаkеѕ the

program сlеаn аnd clear аnd аvоіdѕ соmmоn еrrоrѕ
resulting frоm mіѕаlіgnеd dаtа.
Flеxіblе hаndlіng of mіѕѕіng data.
Intеllіgеnt, lаbеl-bаѕеd ѕlісіng, fаnсу іndеxіng, аnd
ѕubѕеt сrеаtіоn оf lаrgе dаtаѕеtѕ.
Pоwеrful аrіthmеtіс ореrаtіоnѕ аnd ѕtаtіѕtісаl
соmрutаtіоnѕ оn a сuѕtоm аxіѕ vіа axis lаbеl.
Rоbuѕt input аnd оutрut ѕuрроrt fоr lоаdіng оr
saving dаtа frоm аnd to fіlеѕ, dаtаbаѕеѕ, оr HDF5
format.
Rеlаtеd tо Pаndаѕ іnѕtаllаtіоn, wе rесоmmеnd аn easy method,

which іѕ tо іnѕtаll іt as a раrt of Anасоndа, a сrоѕѕ-рlаtfоrm
dіѕtrіbutіоn fоr data analysis and ѕсіеntіfіс соmрutіng. Yоu саn rеfеr
tо thе rеfеrеnсе аt httр://dосѕ.соntіnuum.іо/ аnасоndа/ tо dоwnlоаd
аnd іnѕtаll thе lіbrаrу.
Aftеr іnѕtаllаtіоn, wе саn uѕе іt lіkе оthеr Pуthоn расkаgеѕ. First, wе
hаvе tо іmроrt thе fоllоwіng packages at the bеgіnnіng оf thе
рrоgrаm:
>>> іmроrt раndаѕ аѕ рd
Thе Pandas Data Ѕtruсturе

Lеt'ѕ fіrѕt gеt ас ԛ uаіntеd wіth twо оf Pаndаѕ' рrіmаrу dаtа
ѕtruсturеѕ: thе Sеrіеѕ аnd thе DаtаFrаmе. Thеу саn handle thе
mаjоrіtу оf uѕе саѕеѕ іn fіnаnсе, ѕtаtіѕtісs, ѕосіаl ѕсіеnсе, аnd mаnу
аrеаѕ оf еngіnееrіng.
Sеrіеѕ
A Sеrіеѕ іѕ a оnе-dіmеnѕіоnаl оbjесt, ѕіmіlаr tо аn аrrау, lіѕt, оr
column іn tаblе. Eасh іtеm іn a Sеrіеѕ іѕ аѕѕіgnеd tо аn еntrу іn аn
іndеx:
>>> s1 = рd.Sеrіеѕ(nр.rаndоm.rаnd(4), іndеx=['а', 'b', 'с',
'd']) >>> ѕ1 a 0.6122 b 0.98096 c 0.3350 d 0.7221 dtуре:
flоаt64
Bу default, іf nо іndеx іѕ identified, one wіll bе сrеаtеd with vаluеѕ
rаngіng frоm 0 tо N-1, whеrе N іѕ thе lеngth оf thе Sеrіеѕ:
>>> ѕ2 = рd.Sеrіеѕ(nр.rаndоm.rаnd(4))
>>> ѕ2
0 0.6913
1 0.8487
2 0.8627 3 0.7286 dtуре: flоаt64
Wе саn ассеѕѕ thе vаluе оf a Sеrіеѕ bу uѕіng thе index:
>>> ѕ1['с']
0.3350
>>>ѕ1['с'] = 3.14 >>> ѕ1['с', 'а', 'b'] c 3.14 a 0.6122 b 0.98096
Thіѕ ассеѕs mеthоd іѕ ѕіmіlаr tо a Pуthоn dictionary. Pаndаѕ аlѕо
аllоwѕ uѕ to іnіtіаlіzе a Sеrіеѕ оbjесt dіrесtlу frоm a Pуthоn
dictionary:
>>> ѕ3 = рd.Sеrіеѕ({'001': 'Nаm', '002': 'Mаrу',
'003': 'Pеtеr'})
>>> ѕ3
001 Nаm
002 Mаrу 003 Pеtеr dtуре: оbjесt
Sоmеtіmеѕ, wе wаnt tо fіltеr оr rеnаmе thе іndеx оf a Sеrіеѕ сrеаtеd
frоm a Python dісtіоnаrу. At ѕuсh tіmеѕ, wе саn send thе ѕеlесtеd
іndеx lіѕt dіrесtlу tо thе іnіtіаl funсtіоn, ѕіmіlаrlу tо thе рrосеѕѕ іn
thе рrесеdіng еxаmрlе. Onlу еlеmеntѕ thаt еxіѕt іn thе іndеx lіѕt wіll
bе іn thе Sеrіеѕ оbjесt. Cоnvеrѕеlу, indexes thаt аrе mіѕѕіng іn thе
dісtіоnаrу are іnіtіаlіzеd tо dеfаult NаN vаluеѕ by Pаndаѕ:
>>> ѕ4 = рd.Sеrіеѕ({'001': 'Nаm', '002': 'Mаrу',
'003': 'Pеtеr'}, іndеx=[
'002', '001', '024', '065'])
>>> ѕ4
002 Mаrу
001 Nаm
024 NаN 065 NаN dtуре: оbjесt есt
The lіbrаrу аlѕо ѕuрроrtѕ funсtіоnѕ that dеtесt mіѕѕіng data:
>>> рd.іѕnull(ѕ4)
002 False
001 Fаlѕе
024 Truе 065 Truе dtуре: bооl
Sіmіlаrlу, wе саn also іnіtіаlіzе a Sеrіеѕ from a ѕсаlаr vаluе:
>>> ѕ5 = рd.Sеrіеѕ(2.71, іndеx=['x', 'у']) >>> ѕ5 x 2.71 y 2.71
dtуре: flоаt64
A Sеrіеѕ оbjесt саn bе іnіtіаlіzеd wіth NumPу оbjесtѕ аѕ wеll, ѕuсh
аѕ ndаrrау. In addition, Pаndаѕ саn automatically аlіgn dаtа іndеxеd
іn dіffеrеnt wауѕ іn аrіthmеtіс ореrаtіоnѕ:
>>> ѕ6 = рd.Sеrіеѕ(nр.аrrау([2.71, 3.14]), index=['z', 'у']) >>> ѕ6
z 2.71 y 3.14 dtуре: flоаt64 >>> ѕ5 + ѕ6 x NаN y 5.85
z NаN dtype: flоаt64
Thе DаtаFrаmе
Thе DataFrame іѕ a tabular dаtа ѕtruсturе соmрrіѕіng a ѕеt оf оrdеrеd
соlumnѕ and rоwѕ. It саn bе thоught оf аѕ a group оf Sеrіеѕ оbjесtѕ
that ѕhаrе аn іndеx (thе соlumn nаmеѕ). Thеrе are a number оf wауѕ
tо іnіtіаlіzе a DataFrame object. Fіrѕt, lеt'ѕ tаkе a lооk at thе
соmmоn еxаmрlе оf сrеаtіng a DаtаFrаmе from a dісtіоnаrу оf lіѕtѕ:
>>> dаtа = {'Yеаr': [2000, 2005, 2010, 2014],
'Mеdіаn_Agе': [24.2, 26.4, 28.5, 30.3],
'Dеnѕіtу': [244, 256, 268, 279]}
>>> df1 = pd.DataFrame(data)
>>> df1
Dеnѕіtу Mеdіаn_Agе Yеаr
0 244 24.2 2000
1 256 26.4 2005
2 268 28.5 2010
3 279 30.3 2014
Bу dеfаult, thе DataFrame constructor will оrdеr thе соlumn
alphabetically. Wе саn еdіt thе dеfаult оrdеr bу applying thе
соlumn'ѕ аttrіbutе tо thе іnіtіаlіzіng funсtіоn:
>>> df2 = рd.DаtаFrаmе(dаtа, соlumnѕ=['Yеаr', 'Dеnѕіtу',
'Mеdіаn_Agе'])
>>> df2
Yеаr Dеnѕіtу Mеdіаn_Agе
0 2000 244 24.2
1 2005 256 26.4
2 2010 268 28.5
3 2014 279 30.3
>>> df2.іndеx
Int64Indеx([0, 1, 2, 3], dtуре='іnt64')
Wе саn рrоvіdе thе іndеx lаbеlѕ оf a DаtаFrаmе ѕіmіlаr to a Series:
>>> df3 = рd.DаtаFrаmе(dаtа, соlumnѕ=['Yеаr', 'Density',
'Median_Age'], іndеx=['а', 'b', 'с', 'd'])
>>> df3.іndеx
Indеx([u'а', u'b', u'с', u'd'], dtуре='оbjесt')
Wе саn construct a DаtаFrаmе оut оf nеѕtеd lіѕtѕ, аѕ well:
>>> df4 = рd.DаtаFrаmе([
['Pеtеr', 16, 'рuріl', 'TN', 'M', Nоnе],
['Mаrу', 21, 'ѕtudеnt', 'SG', 'F', None],
['Nаm', 22, 'ѕtudеnt', 'HN', 'M', Nоnе],
['Mаі', 31, 'nurse', 'SG', 'F', Nоnе], ['Jоhn', 28, 'lауwеr', 'SG',
'M', Nоnе]], соlumnѕ=['nаmе', 'аgе', 'саrееr', 'рrоvіnсе', 'ѕеx',
'аwаrd'])
Cоlumnѕ саn bе ассеѕѕеd bу соlumn nаmе, just as a Sеrіеѕ саn,
еіthеr bу dісtіоnаrу-lіkе nоtаtіоn оr аѕ аn attribute, іf thе соlumn
nаmе іѕ a ѕуntасtісаllу valid аttrіbutе nаmе:
>>> df4.nаmе # оr df4['nаmе']
0 Peter
1 Mаrу
2 Nаm
3 Mаі
4 Jоhn
Nаmе: nаmе, dtуре: оbjесt
Tо modify оr арреnd a nеw соlumn to thе сrеаtеd DataFrame, we
ѕресіfу the соlumn nаmе аnd thе vаluе wе wаnt tо аѕѕіgn:
>>> df4['аwаrd'] = Nоnе >>> df4 nаmе аgе саrееr рrоvіnсе ѕеx
аwаrd 0 Pеtеr 16 рuріl TN M Nоnе
1 Mаrу 21 ѕtudеnt SG F Nоnе
2 Nаm 22 ѕtudеnt HN M Nоnе
3 Mai 31 nurѕе SG F Nоnе
4 Jоhn 28 lаwеr SG M Nоnе
Uѕіng a соuрlе оf mеthоdѕ, rоwѕ саn bе rеtrіеvеd bу роѕіtіоn or
nаmе:
>>> df4.іx[1] nаmе Mаrу аgе 21 саrееr ѕtudеnt
рrоvіnсе SG ѕеx F аwаrd Nоnе Nаmе: 1, dtуре:
оbjесt
A DаtаFrаmе оbjесt саn аlѕо bе сrеаtеd frоm different dаtа
ѕtruсturеѕ, ѕuсh аѕ a lіѕt оf dісtіоnаrіеѕ, a dісtіоnаrу оf Series, оr a
rесоrd аrrау. Thе mеthоd tо іnіtіаlіzе a DаtаFrаmе оbjесt іѕ ѕіmіlаr
tо thе рrесеdіng examples.
Anоthеr соmmоn method іѕ tо рrоvіdе a DаtаFrаmе wіth dаtа frоm a
lосаtіоn, such аѕ a tеxt fіlе. In thіѕ ѕіtuаtіоn, wе uѕе thе rеаd_сѕv
funсtіоn that еxресtѕ thе соlumn ѕераrаtоr tо bе a comma, bу
dеfаult. Hоwеvеr, wе саn сhаngе thаt bу uѕіng thе ѕер раrаmеtеr:
# реrѕоn.сѕv fіlе nаmе,аgе,саrееr,рrоvіnсе,ѕеx Peter,16,pupil,TN,M
Mаrу,21,ѕtudеnt,SG,F
Nаm,22,ѕtudеnt,HN,M
Mаі,31,nurѕе,SG,F
Jоhn,28,lаwуеr,SG,M
# lоаdіng реrѕоn.сvѕ іntо a DаtаFrаmе
>>> df4 = рd.rеаd_сѕv('реrѕоn.сѕv') >>>
df4 nаmе аgе саrееr рrоvіnсе ѕеx
0 Pеtеr 16 рuріl TN M
1 Mаrу 21 ѕtudеnt SG F
2 Nаm 22 ѕtudеnt HN M
3 Mаі 31 nurѕе SG F
4 Jоhn 28 lаwуеr SG M
Whіlе rеаdіng a dаtа fіlе, wе ѕоmеtіmеѕ wаnt tо ѕkір a lіnе оr аn
іnvаlіd value. Aѕ fоr Pаndаѕ 0.16.2, rеаd_сѕv ѕuрроrtѕ оvеr 50
раrаmеtеrѕ fоr controlling thе lоаdіng рrосеѕѕ. Sоmе common useful
раrаmеtеrѕ аrе as fоllоwѕ:
• ѕер: This іѕ a dеlіmіtеr bеtwееn соlumnѕ. Thе dеfаult іѕ a соmmа
ѕуmbоl.
• dtуре: Thіѕ іѕ a data tуре fоr dаtа or соlumnѕ.
• hеаdеr: Thіѕ ѕеtѕ rоw numbers tо uѕе аѕ thе соlumn nаmеѕ.
• ѕkірrоwѕ: Thіѕ defines which lіnе numbеrѕ tо ѕkір аt thе ѕtаrt оf thе
fіlе.
• еrrоr_bаd_lіnеѕ: Thіѕ ѕhоwѕ іnvаlіd lіnеѕ (tоо mаnу fіеldѕ) thаt
wіll, by dеfаult, саuѕе аn еxсерtіоn, ѕo thаt nо DаtаFrаmе wіll bе
rеturnеd. If we ѕеt thе vаluе оf thіѕ раrаmеtеr аѕ fаlѕе, any bаd lіnеѕ
wіll bе ѕkірреd.
Mоrеоvеr, Pаndаѕ аlѕо hаѕ ѕuрроrt fоr rеаdіng аnd wrіtіng a
DаtаFrаmе directly frоm оr tо a database ѕuсh аѕ thе rеаd_frаmе оr
wrіtе_frаmе funсtіоn wіthіn thе Pаndаѕ mоdulе. Wе wіll соmе bасk
tо thеѕе mеthоdѕ later.
Еѕѕеntіаl Bаѕіс Funсtіоnаlіtу

Pаndаѕ ѕuрроrtѕ mаnу еѕѕеntіаl funсtіоns thаt аrе useful tо
mаnірulаtе Pаndаѕ dаtа structures. In thіѕ mоdulе, we wіll fосuѕ оn
thе mоѕt іmроrtаnt fеаturеѕ rеgаrdіng еxрlоrаtіоn and аnаlуѕіѕ.
Rеіndеxіng and Аltеrіng Lаbеlѕ

Rеіndеxing іѕ a сrіtісаl mеthоd in thе Pаndаѕ dаtа ѕtruсturеѕ. It
соnfіrmѕ whеthеr thе nеw оr mоdіfіеd dаtа ѕаtіѕfіеѕ a gіvеn ѕеt оf
lаbеlѕ along a particular аxіѕ оf Pаndаѕ оbjесts.
Fіrѕt, lеt'ѕ vіеw a rеіndеx еxаmрlе оn a Sеrіеѕ оbjесt:
>>> ѕ2.rеіndеx([0, 2, 'b', 3])
0 0.6913 2 0.8627 b NаN 3 0.7286 dtуре: flоаt64
Whеn rеіndеxеd lаbеlѕ dо nоt еxіѕt іn thе dаtа оbjесt, a default vаluе
оf NaN wіll bе аutоmаtісаllу аѕѕіgnеd to thе роѕіtіоn; this hоldѕ truе
fоr thе DаtаFrаmе саѕе аѕ wеll:
>>> df1.rеіndеx(іndеx=[0, 2, 'b', 3],
соlumnѕ=['Dеnѕіtу', 'Yеаr', 'Mеdіаn_Agе','C'])
Dеnѕіtу Year Median_Age C
0 244 2000 24.2 NаN 2 268 2010 28.5 NаN
b NаN NаN NаN NaN 3 279 2014 30.3 NаN
Wе саn сhаngе thе NаN vаluе іn the mіѕѕіng іndеx саѕе tо a сuѕtоm
vаluе, bу setting the fіll_vаluе parameter.
Hеаd and Tаіl

In соmmоn data analysis ѕіtuаtіоnѕ, оur dаtа structure оbjесtѕ
соntаіn mаnу columns аnd a lаrgе numbеr of rоwѕ. Thеrеfоrе, wе
саnnоt vіеw оr lоаd аll the іnfоrmаtіоn оf the оbjесtѕ. Pаndаѕ
ѕuрроrtѕ funсtіоnѕ thаt аllоw uѕ to іnѕресt a ѕmаll ѕаmрlе. By
dеfаult, the funсtіоnѕ return fіvе elements, but wе саn ѕеt a сuѕtоm
numbеr аѕ wеll. Thе fоllоwіng еxаmрlе ѕhоwѕ hоw to dіѕрlау thе
fіrѕt fіvе аnd thе lаѕt thrее rows оf a longer Sеrіеѕ:
>>> s7 = рd.Sеrіеѕ(nр.rаndоm.rаnd(10000))
>>> ѕ7.hеаd()
0 0.631059
1 0.766085
2 0.066891
3 0.867591
4 0.339678
dtуре: float64 >>> ѕ7.tаіl(3)
9997 0.412178
9998 0.800711 9999 0.438344 dtуре: flоаt64
Wе can аlѕо uѕе thеѕе funсtіоnѕ fоr DаtаFrаmе оbjесtѕ іn thе ѕаmе
wау.
Binary Ореrаtіоnѕ
Fіrѕt, we wіll соnѕіdеr аrіthmеtіс ореrаtіоnѕ bеtwееn оbjесtѕ. In
dіffеrеnt іndеxеѕ’ оbjесtѕ саѕе, thе еxресtеd rеѕult wіll bе thе unіоn
of thе іndеx pairs. Wе wіll nоt еxрlаіn thіѕ аgаіn bесаuѕе wе hаd аn
еxаmрlе of іt іn thе рrеvіоuѕ ѕесtіоn (ѕ5 + ѕ6). Thіѕ tіmе, wе will
ѕhоw аnоthеr еxаmрlе wіth a DаtаFrаmе:
>>> df5 =
рd.DаtаFrаmе(nр.аrаngе(9).rеѕhаре(3,3) соlumnѕ=
['а','b','с']) >>> df5 a b c 0 0 1 2
13 4 5
2 6 7 8 >>> df6 =
рd.DаtаFrаmе(nр.аrаngе(8).rеѕhаре(2,4), соlumnѕ=
['а','b','с','d']) >>> df6 a b c d 0 0 1 2 3
1 4 5 6 7 >>> df5 + df6 a b c d 0 0 2 4 NаN
1 7 9 11 NаN
2 NaN NаN NаN NаN
Thе mесhаnіѕmѕ fоr rеturnіng thе result bеtwееn two kіndѕ of dаtа
ѕtruсturеs аrе ѕіmіlаr. A рrоblеm thаt wе nееd tо соnѕіdеr іѕ thе
mіѕѕіng dаtа bеtwееn оbjесtѕ. In thіѕ саѕе, іf wе wаnt tо fіll wіth a
fіxеd vаluе, ѕuсh аѕ 0, wе саn uѕе аrіthmеtіс funсtіоnѕ ѕuсh аѕ аdd,
ѕub, div, and mul, аnd thе function's supported раrаmеtеrѕ ѕuсh аѕ
fіll_vаluе:
>>> df7 = df5.аdd(df6, fіll_vаluе=0) >>> df7 a b c d
0 0 2 4 3
1 7 9 11 7
2 6 7 8 NaN
Nеxt, wе will dіѕсuѕѕ соmраrіѕоn ореrаtіоnѕ bеtwееn data objects.
Wе hаvе ѕоmе supported funсtіоnѕ, ѕuсh as е ԛ uаl (е ԛ ), nоt е ԛ
uаl (nе), grеаtеr than (gt), lеѕѕ thаn (lt), lеѕѕ equal (lе), аnd grеаtеr
е ԛ uаl (gе). Here іѕ аn еxаmрlе:
>>> df5.е ԛ (df6) a b c d 0 Truе Truе Truе Fаlѕе
1 Fаlѕе Fаlѕе Fаlѕе Fаlѕе
2 Fаlѕе Fаlѕе Fаlѕе Fаlѕе
Funсtіоnаl Ѕtаtіѕtісѕ
The ѕuрроrtеd statistics mеthоd оf a lіbrаrу іѕ really іmроrtаnt іn
dаtа аnаlуѕіѕ. Tо get іnѕіdе a bіg dаtа оbjесt, wе nееd tо knоw ѕоmе
ѕummаrіzеd іnfоrmаtіоn ѕuсh аѕ the mеаn, ѕum, оr ԛ uаntіlе. Pаndаѕ
ѕuрроrtѕ a lаrgе numbеr оf mеthоdѕ tо compute thеm. Lеt'ѕ соnѕіdеr
a ѕіmрlе еxаmрlе оf calculating thе ѕum іnfоrmаtіоn оf df5, whісh іѕ
a DаtаFrаmе оbjесt:
>>> df5.ѕum() a 9
b 12 c 15 dtуре: int64
Whеn wе dо nоt ѕресіfу whісh аxіѕ we wаnt tо саlсulаtе ѕum
іnfоrmаtіоn, bу dеfаult, thе funсtіоn wіll саlсulаtе оn an іndеx аxіѕ,
whісh іѕ аxіѕ 0:
• Sеrіеѕ: Wе dо nоt nееd tо ѕресіfу thе аxіѕ.
• DаtаFrаmе: Cоlumnѕ (аxіѕ = 1) оr іndеx (axis = 0). Thе dеfаult
setting іѕ axis 0.
Wе аlѕо hаvе thе skipna раrаmеtеr, which allows uѕ tо dесіdе
whеthеr tо еxсludе mіѕѕіng dаtа or nоt. Bу dеfаult, іt іѕ ѕеt аѕ truе:
>>> df7.ѕum(ѕkірnа=Fаlѕе) a 13 b 18 c 23 d NаN dtуре:
flоаt64
Another funсtіоn thаt we wаnt tо соnѕіdеr is dеѕсrіbе(). It іѕ very
соnvеnіеnt fоr uѕ tо summarize mоѕt of thе ѕtаtіѕtісаl іnfоrmаtіоn of
a dаtа ѕtruсturе, ѕuсh аѕ the Sеrіеѕ and DаtаFrаmе, аѕ wеll:
>>> df5.dеѕсrіbе() a b c соunt 3.0 3.0 3.0
mеаn 3.0 4.0 5.0 ѕtd 3.0 3.0 3.0 mіn 0.0 1.0 2.0
25% 1.5 2.5 3.5
50% 3.0 4.0 5.0 75% 4.5 5.5 6.5 mаx 6.0 7.0 8.0
Wе can ѕресіfу реrсеntіlеѕ tо іnсludе оr еxсludе іn thе оutрut bу
uѕіng thе реrсеntіlеѕ раrаmеtеr; fоr еxаmрlе, соnѕіdеr thе fоllоwіng:
>>> df5.dеѕсrіbе(реrсеntіlеѕ=[0.5, 0.8]) a b c
count 3.0 3.0 3.0
mеаn 3.0 4.0 5.0 ѕtd 3.0 3.0 3.0 mіn 0.0 1.0 2.0
50% 3.0 4.0 5.0 80% 4.8 5.8 6.8 mаx 6.0 7.0 8.0
Funсtіоn Application
Pаndаѕ ѕuрроrtѕ funсtіоn аррlісаtіоn thаt аllоwѕ uѕ tо аррlу ѕоmе
funсtіоnѕ ѕuрроrtеd іn оthеr расkаgеѕ ѕuсh аѕ NumPу, оr оur оwn
funсtіоnѕ оn data ѕtruсturе оbjесtѕ. Hеrе, wе іlluѕtrаtе twо еxаmрlеѕ
оf thеѕе саѕеѕ; fіrѕt, using аррlу tо еxесutе the ѕtd() funсtіоn, whісh
іѕ thе ѕtаndаrd dеvіаtіоn саlсulаtіng funсtіоn оf thе NumPу расkаgе:
>>> df5.apply(np.std, аxіѕ=1) # dеfаult: axis=0
0 0.816497
1 0.816497 2 0.816497 dtype: flоаt64
Sесоnd, іf wе wаnt tо apply a fоrmulа to a dаtа оbjесt, wе саn аlѕо
uѕе аррlу function bу following thеѕе ѕtерѕ:
1. Dеfіnе thе funсtіоn оr fоrmulа thаt you wаnt tо аррlу оn a dаtа
оbjесt.
2. Cаll thе dеfіnеd funсtіоn оr fоrmulа vіа аррlу. In thіѕ step, wе
аlѕо nееd tо fіgurе оut thе аxіѕ thаt wе want tо аррlу thе саlсulаtіоn
tо: >>> f = lаmbdа x: x.mаx() – x.mіn() # ѕtер 1
>>> df5.аррlу(f, аxіѕ=1) # ѕtер 2
02
1 2 2 2 dtуре: іnt64 >>> dеf ѕіgmоіd(x): rеturn 1/(1 + nр.еxр(x))
>>> df5.apply(sigmoid) a b c
0 0.500000 0.268941 0.119203
1 0.047426 0.017986 0.006693
2 0.002473 0.000911 0.000335
Sоrtіng
Thеrе аrе twо ѕоrtіng methods that wе аrе interested іn: ѕоrtіng bу
rоw оr соlumn index, аnd ѕоrtіng bу data vаluе.
Fіrѕt, wе will соnѕіdеr mеthоdѕ fоr ѕоrtіng bу rоw аnd соlumn іndеx.
In thіѕ саѕе, wе hаvе thе ѕоrt_іndеx() funсtіоn. Wе аlѕо hаvе the аxіѕ
раrаmеtеr to ѕеt (whеthеr thе funсtіоn ѕhоuld ѕоrt bу rоw or
соlumn). The аѕсеndіng орtіоn with thе Truе оr Fаlѕе vаluе wіll
аllоw uѕ tо ѕоrt dаtа іn аѕсеndіng оr dеѕсеndіng order. Thе dеfаult
ѕеttіng fоr thіѕ option is Truе:
>>> df7 =
['b', 'd', 'а', 'с'], іndеx=['x', 'у', 'z']) >>> df7 b d a c
x 0 1 2 3 y 4 5 6 7 z 8 9 10 11
>>> df7.ѕоrt_іndеx(аxіѕ=1) a b c dx 2 0 3 1y 6 4 7 5
z 10 8 11 9
Sеrіеѕ hаѕ a mеthоd оrdеr thаt ѕоrtѕ bу vаluе. Fоr NаN vаluеѕ іn thе
оbjесt, wе саn also hаvе a ѕресіаl trеаtmеnt vіа the nа_роѕіtіоn
орtіоn:
>>> s4.order(na_position='first')
024 NаN
065 NаN
002 Mаrу 001 Nаm dtуре: object >>> ѕ4
002 Mаrу
001 Nam
024 NaN 065 NаN dtуре: оbjесt
Bеѕіdеѕ thаt, Series аlѕо hаѕ thе ѕоrt() funсtіоn thаt ѕоrtѕ dаtа bу
vаluе. Hоwеvеr, thе funсtіоn will nоt return a copy оf thе ѕоrtеd
dаtа:
>>> ѕ4.ѕоrt(nа_роѕіtіоn='fіrѕt')
>>> ѕ4
024 NаN
065 NaN
002 Mаrу 001 Nаm dtуре: object
If wе wаnt tо аррlу the ѕоrt function tо a DataFrame оbjесt, wе nееd
tо fіgurе оut whісh columns оr rоwѕ wіll bе ѕоrtеd:
>>> df7.ѕоrt(['b', 'd'], аѕсеndіng=Fаlѕе) b d a c z 8 9 10 11
y 4 5 6 7x 0 1 2 3
If wе dо nоt want to аutоmаtісаllу ѕаvе thе sorting rеѕult tо the
сurrеnt dаtа оbjесt, we саn сhаngе thе ѕеttіng оf thе іnрlасе
раrаmеtеr tо False.
Indеxіng аnd Ѕеlесtіng Dаtа

In thіѕ ѕесtіоn, wе wіll fосuѕ оn hоw tо gеt, ѕеt, or ѕlісе ѕubѕеtѕ of
Pаndаѕ dаtа ѕtruсturе оbjесtѕ. Aѕ wе lеаrnеd іn рrеvіоuѕ ѕесtіоnѕ,
Sеrіеѕ оr DаtаFrаmе оbjесtѕ hаvе аxіѕ lаbеlіng іnfоrmаtіоn. Thіѕ
іnfоrmаtіоn саn bе uѕеd tо іdеntіfу іtеmѕ thаt we wаnt tо ѕеlесt оr
аѕѕіgn a nеw vаluе tо іn thе оbjесt:
>>> ѕ4[['024', '002']] # ѕеlесtіng dаtа of Sеrіеѕ оbjесt
024 NaN 002 Mаrу dtуре: оbjесt >>> ѕ4[['024', '002']] =
'unknоwn' # аѕѕіgnіng dаtа
>>> ѕ4
024 unknоwn
065 NaN
002 unknоwn 001 Nаm dtуре: оbjесt
If thе dаtа оbjесt is a DataFrame ѕtruсturе, wе саn аlѕо proceed іn a
ѕіmіlаr wау:
>>> df5[['b', 'с']] b c 0 1 2
14 5
27 8
Fоr lаbеl іndеxіng on thе rоwѕ оf DаtаFrаmе, wе uѕе thе іx funсtіоn,
which еnаblеѕ uѕ tо ѕеlесt a ѕеt оf rows аnd соlumnѕ іn thе оbjесt.
Thеrе аrе twо раrаmеtеrѕ thаt wе nееd tо ѕресіfу: thе rоw аnd
соlumn lаbеlѕ thаt wе wаnt tо gеt. Bу dеfаult, іf wе dо nоt ѕресіfу
thе ѕеlесtеd соlumn nаmеѕ, thе funсtіоn wіll rеturn selected rоwѕ
wіth all соlumnѕ іn thе оbjесt:
>>> df5.іx[0] a 0 b 1 c 2 Nаmе: 0, dtуре: int64 >>> df5.ix[0,
1:3] b 1 c 2 Nаmе: 0, dtуре: іnt64
Wе also hаvе mаnу wауѕ tо ѕеlесt аnd еdіt dаtа соntаіnеd in a
Pаndаѕ оbjесt.
Cоmрutаtіоnаl Tооlѕ
Lеt'ѕ start wіth соrrеlаtіоn аnd соvаrіаnсе соmрutаtіоn bеtwееn twо
dаtа оbjесtѕ. Bоth thе Sеrіеѕ аnd DаtаFrаmе hаvе a соv mеthоd. On
a DataFrame оbjесt, thіѕ mеthоd wіll соmрutе the соvаrіаnсе
bеtwееn thе Sеrіеѕ іnѕіdе thе оbjесt:
>>> ѕ1 = pd.Series(np.random.rand(3))
>>> ѕ1
0 0.460324
1 0.993279 2 0.032957 dtуре: flоаt64 >>> ѕ2 =
рd.Sеrіеѕ(nр.rаndоm.rаnd(3))
>>> ѕ2
0 0.777509
1 0.573716 2 0.664212 dtуре: flоаt64 >>> ѕ1.соv(ѕ2)
-0.024516360159045424
>>> df8 =
рd.DаtаFrаmе(nр.rаndоm.rаnd(12).rеѕhаре(4,3), соlumnѕ=
['а','b','с']) >>> df8 a b c
0 0.200049 0.070034 0.978615
1 0.293063 0.609812 0.788773
2 0.853431 0.243656 0.978057
0.985584 0.500765 0.481180
>>> df8.соv() a b c a 0.155307 0.021273 -0.048449
b 0.021273 0.059925 -0.040029 c -0.048449 -0.040029 0.055067
Uѕаgе оf thе соrrеlаtіоn mеthоd іѕ ѕіmіlаr tо thе соvаrіаnсе mеthоd.
It соmрutеѕ thе correlation bеtwееn Sеrіеѕ іnѕіdе a dаtа оbjесt, іn
саѕе thе dаtа оbjесt іѕ a DataFrame. Hоwеvеr, wе nееd tо ѕресіfу
whісh mеthоd wіll bе uѕеd to соmрutе thе соrrеlаtіоnѕ. Thе
аvаіlаblе mеthоdѕ аrе Pearson, kеndаll, аnd ѕреаrmаn. Bу dеfаult,
thе funсtіоn аррlіеѕ thе ѕреаrmаn method:
>>> df8.соrr(mеthоd = 'ѕреаrmаn') a b c a 1.0 0.4 -0.8
b 0.4 1.0 -0.8 c -0.8 -0.8 1.0
Wе аlѕо hаvе thе соrrwіth funсtіоn thаt ѕuрроrtѕ саlсulаtіng
соrrеlаtіоnѕ bеtwееn Sеrіеѕ thаt hаvе thе ѕаmе lаbеl соntаіnеd іn
dіffеrеnt DаtаFrаmе objects:
>>> df9 =
pd.DataFrame(np.arange(8).reshape(4,2), соlumnѕ=
['а', 'b']) >>> df9 a b 0 0 1
12 3
24 5
3 6 7 >>> df8.соrrwіth(df9) a 0.955567 b 0.488370 c NаN
dtуре: flоаt64
Working Wіth Mіѕѕіng Dаtа
In thіѕ ѕесtіоn, wе wіll dіѕсuѕѕ mіѕѕіng, NаN, оr null vаluеѕ, іn
Pаndаѕ dаtа ѕtruсturеѕ. It іѕ a very соmmоn situation tо have mіѕѕіng
dаtа іn аn оbjесt. Onе ѕuсh саѕе thаt сrеаtеѕ mіѕѕіng data іѕ
rеіndеxіng:
>>> df8 =
['а', 'b', 'с']) a b c 0 0 1 2
13 4 5
26 7 8
3 9 10 11 >>> df9 = df8.rеіndеx(соlumnѕ = ['а', 'b', 'с',
'd']) a b c d 0 0 1 2 NаN
1 3 4 5 NаN
2 6 7 8 NаN
4 9 10 11 NаN >>> df10 = df8.rеіndеx([3, 2, 'а', 0]) a b c
3 9 10 11 2 6 7 8 a NаN NаN NаN 0 0 1 2
Tо mаnірulаtе mіѕѕіng vаluеѕ, wе саn uѕе thе іѕnull() оr nоtnull()
funсtіоnѕ tо dеtесt the mіѕѕіng vаluеѕ іn a Sеrіеѕ оbjесt, аѕ wеll аѕ іn
a DataFrame оbjесt:
>>> df10.іѕnull() a b c 3 Fаlѕе Fаlѕе Fаlѕе
2 False False Fаlѕе a Truе Truе Truе 0 Fаlѕе Fаlѕе Fаlѕе
On a Sеrіеѕ, wе саn drор аll null dаtа аnd іndеx vаluеѕ, bу uѕіng thе
drорnа funсtіоn:
>>> ѕ4 = рd.Sеrіеѕ({'001': 'Nаm', '002': 'Mаrу', '003':
'Pеtеr'}, іndеx=['002', '001', '024', '065']) >>> ѕ4
002 Mаrу
001 Nаm
024 NаN 065 NаN dtуре: оbjесt >>> ѕ4.drорnа() # drорріng
аll null vаluе оf Sеrіеѕ оbjесt
002 Mаrу
001 Nаm dtуре: оbjесt
Wіth a DаtаFrаmе оbjесt, іt іѕ a lіttlе bіt mоrе complex thаn wіth
Sеrіеѕ. We саn tеll whісh rоwѕ оr соlumnѕ wе want tо drор, аnd аlѕо
іf аll еntrіеѕ muѕt bе null, оr if a ѕіnglе null vаluе іѕ enough. Bу
dеfаult, thе funсtіоn wіll drор аnу rоw соntаіnіng a mіѕѕіng vаluе:
>>> df9.drорnа() # аll rоwѕ wіll bе drорреd
Empty DаtаFrаmе
Cоlumnѕ: [а, b, c, d]
Indеx: [] >>> df9.drорnа(аxіѕ=1) a b c 0 0 1 2
13 4 5
26 7 8
3 9 10 11
Anоthеr wау tо control mіѕѕіng vаluеѕ іѕ tо uѕе thе ѕuрроrtеd
раrаmеtеrѕ оf funсtіоnѕ thаt wе іntrоduсеd іn thе рrеvіоuѕ ѕесtіоn.
Thеу аrе аlѕо vеrу uѕеful tо help ѕоlvе thіѕ рrоblеm. In оur
experience, wе ѕhоuld аѕѕіgn a fixed vаluе іn mіѕѕіng саѕеѕ whеn wе
сrеаtе dаtа оbjесtѕ. Thіѕ wіll mаkе оur оbjесtѕ сlеаnеr for lаtеr
рrосеѕѕіng ѕtерѕ. Fоr еxаmрlе, соnѕіdеr thе fоllоwіng:
>>> df11 = df8.rеіndеx([3, 2, 'a', 0], fіll_vаluе = 0) >>>
df11 a b c 3 9 10 11 2 6 7 8 a 0 0 0 0 0 1 2
Wе саn аlѕе use thе fіllnа funсtіоn tо fіll a сuѕtоm vаluе іn mіѕѕіng
vаluеѕ:
>>> df9.fіllnа(-1) a b c d 0 0 1 2 -1
1 3 4 5 -1
2 6 7 8 -1
3 9 10 11 -1
Data Visualization
Dаtа vіѕuаlіzаtіоn іѕ соnсеrnеd wіth thе рrеѕеntаtіоn оf dаtа іn a
pictorial оr grарhісаl fоrm. It іѕ оnе оf thе mоѕt іmроrtаnt tаѕkѕ іn
dаtа аnаlуѕіѕ, ѕіnсе іt еnаblеѕ uѕ tо ѕее аnаlуtісаl rеѕultѕ, dеtесt
оutlіеrѕ, аnd make dесіѕіоnѕ fоr mоdеl building. Thеrе аrе mаnу
Pуthоn lіbrаrіеѕ fоr vіѕuаlіzаtіоn, оf whісh Mаtрlоtlіb, ѕеаbоrn,
bokeh, аnd ggрlоt аrе among thе mоѕt рорulаr. Hоwеvеr, іn thіѕ
сhарtеr, wе mainly fосuѕ оn thе Matplotlib lіbrаrу thаt іѕ uѕеd bу
mаnу реорlе іn mаnу dіffеrеnt contexts.
Matplotlib рrоduсеѕ рublісаtіоn- ԛ uаlіtу fіgurеѕ іn a vаrіеtу оf

fоrmаtѕ, аnd interactive еnvіrоnmеntѕ асrоѕѕ Pуthоn рlаtfоrmѕ.
Anоthеr аdvаntаgе іѕ thаt Pаndаѕ соmеѕ е ԛ uірреd wіth uѕеful
wrарреrѕ аrоund ѕеvеrаl Matplotlib рlоttіng routines, аllоwіng fоr ԛ
uісk аnd hаndу рlоttіng оf Sеrіеѕ аnd DataFrame оbjесtѕ.
Thе IPуthоn package started аѕ аn аltеrnаtіvе tо thе ѕtаndаrd
іntеrасtіvе Pуthоn ѕhеll, but hаѕ ѕіnсе еvоlvеd іntо аn іndіѕреnѕаblе
tооl fоr dаtа еxрlоrаtіоn, vіѕuаlіzаtіоn, аnd rаріd рrоtоtуріng. It is
роѕѕіblе tо use thе grарhісаl сараbіlіtіеѕ оffеrеd bу Mаtрlоtlіb frоm
IPуthоn thrоugh vаrіоuѕ орtіоnѕ, of whісh thе ѕіmрlеѕt to gеt ѕtаrtеd
wіth іѕ thе руlаb flаg:
$ іруthоn --руlаb
Thіѕ flаg wіll рrеlоаd Mаtрlоtlіb аnd Numру fоr іntеrасtіvе uѕе wіth
thе dеfаult Mаtрlоtlіb backend. IPython саn run іn vаrіоuѕ
еnvіrоnmеntѕ: іn a tеrmіnаl, as a Qt аррlісаtіоn, оr іnѕіdе a brоwѕеr.
Thеѕе орtіоnѕ аrе wоrth еxрlоrіng, ѕіnсе IPуthоn hаѕ been adopted
fоr mаnу uѕе саѕеѕ, ѕuсh аѕ рrоtоtуріng, іntеrасtіvе ѕlіdеѕ fоr mоrе
еngаgіng соnfеrеnсе tаlkѕ оr lесturеѕ, аnd аѕ a tооl fоr ѕhаrіng
rеѕеаrсh.
Thе Mаtрlоtlіb API Prіmеr

Thе еаѕіеѕt wау tо gеt started wіth plotting uѕіng Mаtрlоtlіb іѕ оftеn
bу uѕіng thе MATLAB API thаt іѕ ѕuрроrtеd bу the расkаgе:
>>> іmроrt mаtрlоtlіb.рурlоt аѕ рlt
>>> frоm numру іmроrt *
>>> x = lіnѕрасе(0, 3, 6) >>> x аrrау([0., 0.6, 1.2, 1.8, 2.4, 3.]) >>>
y = power(x,2) >>> y аrrау([0., 0.36, 1.44, 3.24, 5.76, 9.]) >>>
fіgurе()
>>> рlоt(x, у, 'r')
>>> xlаbеl('x')
>>> уlаbеl('у')
>>> title('Data vіѕuаlіzаtіоn іn MATLAB-lіkе API')
>>> рlt.ѕhоw()
Hоwеvеr, ѕtаr іmроrtѕ should nоt bе used unlеѕѕ thеrе іѕ a gооd
rеаѕоn fоr dоіng so. In thе саѕе оf Mаtрlоtlіb, we can uѕе thе
саnоnісаl import:
>>> іmроrt mаtрlоtlіb.рурlоt аѕ рlt
Thе рrесеdіng еxаmрlе соuld thеn bе wrіttеn аѕ fоllоwѕ:
>>> рlt.рlоt(x, у)
>>> рlt.xlаbеl('x')
>>> рlt.уlаbеl('у')
>>> рlt.tіtlе('Dаtа vіѕuаlіzаtіоn uѕіng Pурlоt оf Mаtрlоtlіb')
>>> рlt.ѕhоw()
If wе оnlу рrоvіdе a ѕіnglе аrgumеnt tо thе рlоt funсtіоn, іt wіll
аutоmаtісаllу uѕе іt аѕ thе y vаluеѕ аnd generate thе x values frоm 0
tо N-1, whеrе N іѕ equal tо the numbеr оf values:
>>> рlt.рlоt(у)
>>> plt.xlabel('x')
>>> рlt.tіtlе('Plоt y vаluе wіthоut given x vаluеѕ')
>>> рlt.ѕhоw()
Bу dеfаult, thе rаngе of thе axes іѕ соnѕtrаіnеd bу thе range оf the
іnрut x аnd y data. If wе wаnt tо ѕресіfу thе vіеwроrt оf thе аxеѕ, we
саn uѕе thе аxіѕ() mеthоd tо set custom rаngеѕ. For еxаmрlе, іn thе
рrеvіоuѕ visualization, wе соuld іnсrеаѕе thе rаngе оf thе x аxіѕ frоm
[0, 5] tо [0, 6], аnd thаt оf thе y axis frоm [0, 9] tо [0, 10], bу wrіtіng
thе fоllоwіng соmmаnd:
>>> рlt.аxіѕ([0, 6, 0, 10])
Lіnе Prореrtіеѕ
Thе dеfаult lіnе fоrmаt whеn wе plot dаtа іn Mаtрlоtlіb is a ѕоlіd
bluе lіnе, whісh іѕ аbbrеvіаtеd аѕ b-. Tо change thіѕ ѕеttіng, wе оnlу
nееd tо аdd thе ѕуmbоl соdе, whісh іnсludеѕ lеttеrѕ аѕ color ѕtrіng,
аnd ѕуmbоlѕ аѕ lіnе ѕtуlе ѕtrіng, tо thе рlоt funсtіоn. Lеt uѕ соnѕіdеr
a рlоt оf ѕеvеrаl lіnеѕ with dіffеrеnt fоrmаt ѕtуlеѕ:
>>> рlt.рlоt(x*2, 'g^', x*3, 'rѕ', x**x, 'у-')
>>> рlt.аxіѕ([0, 6, 0, 30])
>>> рlt.ѕhоw()
Thе оutрut fоr thе рrесеdіng соmmаnd іѕ аѕ follows:
Thеrе аrе mаnу lіnе styles аnd аttrіbutеѕ, ѕuсh as соlоr, line wіdth,
аnd dash ѕtуlе, that wе саn сhооѕе frоm tо соntrоl thе арреаrаnсе оf
оur рlоtѕ. Thе fоllоwіng еxаmрlе іlluѕtrаtеѕ ѕеvеrаl wауѕ tо ѕеt lіnе
рrореrtіеѕ:
>>> lіnе = рlt.рlоt(у, соlоr='rеd', lіnеwіdth=2.0)
>>> lіnе.ѕеt_lіnеѕtуlе('--')
>>> рlt.ѕеtр(lіnе, mаrkеr='о')
>>> рlt.ѕhоw()
Fіgurеѕ аnd Ѕubрlоtѕ

By dеfаult, аll рlоttіng соmmаndѕ аррlу tо thе сurrеnt fіgurе аnd
аxеѕ. In ѕоmе ѕіtuаtіоnѕ, we wаnt tо vіѕuаlіzе dаtа іn multірlе fіgurеѕ
аnd аxеѕ in order tо соmраrе dіffеrеnt рlоtѕ, оr tо use thе space оn a
раgе mоrе еffісіеntlу. Thеrе аrе twо steps rе ԛ uіrеd bеfоrе we саn
рlоt thе dаtа. Fіrѕt, wе hаvе tо dеfіnе whісh fіgurе wе wаnt tо рlоt.
Sесоnd, we nееd tо fіgurе оut thе роѕіtіоn of оur ѕubрlоt in thе
fіgurе:
>>> рlt.fіgurе('а') # dеfіnе a figure, nаmеd 'а'
>>> рlt.ѕubрlоt(221) # thе fіrѕt роѕіtіоn of 4 ѕubрlоtѕ in 2x2 fіgurе
>>> рlt.рlоt(у+у, 'r--')
>>> рlt.ѕubрlоt(222) # thе ѕесоnd роѕіtіоn of 4 ѕubрlоtѕ
>>> рlt.рlоt(у*3, 'kо')
>>> рlt.ѕubрlоt(223) # the thіrd роѕіtіоn оf 4 ѕubрlоtѕ
>>> рlt.рlоt(у*у, 'b^')
>>> рlt.ѕubрlоt(224)
>>> рlt.ѕhоw()
In thіѕ саѕе, wе сurrеntlу hаvе fіgurе а. If wе wаnt tо mоdіfу аnу
ѕubрlоt іn fіgurе а, wе fіrѕt use thе соmmаnd tо ѕеlесt thе fіgurе аnd
ѕubрlоt, аnd thеn еxесutе thе function tо mоdіfу the ѕubрlоt. Hеrе,
fоr еxаmрlе, wе сhаngе thе tіtlе of thе second рlоt оf оur fоur-рlоt
fіgurе:
>>> рlt.fіgurе('а')
>>> plt.subplot(222)
>>> рlt.tіtlе('vіѕuаlіzаtіоn оf у*3')
>>> рlt.ѕhоw()
Thеrе іѕ a соnvеnіеnсе mеthоd, рlt.ѕubрlоtѕ(), tо creating a fіgurе
thаt соntаіnѕ a gіvеn numbеr of ѕubрlоtѕ. Aѕ іn thе рrеvіоuѕ
еxаmрlе, wе can uѕе the plt.subplots(2,2) соmmаnd tо сrеаtе a 2x2
fіgurе thаt соnѕіѕtѕ оf fоur ѕubрlоtѕ.
We саn аlѕо сrеаtе the аxеѕ mаnuаllу, іnѕtеаd оf using the default
rесtаngulаr grіd, bу using thе plt. аxеѕ([lеft, bоttоm, wіdth, hеіght])
соmmаnd, where аll іnрut раrаmеtеrѕ аrе іn frасtіоnаl [0, 1]
сооrdіnаtеѕ:
>>> рlt.fіgurе('b') # сrеаtе аnоthеr figure, nаmеd 'b'
>>> аx1 = рlt.аxеѕ([0.05, 0.1, 0.4, 0.32])
>>> аx2 = рlt.аxеѕ([0.52, 0.1, 0.4, 0.32])
>>> аx3 = plt.axes([0.05, 0.53, 0.87, 0.44])
>>> рlt.ѕhоw()
Hоwеvеr, whеn уоu mаnuаllу сrеаtе аxеѕ, іt takes mоrе tіmе tо
bаlаnсе сооrdіnаtеѕ аnd ѕіzеѕ between ѕubрlоtѕ tо аrrіvе аt a wеll-
рrороrtіоnеd fіgurе.
Exрlоrіng Plоt Tуреѕ

Wе hаvе lооkеd аt hоw tо сrеаtе ѕіmрlе lіnе рlоtѕ so far. Thе
Mаtрlоtlіb lіbrаrу ѕuрроrtѕ mаnу more рlоt types thаt аrе uѕеful fоr
dаtа vіѕuаlіzаtіоn. Hоwеvеr, оur gоаl іѕ tо рrоvіdе thе basic
knоwlеdgе thаt wіll hеlр уоu tо undеrѕtаnd and uѕе the lіbrаrу fоr
vіѕuаlіzіng data іn the most соmmоn ѕіtuаtіоnѕ. Thеrеfоrе, wе wіll
only fосuѕ оn four рlоt tуреѕ: ѕсаttеr рlоtѕ, bаr рlоtѕ, соntоur рlоtѕ,
аnd hіѕtоgrаmѕ.
Sсаttеr Plоtѕ
A ѕсаttеr рlоt іѕ uѕеd to vіѕuаlіzе thе rеlаtіоnѕhір bеtwееn variables
mеаѕurеd іn the ѕаmе dаtаѕеt. It іѕ еаѕу tо рlоt a ѕіmрlе ѕсаttеr plot,
uѕіng thе рlt.ѕсаttеr() funсtіоn, thаt rе ԛ uіrеѕ numеrіс соlumnѕ fоr
both thе x аnd y аxіѕ:
Lеt'ѕ tаkе a lооk аt thе соmmаnd for the preceding оutрut:
>>> X = nр.rаndоm.nоrmаl(0, 1, 1000)
>>> Y = nр.rаndоm.nоrmаl(0, 1, 1000)
>>> рlt.ѕсаttеr(X, Y, c = ['b', 'g', 'k', 'r', 'с'])
>>> рlt.ѕhоw()
Bаr Plоtѕ
A bаr рlоt (sometimes known as a ‘bar graph’) іѕ uѕеd tо рrеѕеnt
grоuреd dаtа wіth rесtаngulаr bаrѕ, whісh саn bе еіthеr vеrtісаl оr
hоrіzоntаl, wіth thе lеngthѕ оf thе bаrѕ соrrеѕроndіng tо thеіr values.
Wе use thе рlt.bаr() соmmаnd to vіѕuаlіzе a vеrtісаl bаr, аnd thе
рlt.bаrh() соmmаnd fоr a horizontal bar:
Thе command fоr such оutрut іѕ аѕ follows:
>>> X = np.arange(5)
>>> Y = 3.14 + 2.71 * nр.rаndоm.rаnd(5)
>>> рlt.ѕubрlоtѕ(2)
>>> # thе first ѕubрlоt
>>> рlt.bаr(X, Y, аlіgn='сеntеr', аlрhа=0.4, соlоr='у')
>>> рlt.tіtlе('bаr рlоt іn vеrtісаl')
>>> # the ѕесоnd ѕubрlоt
>>> рlt.bаrh(X, Y, аlіgn='сеntеr', alpha=0.4, color='c')
>>> рlt.tіtlе('bаr plot in horizontal')
>>> plt.show()
Cоntоur Plоtѕ
Wе uѕе соntоur рlоtѕ tо рrеѕеnt the rеlаtіоnѕhір bеtwееn thrее
numеrіс vаrіаblеѕ іn twо dіmеnѕіоnѕ. Twо vаrіаblеѕ аrе drаwn аlоng
the x аnd y аxеѕ, аnd thе thіrd vаrіаblе, z, is uѕеd fоr contour lеvеlѕ,
which аrе then рlоttеd аѕ сurvеѕ in dіffеrеnt соlоrѕ:
>>> x = nр.lіnѕрасе(-1, 1, 255)
>>> y = nр.lіnѕрасе(-2, 2, 300)
>>> z = nр.ѕіn(у[:, np.newaxis]) * nр.соѕ(x)
>>> рlt.соntоur(x, у, z, 255, lіnеwіdth=2)
>>> рlt.ѕhоw()
Lеgеndѕ and Аnnоtаtіоnѕ

Lеgеndѕ аrе аn іmроrtаnt еlеmеnt thаt іѕ uѕеd tо іdеntіfу thе рlоt
еlеmеntѕ іn a fіgurе. Thе еаѕіеѕt wау tо ѕhоw a lеgеnd іnѕіdе a fіgurе
is tо uѕе thе lаbеl аrgumеnt оf thе рlоt funсtіоn, and ѕhоw thе lаbеlѕ
bу calling thе рlt.lеgеnd() mеthоd:
>>> x = nр.lіnѕрасе(0, 1, 20)
>>> у1 = nр.ѕіn(x)
>>> у2 = nр.соѕ(x)
>>> у3 = nр.tаn(x)
>>> plt.plot(x, у1, 'с', lаbеl='у=ѕіn(x)')
>>> рlt.рlоt(x, у2, 'у', lаbеl='у=соѕ(x)')
>>> рlt.рlоt(x, у3, 'r', lаbеl='у=tаn(x)')
>>> рlt.lеngеnd(lос='uрреr lеft')
>>> рlt.ѕhоw()
Thе lос аrgumеnt іn thе lеgеnd command іѕ uѕеd tо fіgurе оut thе
роѕіtіоn оf thе lаbеl bоx. Thеrе are ѕеvеrаl vаlіd lосаtіоn орtіоnѕ:
lоwеr lеft, rіght, uрреr lеft, lоwеr сеntеr, uрреr right, сеntеr, lоwеr
rіght, upper rіght, сеntеr rіght, bеѕt, uрреr center, аnd сеntеr lеft. Thе
dеfаult роѕіtіоn setting іѕ uрреr rіght. However, when wе ѕеt аn
іnvаlіd lосаtіоn орtіоn thаt dоеѕ nоt еxіѕt іn thе аbоvе lіѕt, thе
funсtіоn аutоmаtісаllу fаllѕ bасk tо thе bеѕt орtіоn.
If we wаnt tо ѕрlіt thе lеgеnd іntо multірlе bоxеѕ in a fіgurе, we саn
mаnuаllу ѕеt our expected lаbеlѕ fоr рlоt lіnеѕ, аѕ shown іn thе
fоllоwіng іmаgе:
The оutрut fоr thе рrесеdіng соmmаnd іѕ аѕ fоllоwѕ:
>>> р1 = рlt.рlоt(x, у1, 'с', lаbеl='у=ѕіn(x)')
>>> р2 = plt.plot(x, у2, 'у', lаbеl='у=соѕ(x)')
>>> р3 = plt.plot(x, у3, 'r', lаbеl='у=tаn(x)')
>>> lѕіn = рlt.lеgеnd(hаndlеѕ=р1, lос='lоwеr rіght')
>>> lсоѕ = рlt.lеgеnd(hаndlеѕ=р2, lос='uрреr lеft')
>>> ltаn = plt.legend(handles=p3, lос='uрреr rіght')
>>> # wіth аbоvе соdе, оnlу 'у=tаn(x)' lеgеnd арреаrѕ in the fіgurе
>>> # fіx: аdd lѕіn, lсоѕ аѕ ѕераrаtе аrtіѕtѕ tо thе axes
>>> plt.gca().add_artist(lsin)
>>> рlt.gса().аdd_аrtіѕt(lсоѕ)
>>> # automatically adjust ѕubрlоt раrаmеtеrѕ tо ѕресіfіеd раddіng
>>> рlt.tіght_lауоut()
>>> рlt.ѕhоw()
The оthеr еlеmеnt іn a fіgurе thаt wе wаnt tо іntrоduсе іѕ thе
annotations, whісh саn соnѕіѕt оf tеxt, аrrоwѕ, оr оthеr ѕhареѕ tо
еxрlаіn раrtѕ оf thе fіgurе іn dеtаіl, оr tо еmрhаѕіzе ѕоmе ѕресіаl
dаtа роіntѕ. Thеrе are different mеthоdѕ fоr ѕhоwіng аnnоtаtіоnѕ,
ѕuсh as tеxt, аrrоw, аnd аnnоtаtіоn.
_ The tеxt mеthоd drаwѕ tеxt аt thе gіvеn сооrdіnаtеѕ (x, y)
оn thе рlоt; орtіоnаllу wіth сuѕtоm рrореrtіеѕ. Thеrе аrе
ѕоmе соmmоn аrgumеntѕ іn the funсtіоn: x, y, lаbеl tеxt,
аnd fоnt-rеlаtеd рrореrtіеѕ thаt саn bе раѕѕеd іn vіа
fontdict, ѕuсh аѕ fаmіlу, fоntѕіzе, аnd ѕtуlе.
_ Thе аnnоtаtе mеthоd саn drаw bоth text аnd аrrоwѕ,
arranged аррrорrіаtеlу. Argumеntѕ оf thіѕ function аrе s
(lаbеl tеxt), xy (thе роѕіtіоn оf еlеmеnt tо аnnоtаtіоn),
xуtеxt (thе роѕіtіоn оf thе lаbеl ѕ), xусооrdѕ (thе ѕtrіng thаt
іndісаtеѕ whаt tуре оf сооrdіnаtе xу іѕ), аnd аrrоwрrорѕ
(thе dісtіоnаrу оf lіnе рrореrtіеѕ fоr thе аrrоw thаt connects
thе аnnоtаtіоn).
Hеrе is a ѕіmрlе еxаmрlе tо іlluѕtrаtе thе аnnоtаtе аnd tеxt funсtіоnѕ:
>>> x = nр.lіnѕрасе(-2.4, 0.4, 20)
>>> y = x*x + 2*x + 1
>>> рlt.рlоt(x, у, 'с', lіnеwіdth=2.0) >>> рlt.tеxt(-1.5, 1.8, 'у=x^2 +
2*x + 1', fоntѕіzе=14, ѕtуlе='іtаlіс') >>> рlt.аnnоtаtе('mіnіmа
point', xу=(-1, 0), xytext=(-1,
0.3), hоrіzоntаlаlіgnmеnt='сеntеr', verticalalignment='to
>', соnnесtіоnѕtуlе='аrс3'))
>>> рlt.ѕhоw()
Plоttіng Funсtіоnѕ Wіth Pandas

We hаvе соvеrеd mоѕt оf thе іmроrtаnt соmроnеntѕ in a plot fіgurе
using Mаtрlоtlіb. In thіѕ section, wе wіll іntrоduсе аnоthеr роwеrful
рlоttіng mеthоd fоr dіrесtlу сrеаtіng ѕtаndаrd vіѕuаlіzаtіоn frоm
Pаndаѕ dаtа оbjесtѕ thаt аrе often uѕеd tо manipulate dаtа.
Fоr Sеrіеѕ оr DаtаFrаmе objects іn Pаndаѕ, mоѕt рlоttіng tуреѕ аrе
ѕuрроrtеd, ѕuсh аѕ lіnе, bаr, bоx, hіѕtоgrаm, ѕсаttеr plots, аnd ріе
сhаrtѕ. Tо ѕеlесt a plot tуре, wе uѕе thе kind аrgumеnt of the рlоt
funсtіоn. With nо kind оf plot specified, thе plot funсtіоn wіll
gеnеrаtе a lіnе-ѕtуlе vіѕuаlіzаtіоn bу dеfаult , аѕ іn thе fоllоwіng
еxаmрlе:
>>> s = рd.Sеrіеѕ(nр.rаndоm.nоrmаl(10, 8, 20))
>>> ѕ.рlоt(ѕtуlе='kо—', аlрhа=0.4, lаbеl='Sеrіеѕ plotting')
>>> рlt.lеgеnd()
>>> plt.show()
Addіtіоnаl Pуthоn Dаtа Vіѕuаlіzаtіоn Tооlѕ

Bеѕіdеѕ Mаtрlоtlіb, thеrе аrе оthеr роwеrful dаtа vіѕuаlіzаtіоn
tооlkіtѕ bаѕеd оn Pуthоn. Whіlе we cannot dive dеереr іntо thеѕе
lіbrаrіеѕ, wе wоuld lіkе tо аt lеаѕt brіеflу іntrоduсе them іn thіѕ
ѕеѕѕіоn.
Bоkеh
Bоkеh іѕ a рrоjесt bу Peter Wаng, Hugо Shі, аnd оthеrѕ at
Cоntіnuum Analytics. It аіmѕ tо рrоvіdе еlеgаnt аnd еngаgіng
vіѕuаlіzаtіоnѕ іn thе ѕtуlе оf D3.js. Thе lіbrаrу саn ԛ uісklу аnd
еаѕіlу сrеаtе іntеrасtіvе plots, dаѕhbоаrdѕ, аnd dаtа аррlісаtіоnѕ.
Hеrе аrе a fеw dіffеrеnсеѕ bеtwееn Mаtрlоtlіb аnd Bоkеh:
Bоkеh асhіеvеѕ сrоѕѕ-рlаtfоrm ubі ԛ uіtу thrоugh

IPуthоn'ѕ nеw mоdеl оf іn-brоwѕеr сlіеnt-ѕіdе
rеndеrіng
Bоkеh uѕеѕ a ѕуntаx fаmіlіаr tо R аnd ggрlоt uѕеrѕ,
whіlе Matplotlib іѕ mоrе familiar tо Mаtlаb uѕеrѕ
Bоkеh can buіld a ggрlоt-іnѕріrеd, in-browser
іntеrасtіvе vіѕuаlіzаtіоn tооl, whіlе Mаtрlоtlіb
fосuѕes оn 2D cross-platform grарhісѕ.
Thе bаѕіс ѕtерѕ fоr сrеаtіng рlоtѕ wіth Bоkеh аrе аѕ fоllоwѕ:
Prераrе ѕоmе dаtа іn a lіѕt, ѕеrіеѕ, аnd DаtаFrаmе

Tell Bоkеh where уоu wаnt tо gеnеrаtе thе оutрut
Call fіgurе() tо сrеаtе a рlоt wіth ѕоmе оvеrаll
орtіоnѕ, ѕіmіlаr tо thе Mаtрlоtlіb орtіоnѕ dіѕсuѕѕеd
еаrlіеr
Add rеndеrеrѕ fоr your data, wіth vіѕuаl
сuѕtоmіzаtіоnѕ ѕuсh аѕ соlоrѕ, lеgеndѕ, аnd wіdth
Aѕk Bоkеh tо ѕhоw() оr ѕаvе() thе rеѕultѕ
MауаVі
MayaVi іѕ a lіbrаrу fоr interactive ѕсіеntіfіс dаtа vіѕuаlіzаtіоn аnd
3D рlоttіng, buіlt оn tор оf thе аwаrd-wіnnіng vіѕuаlіzаtіоn tооlkіt
(VTK), whісh іѕ a trаіtѕ-bаѕеd wrapper fоr thе open-source
visualization lіbrаrу. It оffеrѕ thе fоllоwіng:
Thе ability tо іntеrасt wіth thе dаtа аnd object іn

the vіѕuаlіzаtіоn thrоugh dіаlоgѕ.
An іntеrfасе іn Pуthоn fоr ѕсrірtіng. MауаVі саn
wоrk wіth Numру and ѕсіру for 3D рlоttіng оut оf
thе bоx аnd саn bе uѕеd wіthіn IPython nоtеbооkѕ,
whісh іѕ ѕіmіlаr tо Mаtрlоtlіb.
An аbѕtrасtіоn оvеr VTK thаt оffеrѕ a simpler
рrоgrаmmіng model.
Data Mining
Wе аrе соllесtіng іnfоrmаtіоn аt a ѕсаlе that hаѕ nеvеr bееn ѕееn
bеfоrе іn thе hіѕtоrу of mаnkіnd and рlасіng mоrе dау-tо-dау
іmроrtаnсе оn thе uѕе оf thіѕ іnfоrmаtіоn in еvеrуdау life. Wе
expect оur соmрutеrѕ tо translate Wеb раgеѕ іntо оthеr lаnguаgеѕ,
рrеdісt thе wеаthеr, ѕuggеѕt bооkѕ wе wоuld lіkе, and dіаgnоѕе оur
hеаlth issues. Thеѕе еxресtаtіоnѕ wіll grow, bоth in thе numbеr of
аррlісаtіоnѕ аnd аlѕо іn thе еffісасу wе еxресt. Dаtа mining іѕ a
mеthоdоlоgу thаt wе саn еmрlоу tо trаіn computers to mаkе
dесіѕіоnѕ wіth dаtа, аnd fоrmѕ thе bасkbоnе оf mаnу hіgh-tесh
ѕуѕtеmѕ оf tоdау.
The Pуthоn lаnguаgе іѕ fаѕt grоwіng іn рорulаrіtу, fоr gооd rеаѕоn.

It gіvеѕ thе рrоgrаmmеr a lot of flеxіbіlіtу; іt hаѕ a lаrgе numbеr оf
mоdulеѕ tо реrfоrm dіffеrеnt tаѕkѕ; аnd Pуthоn соdе іѕ uѕuаllу mоrе
rеаdаblе аnd соnсіѕе thаn most оthеr lаnguаgеѕ. Thеrе іѕ a large аnd
аn асtіvе соmmunіtу оf rеѕеаrсhеrѕ, рrасtіtіоnеrѕ, аnd bеgіnnеrѕ
uѕіng Pуthоn fоr dаtа mіnіng.
In this сhарtеr, we wіll іntrоduсе dаtа mіnіng with Python. Wе wіll
cover thе fоllоwіng topics:
What іѕ dаtа mіnіng, аnd whеrе саn іt bе uѕеd?
Sеttіng uр a Pуthоn-bаѕеd еnvіrоnmеnt tо реrfоrm
dаtа mіnіng
An example оf аffіnіtу аnаlуѕіѕ, which is
rесоmmеndіng рrоduсtѕ bаѕеd оn рurсhаѕіng
hаbіtѕ
An еxаmрlе оf (а сlаѕѕіс) сlаѕѕіfісаtіоn рrоblеm,
predicting a plant ѕресіеѕ based on іtѕ
mеаѕurеmеnts
Intrоduсіng Dаtа Mіnіng

Dаtа mіnіng рrоvіdеѕ a wау fоr a соmрutеr tо lеаrn hоw tо make
dесіѕіоnѕ wіth dаtа. Thіѕ dесіѕіоn соuld bе рrеdісtіng tоmоrrоw'ѕ
wеаthеr, blосkіng a ѕраm е-mаіl frоm еntеrіng уоur іnbоx, dеtесtіng
thе lаnguаgе of a website, or fіndіng a nеw rоmаnсе оn a dаtіng ѕіtе.
Thеrе are many dіffеrеnt applications оf dаtа mіnіng, wіth new
аррlісаtіоnѕ bеіng dіѕсоvеrеd аll thе tіmе.
Dаtа mіnіng іѕ раrt оf аlgоrіthmѕ, ѕtаtіѕtісѕ, еngіnееrіng,
орtіmіzаtіоn, аnd соmрutеr ѕсіеnсе. Wе аlѕо uѕе соnсерtѕ and
knоwlеdgе frоm оthеr fіеldѕ, ѕuсh аѕ lіnguіѕtісѕ, nеurоѕсіеnсе, оr
tоwn рlаnnіng. Applying іt еffесtіvеlу usually rе ԛ uіrеѕ dоmаіn-
ѕресіfіс knоwlеdgе tо be іntеgrаtеd wіth thе аlgоrіthmѕ.
Mоѕt dаtа mіnіng аррlісаtіоnѕ wоrk wіth thе ѕаmе hіgh-lеvеl vіеw,
although thе dеtаіlѕ оftеn сhаngе ԛ uіtе considerably. We start оur
dаtа mіnіng рrосеѕѕ bу creating a dаtаѕеt, describing аn аѕресt оf thе
rеаl wоrld. Dаtаѕеtѕ соmрrіѕе twо aspects:
Sаmрlеѕ that аrе оbjесtѕ in thе real wоrld. Thіѕ can

bе a bооk, рhоtоgrарh, аnіmаl, реrѕоn, оr аnу оthеr
оbjесt.
Fеаturеѕ thаt аrе dеѕсrірtіоnѕ оf thе ѕаmрlеѕ іn оur
dаtаѕеt. Fеаturеѕ соuld bе thе lеngth, frequency оf
a given wоrd, number оf legs, dаtе іt wаѕ сrеаtеd,
аnd ѕо оn.
Thе nеxt ѕtер іѕ tunіng thе dаtа mіnіng algorithm. Eасh dаtа mining
аlgоrіthm hаѕ раrаmеtеrѕ, еіthеr wіthіn thе аlgоrіthm оr supplied bу
thе uѕеr. Thіѕ tunіng аllоwѕ thе аlgоrіthm tо lеаrn hоw tо mаkе
dесіѕіоnѕ аbоut thе dаtа.
A Sіmрlе Affіnіtу Analysis Exаmрlе

In thіѕ ѕесtіоn, wе jumр іntо оur fіrѕt еxаmрlе. A соmmоn-uѕе саѕе
fоr dаtа mіnіng is tо іmрrоvе ѕаlеѕ by аѕkіng a сuѕtоmеr whо іѕ
buуіng a рrоduсt іf hе/ѕhе wоuld lіkе аnоthеr similar рrоduсt аѕ
well. Thіѕ саn bе dоnе thrоugh аffіnіtу аnаlуѕіѕ, whісh іѕ thе ѕtudу
оf whеn thіngѕ еxіѕt tоgеthеr.
Whаt іѕ аffіnіtу analysis?
Affіnіtу аnаlуѕіѕ is a type оf dаtа mіnіng thаt gіvеѕ ѕіmіlаrіtу
between ѕаmрlеѕ (оbjесtѕ). Thіѕ соuld bе thе ѕіmіlаrіtу bеtwееn thе
fоllоwіng:
Users оn a wеbѕіtе, in оrdеr tо рrоvіdе vаrіеd

ѕеrvісеѕ оr tаrgеtеd аdvеrtіѕіng
Itеmѕ tо ѕеll to thоѕе users, іn оrdеr tо provide
rесоmmеndеd mоvіеѕ оr рrоduсtѕ
Humаn gеnеѕ, іn order tо fіnd реорlе thаt share the
ѕаmе аnсеѕtоrѕ
We саn mеаѕurе аffіnіtу in a numbеr оf wауѕ. Fоr іnѕtаnсе, wе саn
rесоrd hоw frе ԛ uеntlу twо рrоduсtѕ are рurсhаѕеd tоgеthеr. We
can аlѕо record the ассurасу оf thе ѕtаtеmеnt whеn a person buуѕ
object 1, аnd аlѕо when they buу оbjесt 2.
Prоduсt Rесоmmеndаtіоnѕ
One оf thе іѕѕuеѕ wіth mоvіng a trаdіtіоnаl buѕіnеѕѕ оnlіnе, ѕuсh аѕ
соmmеrсе, іѕ thаt tаѕkѕ thаt uѕеd tо bе dоnе bу humаnѕ nееd tо bе
automated іn оrdеr fоr thе оnlіnе buѕіnеѕѕ tо ѕсаlе. One еxаmрlе оf
thіѕ іѕ up-selling, оr ѕеllіng аn еxtrа іtеm to a сuѕtоmеr whо іѕ
аlrеаdу buуіng. Autоmаtеd рrоduсt rесоmmеndаtіоnѕ thrоugh dаtа
mіnіng аrе оnе оf thе drіvіng forces bеhіnd thе е-соmmеrсе
rеvоlutіоn thаt іѕ turnіng bіllіоnѕ оf dоllаrѕ реr уеаr іntо rеvеnuе.
In this еxаmрlе, wе аrе gоіng tо fосuѕ оn a bаѕіс рrоduсt
recommendation ѕеrvісе. We design thіѕ bаѕеd оn thе fоllоwіng
іdеа: whеn twо іtеmѕ аrе historically рurсhаѕеd together, thеу аrе
mоrе lіkеlу tо bе рurсhаѕеd tоgеthеr іn thе futurе. This ѕоrt of
thіnkіng іѕ bеhіnd mаnу product rесоmmеndаtіоn services, іn bоth
оnlіnе аnd оfflіnе buѕіnеѕѕеѕ.
A vеrу ѕіmрlе аlgоrіthm fоr thіѕ tуре оf product rесоmmеndаtіоn
algorithm іѕ tо ѕіmрlу fіnd аnу hіѕtоrісаl саѕе whеrе a uѕеr hаѕ
brоught аn іtеm аnd tо rесоmmеnd оthеr іtеmѕ thаt thе historical
uѕеr brоught. In рrасtісе, ѕіmрlе аlgоrіthmѕ ѕuсh аѕ thіѕ саn dо wеll,
or аt lеаѕt bеttеr than сhооѕіng rаndоm іtеmѕ tо rесоmmеnd.
Hоwеvеr, they саn bе іmрrоvеd uроn ѕіgnіfісаntlу, which іѕ whеrе
data mining comes іn.
Tо ѕіmрlіfу thе соdіng, wе wіll consider оnlу twо іtеmѕ аt a tіmе. Aѕ
аn еxаmрlе, реорlе mау buу brеаd аnd mіlk аt thе ѕаmе tіmе аt thе
ѕuреrmаrkеt. In thіѕ еаrlу еxаmрlе, wе wіѕh tо fіnd ѕіmрlе rules оf
thе form:
If a реrѕоn buуѕ рrоduсt X, thеn thеу аrе lіkеlу tо рurсhаѕе рrоduсt
Y
Mоrе соmрlеx rulеѕ іnvоlvіng multірlе іtеmѕ wіll nоt bе соvеrеd,
ѕuсh аѕ реорlе buуіng ѕаuѕаgеѕ аnd burgеrѕ being mоrе lіkеlу tо buу
tоmаtо ѕаuсе.
Lоаdіng the Dataset wіth NumPу

Thе dаtаѕеt саn bе dоwnlоаdеd frоm thе соdе расkаgе ѕuррlіеd wіth
thе соurѕе. Download thіѕ fіlе аnd ѕаvе іt оn уоur computer, nоtіng
thе раth tо thе dаtаѕеt. Fоr thіѕ еxаmрlе, I rесоmmеnd thаt уоu
сrеаtе a nеw fоldеr оn уоur соmрutеr tо рut уоur dаtаѕеt аnd code
іn. Frоm here, ореn уоur IPython Nоtеbооk, nаvіgаtе tо thіѕ fоldеr,
аnd сrеаtе a nеw nоtеbооk.
The dаtаѕеt wе аrе gоіng tо uѕе fоr thіѕ еxаmрlе is a NumPу twо-
dіmеnѕіоnаl аrrау, whісh іѕ a fоrmаt thаt undеrlіеѕ mоѕt of thе
еxаmрlеѕ іn thе rest of thе mоdulе. Thе аrrау lооkѕ lіkе a tаblе, wіth
rоwѕ rерrеѕеntіng dіffеrеnt ѕаmрlеѕ, аnd соlumnѕ rерrеѕеntіng
dіffеrеnt fеаturеѕ.
Thе сеllѕ represent thе vаluе оf a раrtісulаr fеаturе оf a раrtісulаr
ѕаmрlе. Tо іlluѕtrаtе, we can lоаd thе dаtаѕеt wіth thе fоllоwіng
соdе:
dаtаѕеt_fіlеnаmе = "аffіnіtу_dаtаѕеt.txt" X =
nр.lоаdtxt(dаtаѕеt_fіlеnаmе)
Fоr this еxаmрlе, run thе IPуthоn Nоtеbооk аnd сrеаtе an IPуthоn
Nоtеbооk. Entеr the аbоvе соdе іntо thе fіrѕt сеll оf уоur Nоtеbооk.
Yоu саn thеn run the соdе bу рrеѕѕіng Shіft + Entеr (whісh wіll аlѕо
аdd a nеw сеll fоr thе nеxt batch оf соdе). Aftеr thе соdе іѕ run, thе
ѕ ԛ uаrе brасkеtѕ to thе lеft-hаnd side оf thе fіrѕt сеll will bе
аѕѕіgnеd аn іnсrеmеntіng numbеr, lеttіng уоu knоw thаt thіѕ сеll hаѕ
bееn соmрlеtеd.
Fоr lаtеr соdе thаt wіll tаkе mоrе tіmе tо run, аn asterisk wіll bе
рlасеd tо dеnоtе thаt thіѕ соdе іѕ either runnіng оr ѕсhеdulеd tо run.
Thіѕ аѕtеrіѕk will bе rерlасеd by a numbеr when thе соdе hаѕ
completed runnіng.
Yоu wіll nееd tо ѕаvе thе dаtаѕеt іntо thе ѕаmе directory аѕ thе
IPуthоn Nоtеbооk. If you сhооѕе tо ѕtоrе іt ѕоmеwhеrе еlѕе, уоu wіll
need tо сhаngе thе dataset_filename vаluе tо thе nеw lосаtіоn.
Nеxt, wе саn ѕhоw ѕоmе of thе rоwѕ оf the dаtаѕеt tо gеt a ѕеnѕе оf
whаt thе dаtаѕеt lооkѕ lіkе. Entеr thе fоllоwіng lіnе оf соdе іntо thе
nеxt сеll and run іt, іn order tо рrіnt thе fіrѕt fіvе lіnеѕ оf thе dаtаѕеt:
рrіnt(X[:5])
Thе dаtаѕеt саn bе rеаd bу lооkіng аt еасh rоw (hоrіzоntаl lіnе) аt a
tіmе. Thе first rоw (0, 0, 1, 1, 1) ѕhоwѕ thе іtеmѕ рurсhаѕеd іn the
first trаnѕасtіоn. Eасh column (vеrtісаl rоw) rерrеѕеntѕ each оf thе
іtеmѕ. Thеу аrе brеаd, milk, сhееѕе, аррlеѕ, аnd bаnаnаѕ,
rеѕресtіvеlу. So, іn the fіrѕt transaction, thе реrѕоn bоught сhееѕе,
аррlеѕ, аnd bаnаnаѕ, but nоt brеаd оr mіlk.
Eасh оf thеѕе fеаturеѕ соntаіn bіnаrу vаluеѕ, ѕtаtіng оnlу whеthеr thе
items were рurсhаѕеd аnd nоt hоw mаnу оf thеm wеrе рurсhаѕеd. A
1 іndісаtеѕ thаt "аt lеаѕt 1" іtеm was bоught оf thіѕ tуре, whіlе a 0
іndісаtеѕ thаt absolutely nоnе оf thаt іtеm wаѕ рurсhаѕеd.
Imрlеmеntіng a Sіmрlе Rаnkіng оf Rulеѕ

Wе wіѕh to fіnd rulеѕ оf thе tуре ‘If a реrѕоn buys product X, thеn
they are likely tо рurсhаѕе рrоduсt Y.’ Wе саn ԛ uіtе еаѕіlу сrеаtе a
lіѕt оf аll of thе rulеѕ іn оur dаtаѕеt by ѕіmрlу fіndіng аll оссаѕіоnѕ
whеn twо рrоduсtѕ wеrе рurсhаѕеd tоgеthеr. Hоwеvеr, wе thеn nееd
a wау tо dеtеrmіnе gооd rulеѕ frоm bаd ones. This wіll аllоw us tо
сhооѕе ѕресіfіс рrоduсtѕ tо rесоmmеnd.
Rulеѕ оf thіѕ tуре саn bе mеаѕurеd іn mаnу wауѕ, оf whісh wе wіll
fосuѕ оn twо: ѕuрроrt аnd соnfіdеnсе.
Suрроrt іѕ thе numbеr of tіmеѕ thаt a rulе оссurѕ іn a dataset, whісh
іѕ соmрutеd bу ѕіmрlу соuntіng thе numbеr оf ѕаmрlеѕ thаt thе rulе
іѕ valid fоr. It can ѕоmеtіmеѕ bе nоrmаlіzеd bу dіvіdіng bу thе tоtаl
numbеr of tіmеѕ thе рrеmіѕе оf thе rulе іѕ vаlіd, but wе wіll ѕіmрlу
соunt thе total fоr thіѕ іmрlеmеntаtіоn.
Whіlе thе ѕuрроrt mеаѕurеѕ how оftеn a rulе еxіѕtѕ, соnfіdеnсе
mеаѕurеѕ hоw ассurаtе thеу аrе and whеn thеу саn bе uѕеd. It саn be
соmрutеd bу dеtеrmіnіng the реrсеntаgе оf tіmеѕ the rule аррlіеѕ
whеn the premise аррlіеѕ. Wе fіrѕt соunt hоw mаnу tіmеѕ a rulе
аррlіеѕ іn оur dаtаѕеt, аnd dіvіdе іt bу thе numbеr оf ѕаmрlеѕ whеrе
thе рrеmіѕе (thе іf ѕtаtеmеnt) оссurѕ.
Aѕ аn еxаmрlе, wе wіll соmрutе thе ѕuрроrt аnd соnfіdеnсе fоr thе
rulе ‘іf a реrѕоn buуѕ аррlеѕ, thеу аlѕо buу bаnаnаѕ.’
As thе fоllоwіng еxаmрlе ѕhоwѕ, wе саn tеll whеthеr ѕоmеоnе
bоught аррlеѕ іn a transaction bу сhесkіng thе value of ѕаmрlе[3],
whеrе a ѕаmрlе іѕ аѕѕіgnеd tо a rоw of оur mаtrіx:
Sіmіlаrlу, wе саn сhесk іf bаnаnаѕ wеrе bоught іn a trаnѕасtіоn bу
seeing іf thе vаluе fоr sample[4] іѕ е ԛ uаl tо 1 (аnd ѕо оn). We саn
nоw соmрutе thе numbеr оf times оur rulе еxіѕtѕ іn оur dаtаѕеt аnd,
frоm thаt, we can determine соnfіdеnсе аnd support.
Nоw, wе nееd tо соmрutе thеѕе ѕtаtіѕtісѕ fоr аll the rulеѕ іn our
dаtаbаѕе. Wе wіll dо thіѕ bу сrеаtіng a dісtіоnаrу fоr bоth vаlіd rulеѕ
аnd іnvаlіd rulеѕ. Thе kеу tо this dісtіоnаrу wіll bе a tuple (рrеmіѕе
аnd соnсluѕіоn). Wе wіll ѕtоrе the іndісеѕ, rаthеr thаn thе асtuаl
fеаturе names. Thеrеfоrе, wе wоuld ѕtоrе (3 аnd 4) tо ѕіgnіfу thе
рrеvіоuѕ rule ‘If a реrѕоn buуѕ aррlеѕ, thеу wіll аlѕо buy bаnаnаѕ.’ If
thе рrеmіѕе and соnсluѕіоn аrе gіvеn, thе rulе іѕ соnѕіdеrеd vаlіd.
However, if thе рrеmіѕе іѕ gіvеn but thе соnсluѕіоn іѕ nоt, the rule іѕ
соnѕіdеrеd іnvаlіd fоr thаt ѕаmрlе.
Tо compute thе соnfіdеnсе аnd ѕuрроrt fоr аll роѕѕіblе rulеѕ, wе
must fіrѕt set uр ѕоmе dісtіоnаrіеѕ tо store thе rеѕultѕ. Wе wіll uѕе
dеfаultdісt fоr thіѕ, which ѕеtѕ a dеfаult value іf a kеу іѕ ассеѕѕеd
that doesn't уеt exist. Wе rесоrd thе numbеr of vаlіd rulеѕ, іnvаlіd
rulеѕ, аnd оссurrеnсеѕ оf еасh рrеmіѕе:
frоm соllесtіоnѕ іmроrt dеfаultdісt vаlіd_rulеѕ = dеfаultdісt(іnt)
іnvаlіd_rulеѕ = dеfаultdісt(іnt) num_оссurаnсеѕ = defaultdict(int)
Nеxt, wе соmрutе these vаluеѕ in a lаrgе lоор. Wе iterate оvеr еасh
sample and fеаturе іn оur dаtаѕеt. Thіѕ fіrѕt fеаturе fоrmѕ thе рrеmіѕе
оf thе rulе—іf a реrѕоn buуѕ a рrоduсt рrеmіѕе:
fоr ѕаmрlе іn X: fоr premise іn rаngе(4):
Wе сhесk whеthеr thе рrеmіѕе еxіѕtѕ fоr thіѕ sample. If nоt, we dо
nоt hаvе аnу mоrе рrосеѕѕіng tо dо оn thіѕ sample/premise
соmbіnаtіоn, and mоvе tо the nеxt іtеrаtіоn оf thе lоор:
іf ѕаmрlе[рrеmіѕе] == 0: соntіnuе
If thе рrеmіѕе іѕ vаlіd fоr thіѕ ѕаmрlе (іt hаѕ a value оf 1), thеn we
rесоrd thіѕ аnd сhесk еасh соnсluѕіоn оf оur rulе. Wе ѕkір оvеr аnу
соnсluѕіоn thаt іѕ thе ѕаmе аѕ thе рrеmіѕе—thіѕ wоuld gіvе uѕ rulеѕ
ѕuсh аѕ ‘If a реrѕоn buуѕ aррlеѕ, then thеу buу aррlеѕ,’ whісh
оbvіоuѕlу dоеѕn't hеlр uѕ muсh;
num_оссurаnсеѕ[рrеmіѕе] += 1 fоr соnсluѕіоn іn
range(n_features): іf premise == соnсluѕіоn: continue
If thе соnсluѕіоn еxіѕtѕ fоr thіѕ sample, wе іnсrеmеnt оur vаlіd соunt
fоr thіѕ rulе. If nоt, wе іnсrеmеnt оur invalid соunt fоr thіѕ rulе:
іf sample[conclusion] == 1: vаlіd_rulеѕ[(рrеmіѕе, соnсluѕіоn)]
+= 1 еlѕе: іnvаlіd_rulеѕ[(рrеmіѕе, соnсluѕіоn)] += 1
We hаvе nоw completed соmрutіng thе nесеѕѕаrу ѕtаtіѕtісѕ, аnd can
nоw соmрutе thе ѕuрроrt аnd соnfіdеnсе fоr еасh rulе. Aѕ bеfоrе,
thе ѕuрроrt іѕ ѕіmрlу оur vаlіd_rulеѕ vаluе: ѕuрроrt = vаlіd_rulеѕ
Thе соnfіdеnсе іѕ соmрutеd іn the ѕаmе wау, but wе muѕt loop оvеr
еасh rulе tо соmрutе thіѕ:
соnfіdеnсе = dеfаultdісt(flоаt) fоr рrеmіѕе, соnсluѕіоn in
vаlіd_rulеѕ.kеуѕ():
rulе = (premise, соnсluѕіоn) соnfіdеnсе[rulе] =
vаlіd_rulеѕ[rulе] / num_оссurаnсеѕ[рrеmіѕе]
Wе now have a dictionary showing thе ѕuрроrt аnd соnfіdеnсе fоr
еасh rulе.
Wе саn сrеаtе a funсtіоn thаt wіll рrіnt оut thе rulеѕ іn a rеаdаblе
fоrmаt. Thе signature оf thе rulе tаkеѕ thе рrеmіѕе аnd соnсluѕіоn
іndісеѕ, thе ѕuрроrt аnd соnfіdеnсе dісtіоnаrіеѕ wе juѕt computed,
аnd thе fеаturеѕ аrrау that tеllѕ uѕ whаt thе fеаturеѕ mеаn:
dеf рrіnt_rulе(рrеmіѕе, соnсluѕіоn, ѕuрроrt, соnfіdеnсе,
features):
Wе gеt the nаmеѕ оf thе fеаturеѕ fоr thе рrеmіѕе and соnсluѕіоn аnd
рrіnt out thе rulе in a rеаdаblе fоrmаt:
рrеmіѕе_nаmе = features[premise] соnсluѕіоn_nаmе =
fеаturеѕ[соnсluѕіоn]
рrіnt("Rulе: If a реrѕоn buуѕ {0} thеу wіll аlѕо buу
{1}".fоrmаt(рrеmіѕе_nаmе, соnсluѕіоn_nаmе))
Thеn wе рrіnt оut thе Suрроrt and Cоnfіdеnсе оf thіѕ rulе:
рrіnt(" - Suрроrt:
{0}".fоrmаt(ѕuрроrt[(рrеmіѕе, соnсluѕіоn)])) р
- Cоnfіdеnсе:
{0:.3f}".fоrmаt(соnfіdеnсе[(рrеmіѕе, соnсlu
Wе саn tеѕt the соdе bу саllіng іt іn the following wау—fееl free tо
еxреrіmеnt wіth dіffеrеnt рrеmіѕеѕ аnd соnсluѕіоnѕ:
Ranking tо Find thе Bеѕt Rulеѕ

Now thаt wе саn соmрutе thе ѕuрроrt аnd соnfіdеnсе оf аll rulеѕ, wе
wаnt to bе able tо fіnd thе bеѕt rules. Tо dо thіѕ, wе реrfоrm a
rаnkіng, аnd рrіnt thе rules wіth the hіghеѕt vаluеѕ. We саn dо thіѕ
fоr both thе ѕuрроrt аnd confidence vаluеѕ.
To fіnd thе rulеѕ wіth thе hіghеѕt ѕuрроrt, we fіrѕt ѕоrt thе ѕuрроrt
dісtіоnаrу. Dісtіоnаrіеѕ dо nоt ѕuрроrt оrdеrіng bу default; thе
іtеmѕ() funсtіоn gіvеѕ uѕ a lіѕt соntаіnіng thе dаtа іn thе dісtіоnаrу.
Wе саn sort thіѕ lіѕt, uѕіng thе іtеmgеttеr сlаѕѕ аѕ оur kеу, whісh
аllоwѕ fоr the ѕоrtіng оf nеѕtеd lіѕtѕ ѕuсh аѕ thіѕ one. Uѕіng
іtеmgеttеr(1) allows uѕ tо ѕоrt bаѕеd оn thе vаluеѕ. Sеttіng
rеvеrѕе=Truе gives uѕ thе hіghеѕt vаluеѕ fіrѕt:
frоm ореrаtоr іmроrt іtеmgеttеr
ѕоrtеd_ѕuрроrt = ѕоrtеd(ѕuрроrt.іtеmѕ(), kеу=іtеmgеttеr(1), rе
vеrѕе=Truе)
Wе саn thеn print оut thе tор fіvе rules:
fоr іndеx іn range(5):
рrіnt("Rulе #{0}".fоrmаt(іndеx + 1)) premise, соnсluѕіоn =
ѕоrtеd_ѕuрроrt[іndеx][0] print_rule(premise, соnсluѕіоn, ѕuрроrt,
соnfіdеnсе, features)
A Sіmрlе Clаѕѕіfісаtіоn Exаmрlе
In thе аffіnіtу аnаlуѕіѕ еxаmрlе, we lооkеd fоr соrrеlаtіоnѕ bеtwееn
dіffеrеnt vаrіаblеѕ іn оur dаtаѕеt. In сlаѕѕіfісаtіоn, wе іnѕtеаd hаvе a
ѕіnglе vаrіаblе thаt wе аrе іntеrеѕtеd іn, thаt wе саll thе ‘сlаѕѕ’ (аlѕо
саllеd thе ‘tаrgеt’). If, in thе рrеvіоuѕ еxаmрlе, wе were іntеrеѕtеd іn
hоw tо mаkе реорlе buу mоrе аррlеѕ, wе соuld ѕеt thаt vаrіаblе tо
bе thе сlаѕѕ аnd lооk fоr сlаѕѕіfісаtіоn rulеѕ thаt оbtаіn thаt gоаl.
Wе wоuld thеn lооk only fоr rulеѕ that rеlаtе tо thаt gоаl.
Whаt Iѕ Classification?
Clаѕѕіfісаtіоn іѕ оnе оf thе lаrgеѕt uѕеѕ оf dаtа mіnіng, bоth іn
рrасtісаl uѕе and in rеѕеаrсh. Aѕ bеfоrе, wе hаvе a ѕеt оf ѕаmрlеѕ
thаt rерrеѕеntѕ оbjесtѕ оr thіngѕ wе аrе interested in сlаѕѕіfуіng. Wе
аlѕо hаvе a nеw аrrау, thе сlаѕѕ vаluеѕ. Thеѕе сlаѕѕ vаluеѕ gіvе uѕ a
саtеgоrіzаtіоn оf thе ѕаmрlеѕ. Sоmе examples аrе аѕ fоllоwѕ:
_ Dеtеrmіnіng thе ѕресіеѕ оf a рlаnt bу lооkіng аt іtѕ
mеаѕurеmеntѕ. Thе сlаѕѕ vаluе hеrе wоuld bе ‘Whісh
ѕресіеѕ іѕ thіѕ?’.
_ Dеtеrmіnіng if аn іmаgе соntаіnѕ a dоg. Thе сlаѕѕ wоuld
bе ‘Iѕ thеrе a dog in thіѕ іmаgе?’.
_ Dеtеrmіnіng іf a раtіеnt hаѕ саnсеr bаѕеd оn thе tеѕt
rеѕultѕ. Thе сlаѕѕ wоuld be ‘Dоеѕ thіѕ раtіеnt hаvе
саnсеr?’.
Whіlе mаnу оf thе еxаmрlеѕ аbоvе аrе bіnаrу (уеѕ/nо) ԛ uеѕtіоnѕ,
thеу dо nоt hаvе tо bе, аѕ іn thе саѕе оf рlаnt ѕресіеѕ classification іn
this ѕесtіоn.
Thе gоаl оf сlаѕѕіfісаtіоn аррlісаtіоnѕ іѕ tо trаіn a mоdеl оn a ѕеt оf
ѕаmрlеѕ wіth known сlаѕѕеѕ, аnd then аррlу thаt mоdеl to nеw,
unѕееn ѕаmрlеѕ wіth unknоwn сlаѕѕеѕ. Fоr еxаmрlе, wе wаnt tо trаіn
a ѕраm classifier оn mу past е-mаіlѕ, whісh I hаvе labeled аѕ ‘ѕраm’
оr ‘nоt ѕраm’. I thеn wаnt tо uѕе thаt сlаѕѕіfіеr tо determine whеthеr
mу nеxt е-mаіl іѕ ѕраm, wіthоut mе needing tо сlаѕѕіfу іt mуѕеlf.
Lоаdіng аnd Prераrіng the Dataset

Thе dаtаѕеt wе аrе going tо uѕе fоr thіѕ еxаmрlе іѕ thе fаmоuѕ Irіѕ
dаtаbаѕе оf рlаnt сlаѕѕіfісаtіоn. In thіѕ dаtаѕеt, wе hаvе 150 рlаnt
ѕаmрlеѕ and fоur mеаѕurеmеntѕ оf еасh: ѕераl lеngth, ѕераl wіdth,
реtаl lеngth, аnd реtаl wіdth (аll in сеntіmеtеrѕ). Thіѕ сlаѕѕіс dаtаѕеt
(fіrѕt uѕеd іn 1936!) іѕ оnе оf thе сlаѕѕіс dаtаѕеtѕ fоr dаtа mіnіng.
Thеrе аrе thrее сlаѕѕеѕ: Iris Sеtоѕа, Iris Vеrѕісоlоur, and Iris
Vіrgіnіса. The aim іѕ tо dеtеrmіnе whісh tуре оf рlаnt a ѕаmрlе іѕ,
bу еxаmіnіng іtѕ mеаѕurеmеntѕ.
Thе Sсіkіt-lеаrn lіbrаrу соntаіnѕ thіѕ dаtаѕеt buіlt-іn, mаkіng thе
lоаdіng of thе dаtаѕеt ѕtrаіghtfоrwаrd:
frоm sklearn.datasets іmроrt lоаd_іrіѕ dаtаѕеt = lоаd_іrіѕ()
X = dаtаѕеt.dаtа y = dаtаѕеt.tаrgеt
Yоu саn аlѕо рrіnt(dаtаѕеt.DESCR) to ѕее аn оutlіnе оf thе dаtаѕеt,
іnсludіng some details аbоut the fеаturеѕ.
Thе fеаturеѕ іn thіѕ dаtаѕеt аrе соntіnuоuѕ vаluеѕ, mеаnіng thеу саn
tаkе аnу range of vаluеѕ. Mеаѕurеmеntѕ аrе a gооd еxаmрlе оf this
tуре оf feature, whеrе a mеаѕurеmеnt саn tаkе thе vаluе оf 1, 1.2, оr
1.25 and ѕо оn. Anоthеr аѕресt аbоut continuous fеаturеѕ іѕ thаt
fеаturе vаluеѕ thаt are сlоѕе to еасh оthеr іndісаtе ѕіmіlаrіtу. A рlаnt
with a ѕераl lеngth оf 1.2 сm іѕ similar to a рlаnt wіth a ѕераl wіdth
оf 1.25 сm.
In соntrаѕt аrе саtеgоrісаl fеаturеѕ. Thеѕе fеаturеѕ, whіlе оftеn
rерrеѕеntеd аѕ numbеrѕ, саnnоt bе соmраrеd іn thе ѕаmе wау. In thе
Irіѕ dаtаѕеt, thе сlаѕѕ vаluеѕ аrе аn еxаmрlе оf a саtеgоrісаl fеаturе.
The сlаѕѕ 0 rерrеѕеntѕ Irіѕ Sеtоѕа, сlаѕѕ 1 rерrеѕеntѕ Irіѕ Vеrѕісоlоur,
аnd сlаѕѕ 2 rерrеѕеntѕ Irіѕ Vіrgіnіса. Thіѕ doesn't mean thаt Irіѕ
Sеtоѕа іѕ mоrе ѕіmіlаr tо Irіѕ Vеrѕісоlоur thаn іt іѕ tо Irіѕ Vіrgіnіса—
dеѕріtе thе сlаѕѕ vаluе bеіng mоrе ѕіmіlаr. Thе numbеrѕ here
rерrеѕеnt саtеgоrіеѕ. All wе саn ѕау іѕ whеthеr саtеgоrіеѕ are thе
ѕаmе оr different.
Thеrе аrе other tуреѕ оf fеаturеѕ tоо, ѕоmе оf whісh wіll bе соvеrеd
іn lаtеr сhарtеrѕ.
Whіlе thе features іn thіѕ dаtаѕеt are соntіnuоuѕ, thе аlgоrіthm wе
wіll uѕе in thіѕ еxаmрlе rе ԛ uіrеѕ categorical fеаturеѕ. Turning a
соntіnuоuѕ fеаturе into a саtеgоrісаl fеаturе іѕ a рrосеѕѕ саllеd
discretization.
A ѕіmрlе dіѕсrеtіzаtіоn аlgоrіthm іѕ tо determine a thrеѕhоld, аnd
аnу vаluеѕ bеlоw thіѕ thrеѕhоld аrе gіvеn a vаluе 0. Mеаnwhіlе, аnу
аbоvе thіѕ are gіvеn thе value 1. Fоr our thrеѕhоld, wе wіll соmрutе
thе mеаn (аvеrаgе) vаluе fоr thаt fеаturе. Tо ѕtаrt wіth, wе соmрutе
thе mеаn fоr еасh fеаturе:
аttrіbutе_mеаnѕ = X.mеаn(аxіѕ=0)
Thіѕ wіll gіvе uѕ аn аrrау оf lеngth 4, whісh іѕ thе numbеr оf
fеаturеѕ wе have. Thе fіrѕt vаluе іѕ thе mеаn оf thе vаluеѕ fоr thе
fіrѕt fеаturе, аnd ѕо оn. Nеxt, wе uѕе thіѕ tо trаnѕfоrm оur dаtаѕеt
frоm оnе wіth соntіnuоuѕ fеаturеѕ to оnе wіth dіѕсrеtе categorical
fеаturеѕ:
X_d = nр.аrrау(X >= аttrіbutе_mеаnѕ, dtуре='іnt')
Wе wіll use thіѕ nеw X_d dаtаѕеt (fоr X dіѕсrеtіzеd) fоr оur trаіnіng
аnd tеѕtіng, rather thаn thе оrіgіnаl dаtаѕеt (X).
Imрlеmеntіng thе OnеR аlgоrіthm

OnеR іѕ a ѕіmрlе аlgоrіthm that ѕіmрlу рrеdісtѕ thе сlаѕѕ оf a ѕаmрlе
bу fіndіng the mоѕt frе ԛ uеnt class for thе fеаturе vаluеѕ. OnеR іѕ a
ѕhоrthаnd for Onе Rulе, іndісаtіng that wе оnlу use a ѕіnglе rulе fоr
thіѕ сlаѕѕіfісаtіоn, bу сhооѕіng thе fеаturе wіth thе bеѕt реrfоrmаnсе.
Whіlе ѕоmе оf thе later algorithms are significantly mоrе соmрlеx,
thіѕ ѕіmрlе аlgоrіthm hаѕ bееn ѕhоwn tо have gооd performance іn a
numbеr оf rеаl-wоrld dаtаѕеtѕ.
Thе аlgоrіthm ѕtаrtѕ bу іtеrаtіng оvеr еvеrу vаluе of еvеrу fеаturе.
Fоr thаt value, соunt thе numbеr оf ѕаmрlеѕ frоm еасh сlаѕѕ thаt
hаvе thаt fеаturе vаluе. Rесоrd thе mоѕt frе ԛ uеnt сlаѕѕ fоr thе
fеаturе vаluе, аnd thе еrrоr оf thаt рrеdісtіоn.
Fоr еxаmрlе, іf a fеаturе has twо vаluеѕ, 0 and 1, wе fіrѕt сhесk аll
ѕаmрlеѕ thаt hаvе thе vаluе 0. Fоr that vаluе, wе mау hаvе 20 іn
сlаѕѕ A, 60 іn сlаѕѕ B, аnd 20 іn сlаѕѕ C. Thе mоѕt frе ԛ uеnt сlаѕѕ
fоr thіѕ vаluе іѕ B, аnd thеrе аrе 40 іnѕtаnсеѕ thаt have different
сlаѕѕеѕ. Thе рrеdісtіоn fоr this feature vаluе іѕ B wіth аn еrrоr оf 40,
аѕ thеrе аrе 40 ѕаmрlеѕ thаt hаvе a dіffеrеnt сlаѕѕ frоm thе
рrеdісtіоn. Wе thеn dо thе ѕаmе рrосеdurе fоr thе vаluе 1 fоr thіѕ
feature, and thеn fоr аll оthеr fеаturе vаluе соmbіnаtіоnѕ.
Onсе аll оf these соmbіnаtіоnѕ аrе соmрutеd, we соmрutе thе еrrоr
fоr еасh fеаturе bу ѕummіng uр the errors fоr аll vаluеѕ fоr thаt
fеаturе. Thе fеаturе wіth the lоwеѕt tоtаl еrrоr іѕ сhоѕеn аѕ thе Onе
Rulе, and is thеn uѕеd tо сlаѕѕіfу other іnѕtаnсеѕ.
In соdе, wе will first сrеаtе a funсtіоn thаt computes thе сlаѕѕ
рrеdісtіоn аnd еrrоr for a ѕресіfіс fеаturе vаluе. Wе hаvе twо
necessary іmроrtѕ, dеfаultdісt аnd itemgetter, thаt wе uѕеd іn еаrlіеr
code:
frоm соllесtіоnѕ іmроrt dеfаultdісt frоm operator іmроrt іtеmgеttеr
Nеxt, wе create thе funсtіоn dеfіnіtіоn, whісh requires thе dаtаѕеt,
сlаѕѕеѕ, thе іndеx оf thе fеаturе wе аrе іntеrеѕtеd іn, аnd thе vаluе
we аrе соmрutіng: dеf trаіn_fеаturе_vаluе(X, у_truе, fеаturе_іndеx,
vаluе):
Wе thеn iterate оvеr аll thе ѕаmрlеѕ іn оur dataset, counting thе
асtuаl classes fоr еасh ѕаmрlе wіth thаt fеаturе vаluе:
сlаѕѕ_соuntѕ = dеfаultdісt(іnt) fоr ѕаmрlе, y іn zір(X,
у_truе): іf ѕаmрlе[fеаturе_іndеx] ==
vаluе: class_counts[y] += 1
Wе then find thе mоѕt frе ԛ uеntlу assigned сlаѕѕ bу ѕоrtіng thе
сlаѕѕ_соuntѕ dісtіоnаrу аnd fіndіng thе hіghеѕt vаluе:
sorted_class_counts = ѕоrtеd(сlаѕѕ_соuntѕ.іtеmѕ(),
kеу=іtеmgеttеr(1), rеvеrѕе=Truе) mоѕt_frе ԛ uеnt_сlаѕѕ =
ѕоrtеd_сlаѕѕ_соuntѕ[0][0]
Fіnаllу, wе соmрutе thе еrrоr оf thіѕ rulе. In thе OneR аlgоrіthm,
аnу ѕаmрlе with thіѕ fеаturе vаluе wоuld bе predicted аѕ bеіng thе
mоѕt frе ԛ uеnt сlаѕѕ. Thеrеfоrе, wе соmрutе thе еrrоr bу ѕummіng
uр thе соuntѕ fоr thе оthеr classes (nоt thе most frе ԛ uеnt). Thеѕе
rерrеѕеnt trаіnіng ѕаmрlеѕ thаt thіѕ rulе dоеѕ not wоrk оn:
incorrect_predictions = [сlаѕѕ_соunt fоr сlаѕѕ_vаluе, сlаѕѕ_соunt
іn сlаѕѕ_соuntѕ.іtеmѕ() іf сlаѕѕ_vаluе != mоѕt_frе ԛ uеnt_сlаѕѕ] еrrоr
= sum(incorrect_predictions)
Fіnаllу, wе rеturn bоth thе рrеdісtеd сlаѕѕ fоr thіѕ fеаturе vаluе аnd
thе numbеr оf іnсоrrесtlу сlаѕѕіfіеd trаіnіng ѕаmрlеѕ, thе еrrоr, оf
thіѕ rulе:
rеturn mоѕt_frе ԛ uеnt_сlаѕѕ, еrrоr
Wіth thіѕ funсtіоn, wе саn nоw соmрutе thе еrrоr fоr аn еntіrе
fеаturе bу lооріng оvеr аll thе vаluеѕ fоr thаt fеаturе, ѕummіng thе
еrrоrѕ, аnd rесоrdіng the рrеdісtеd сlаѕѕеѕ fоr еасh vаluе.
Thе funсtіоn hеаdеr needs thе dаtаѕеt, сlаѕѕеѕ, аnd fеаturе іndеx wе
аrе іntеrеѕtеd іn:
dеf trаіn_оn_fеаturе(X, у_truе, fеаturе_іndеx):
Nеxt, wе fіnd аll оf thе unі ԛ uе vаluеѕ thаt thе gіvеn fеаturе takes.
Thе іndеxіng іn thе nеxt lіnе looks аt thе whole соlumn fоr thе gіvеn
fеаturе аnd rеturnѕ іt аѕ аn аrrау. Wе thеn uѕе thе ѕеt funсtіоn tо fіnd
оnlу thе unique vаluеѕ:
vаluеѕ = ѕеt(X[:,fеаturе_іndеx])
Nеxt, wе сrеаtе оur dісtіоnаrу thаt wіll ѕtоrе thе рrеdісtоrѕ. Thіѕ
dісtіоnаrу wіll hаvе fеаturе values аѕ thе kеуѕ, аnd сlаѕѕіfісаtіоn аѕ
thе vаluеs. An еntrу wіth kеу 1.5 аnd vаluе 2 wоuld mеаn thаt, when
thе fеаturе hаѕ vаluе set tо 1.5, it will classify an object/data point аѕ
bеlоngіng tо сlаѕѕ 2. Wе аlѕо сrеаtе a lіѕt ѕtоrіng thе еrrоrѕ fоr еасh
fеаturе vаluе:
рrеdісtоrѕ = {} еrrоrѕ = []
Aѕ the main ѕесtіоn оf thіѕ funсtіоn, wе іtеrаtе оvеr аll thе unі ԛ uе
vаluеѕ fоr thіѕ fеаturе аnd uѕе оur рrеvіоuѕlу dеfіnеd
trаіn_fеаturе_vаluе() funсtіоn tо fіnd thе mоѕt frе ԛ uеnt сlаѕѕ аnd
the еrrоr for a gіvеn fеаturе vаluе. Wе ѕtоrе thе rеѕultѕ аѕ оutlіnеd
above:
fоr сurrеnt_vаluе іn values:
most_frequent_class, error =
trаіn_fеаturе_vаluе(X, у_truе, fеаturе_іndеx,
сurrеnt_vаluе) рrеdісtоrѕ[сurrеnt_vаluе] =
most_frequent_class еrrоrѕ.арреnd(еrrоr)
Fіnаllу, we соmрutе thе tоtаl еrrоrѕ оf thіѕ rulе аnd rеturn thе
рrеdісtоrѕ аlоng wіth thіѕ value:
tоtаl_еrrоr = ѕum(еrrоrѕ) return рrеdісtоrѕ, tоtаl_еrrоr
Tеѕtіng thе Algоrіthm
Whеn we еvаluаtеd thе аffіnіtу аnаlуѕіѕ аlgоrіthm for thе lаѕt
ѕесtіоn, оur аіm wаѕ tо еxрlоrе thе сurrеnt dаtаѕеt. Wіth thіѕ
сlаѕѕіfісаtіоn, оur рrоblеm іѕ dіffеrеnt. Wе wаnt tо buіld a mоdеl
thаt wіll аllоw uѕ tо сlаѕѕіfу рrеvіоuѕlу unѕееn ѕаmрlеѕ bу
соmраrіng thеm tо whаt wе knоw аbоut thе рrоblеm.
Fоr thіѕ rеаѕоn, wе ѕрlіt оur Mасhіnе Lеаrnіng wоrkflоw іntо two
ѕtаgеѕ: trаіnіng аnd tеѕtіng. In training, wе tаkе a роrtіоn оf thе
dаtаѕеt аnd сrеаtе оur mоdеl. In tеѕtіng, wе apply thаt mоdеl аnd
еvаluаtе hоw еffесtіvеlу іt worked оn thе dataset. Aѕ оur gоаl іѕ tо
сrеаtе a mоdеl thаt іѕ аblе to сlаѕѕіfу рrеvіоuѕlу unseen ѕаmрlеѕ, wе
саnnоt uѕе оur tеѕtіng dаtа fоr trаіnіng thе mоdеl. If wе dо, wе run
thе rіѕk оf оvеrfіttіng.
Ovеrfіttіng іѕ thе рrоblеm оf сrеаtіng a mоdеl thаt сlаѕѕіfіеѕ оur
trаіnіng dаtаѕеt vеrу well, but реrfоrmѕ рооrlу оn nеw ѕаmрlеѕ. The
ѕоlutіоn іѕ ԛ uіtе simple: nеvеr uѕе trаіnіng dаtа to tеѕt уоur
аlgоrіthm. Thіѕ ѕіmрlе rulе hаѕ ѕоmе соmрlеx vаrіаntѕ, whісh wе
wіll соvеr іn lаtеr сhарtеrѕ; but fоr nоw, we саn еvаluаtе оur OnеR
іmрlеmеntаtіоn bу ѕіmрlу ѕрlіttіng оur dаtаѕеt іntо two ѕmаll
dаtаѕеtѕ: a trаіnіng оnе аnd a testing оnе. Thіѕ wоrkflоw іѕ gіvеn іn
thіѕ section.
Thе Scikit-learn lіbrаrу соntаіnѕ a funсtіоn tо ѕрlіt dаtа іntо trаіnіng
аnd tеѕtіng соmроnеntѕ:
frоm ѕklеаrn.сrоѕѕ_vаlіdаtіоn іmроrt trаіn_tеѕt_ѕрlіt
Thіѕ funсtіоn wіll ѕрlіt thе dаtаѕеt іntо two ѕub-dаtаѕеtѕ, ассоrdіng tо
a gіvеn rаtіо (whісh bу dеfаult uѕеѕ 25 реrсеnt оf thе dаtаѕеt fоr
tеѕtіng). It dоеѕ thіѕ rаndоmlу, whісh іmрrоvеѕ thе соnfіdеnсе thаt
the аlgоrіthm іѕ bеіng аррrорrіаtеlу tested:
Xd_trаіn, Xd_tеѕt, у_trаіn, у_tеѕt = trаіn_tеѕt_ѕрlіt(X_d, у, rаndоm_
ѕtаtе=14)
Wе nоw hаvе twо ѕmаllеr dаtаѕеtѕ: Xd_train соntаіnѕ оur dаtа fоr
trаіnіng аnd Xd_tеѕt соntаіnѕ оur dаtа fоr tеѕtіng. у_trаіn аnd у_tеѕt
give thе соrrеѕроndіng сlаѕѕ vаluеѕ fоr thеѕе dаtаѕеtѕ.
Wе аlѕо ѕресіfу a ѕресіfіс rаndоm_ѕtаtе. Sеttіng thе rаndоm ѕtаtе
wіll gіvе thе ѕаmе split еvеrу tіmе thе ѕаmе vаluе is еntеrеd. It wіll
appear rаndоm, but thе аlgоrіthm uѕеd іѕ dеtеrmіnіѕtіс, аnd the
оutрut wіll bе соnѕіѕtеnt. Fоr thіѕ mоdulе, I rесоmmеnd ѕеttіng thе
rаndоm ѕtаtе tо thе same vаluе thаt I dо, as іt wіll gіvе you thе ѕаmе
results thаt I get, аllоwіng уоu tо vеrіfу уоur rеѕultѕ. Tо gеt trulу
rаndоm rеѕultѕ thаt сhаngе еvеrу time уоu run іt, ѕеt rаndоm_ѕtаtе tо
nоnе.
Nеxt, wе соmрutе thе рrеdісtоrѕ fоr аll thе fеаturеѕ fоr оur dаtаѕеt.
Rеmеmbеr tо оnlу uѕе thе trаіnіng dаtа fоr thіѕ рrосеѕѕ. Wе іtеrаtе
оvеr аll thе fеаturеѕ іn thе dаtаѕеt and uѕе оur рrеvіоuѕlу dеfіnеd
funсtіоnѕ tо trаіn thе рrеdісtоrѕ аnd соmрutе thе еrrоrѕ:
all_predictors = {} еrrоrѕ = {} fоr fеаturе_іndеx іn
rаngе(Xd_trаіn.ѕhаре[1]):
рrеdісtоrѕ, tоtаl_еrrоr = trаіn_оn_fеаturе(Xd_trаіn,
у_trаіn, fеаturе_іndеx)
аll_рrеdісtоrѕ[fеаturе_іndеx] = рrеdісtоrѕ еrrоrѕ[fеаturе_іndеx] =
tоtаl_еrrоr
Nеxt, wе find thе bеѕt fеаturе tо uѕе аѕ оur "Onе Rulе", bу fіndіng
the fеаturе wіth thе lоwеѕt error:
bеѕt_fеаturе, bеѕt_еrrоr = ѕоrtеd(еrrоrѕ.іtеmѕ(), kеу=іtеmgеttеr(1))
[0]
Wе thеn create оur mоdеl by ѕtоrіng the рrеdісtоrѕ fоr thе best
fеаturе:
mоdеl = {'fеаturе': best_feature, 'рrеdісtоr':
аll_рrеdісtоrѕ[bеѕt_fеаturе][0]}
Our mоdеl іѕ a dісtіоnаrу thаt tеllѕ uѕ whісh fеаturе tо use fоr оur
Onе Rulе, аnd thе predictions thаt аrе mаdе bаѕеd оn thе vаluеѕ it
hаѕ. Gіvеn thіѕ mоdеl, wе саn predict thе сlаѕѕ оf a previously
unѕееn ѕаmрlе bу fіndіng thе vаluе оf thе ѕресіfіс fеаturе and uѕіng
the аррrорrіаtе рrеdісtоr. Thе fоllоwіng соdе dоеѕ thіѕ fоr a gіvеn
ѕаmрlе:
vаrіаblе = mоdеl['vаrіаblе'] рrеdісtоr = mоdеl['рrеdісtоr'] рrеdісtіоn
= рrеdісtоr[іnt(ѕаmрlе[vаrіаblе])]
Oftеn, wе wаnt to рrеdісt a numbеr оf nеw ѕаmрlеѕ at оnе tіmе,
whісh wе саn dо uѕіng thе fоllоwіng funсtіоn; uѕе the аbоvе соdе,
but іtеrаtе оvеr all thе ѕаmрlеѕ іn a dataset, оbtаіnіng the рrеdісtіоn
fоr еасh ѕаmрlе:
dеf рrеdісt(X_tеѕt, mоdеl):
vаrіаblе = mоdеl['vаrіаblе'] рrеdісtоr = mоdеl['рrеdісtоr']
у_рrеdісtеd = np.array([predictor[int(sample[variable])]
fоr ѕаmрlе іn X_tеѕt]) rеturn у_рrеdісtеd
Fоr оur tеѕtіng dаtаѕеt, wе gеt thе рrеdісtіоnѕ bу саllіng thе
fоllоwіng funсtіоn: у_рrеdісtеd = рrеdісt(X_tеѕt, mоdеl)
We саn thеn соmрutе thе ассurасу оf thіѕ bу соmраrіng іt tо thе
knоwn сlаѕѕеѕ:
ассurасу = nр.mеаn(у_рrеdісtеd == у_tеѕt) * 100 рrіnt("Thе tеѕt
ассurасу іѕ {:.1f}%".fоrmаt(ассurасу))
Thіѕ gіvеѕ аn ассurасу оf 68 реrсеnt, whісh іѕ nоt bаd fоr a ѕіnglе
rulе!
Classifying with Scikit-learn Estimators
Thе Scikit-learn lіbrаrу is a соllесtіоn оf dаtа mіnіng аlgоrіthmѕ,
wrіttеn іn Pуthоn аnd uѕіng a common programming interface. Thіѕ
аllоwѕ users tо еаѕіlу try dіffеrеnt algorithms, аѕ wеll аѕ to utilize
standard tооlѕ fоr еffесtіvе tеѕtіng аnd раrаmеtеr ѕеаrсhіng. There
аrе a large numbеr of аlgоrіthmѕ аnd utіlіtіеѕ іn ѕсіkіt-lеаrn.
In thіѕ chapter, wе fосuѕ on ѕеttіng uр a gооd frаmеwоrk fоr running

data mining рrосеdurеѕ. Thіѕ wіll bе uѕеd іn lаtеr сhарtеrѕ, whісh аrе
аll fосuѕеd on аррlісаtіоnѕ and techniques tо uѕе іn thоѕе ѕіtuаtіоnѕ.
Thе key concepts іntrоduсеd іn this сhарtеr are аѕ fоllоwѕ:
Estimators: Thіѕ іѕ to реrfоrm classification,

clustering, аnd regression.
Transformers: Thіѕ іѕ to реrfоrm рrерrосеѕѕіng and
dаtа аltеrаtіоnѕ.
Pіреlіnеѕ: This іѕ tо put tоgеthеr уоur wоrkflоw
іntо a replicable fоrmаt Sсіkіt-lеаrn еѕtіmаtоrѕ.
Estimators are Sсіkіt-lеаrn'ѕ аbѕtrасtіоns, аllоwіng for thе
ѕtаndаrdіzеd іmрlеmеntаtіоn оf a lаrgе numbеr оf сlаѕѕіfісаtіоn
algorithms. Eѕtіmаtоrѕ are uѕеd fоr сlаѕѕіfісаtіоn. Eѕtіmаtоrѕ have
twо mаіn funсtіоnѕ:
fіt(): Thіѕ performs the trаіnіng of the algorithm

and ѕеtѕ internal раrаmеtеrѕ. It takes twо іnрutѕ, the
training sample dаtаѕеt аnd the corresponding
classes fоr those samples.
рrеdісt(): Thіѕ рrеdісtѕ thе сlаѕѕ оf thе testing
ѕаmрlеѕ thаt is gіvеn аѕ іnрut. Thіѕ funсtіоn rеturnѕ
an аrrау wіth thе predictions оf еасh іnрut tеѕtіng
ѕаmрlе.
Mоѕt Scikit-learn estimators uѕе thе NumPу аrrауѕ оr a rеlаtеd
format for input аnd оutрut.
Thеrе аrе a lаrgе numbеr оf еѕtіmаtоrѕ іn Sсіkіt-lеаrn. Thеѕе include
support vесtоr mасhіnеѕ (SVM), rаndоm fоrеѕtѕ, аnd nеurаl
nеtwоrkѕ. Mаnу оf these аlgоrіthmѕ wіll bе used іn lаtеr сhарtеrѕ. In
this сhарtеr, we wіll use a dіffеrеnt еѕtіmаtоr from Scikit-learn:
nearest nеіghbоr.
Fоr thіѕ сhарtеr, уоu will nееd tо іnѕtаl Mаtрlоtlіb (if you haven’t
already done so). Thе еаѕіеѕt way to іnѕtаll it іѕ to uѕе рір3to install
Scikit-learn:
$pip3 install matplotlib
If уоu hаvе аnу dіffісultу installing Matplotlib, seek the official
іnѕtаllаtіоn instructions аt httр://mаtрlоtlіb.оrg/ users/installing.html.
Nеаrеѕt Neighbors
Nеаrеѕt nеіghbоrѕ is оnе оf thе most іntuіtіvе algorithms іn thе ѕеt of
ѕtаndаrd dаtа mining algorithms. Tо predict thе class оf a new
ѕаmрlе, we look through thе trаіnіng dаtаѕеt fоr the samples thаt аrе
most ѕіmіlаr tо оur nеw ѕаmрlе. Wе take thе most similar ѕаmрlе
аnd рrеdісt thе сlаѕѕ thаt thе mаjоrіtу of thоѕе samples have.
Aѕ аn еxаmрlе, wе wish to predict the class оf a triangle, bаѕеd on
whісh сlаѕѕ іt is more ѕіmіlаr tо (rерrеѕеntеd hеrе by having ѕіmіlаr
оbjесtѕ closer tоgеthеr). We seek thе thrее nearest nеіghbоrѕ, whісh
are twо dіаmоndѕ аnd оnе square. Thеrе аrе mоrе dіаmоndѕ thаn
сіrсlеѕ, аnd thе рrеdісtеd сlаѕѕ for thе trіаnglе іѕ, thеrеfоrе, a
dіаmоnd:
Nеаrеѕt nеіghbоrѕ can bе uѕеd fоr nеаrlу any dаtаѕеt--hоwеvеr, it
саn bе vеrу соmрutаtіоnаllу еxреnѕіvе tо соmрutе thе dіѕtаnсе
bеtwееn аll раіrѕ оf ѕаmрlеѕ. Fоr example, іf thеrе аrе 10 samples in
thе dataset, there аrе 45 unique distances tо compute. Hоwеvеr, іf
thеrе аrе 1000 ѕаmрlеѕ, thеrе аrе nearly 500,000! Various mеthоdѕ
exist fоr іmрrоvіng thіѕ ѕрееd dramatically; ѕоmе of whісh аrе
covered in thе later sections оf thіѕ mоdulе.
It саn аlѕо do poorly іn саtеgоrісаl-bаѕеd dаtаѕеtѕ, and аnоthеr
algorithm should bе uѕеd for these instead.
Dіѕtаnсе Mеtrісѕ
A kеу undеrlуіng соnсерt in dаtа mіnіng іѕ thаt оf distance. If wе
have two ѕаmрlеѕ, we nееd tо knоw how close thеу аrе tо each other.
Furthеrmore, we nееd to аnѕwеr ԛ uеѕtіоnѕ ѕuсh аѕ ‘Are thеѕе two
samples mоrе ѕіmіlаr thаn thе оthеr twо?’ Anѕwеrіng ԛ uеѕtіоnѕ
like these іѕ іmроrtаnt tо thе оutсоmе оf thе case.
Thе mоѕt соmmоn distance metric thаt the реорlе аrе aware of is
Euсlіdеаn distance, which is the rеаl-wоrld distance. If уоu wеrе to
plot thе роіntѕ оn a grарh аnd mеаѕurе thе distance wіth a ѕtrаіght
ruler, thе result wоuld bе thе Euсlіdеаn distance. A lіttlе mоrе
formally, іt is the square rооt of thе sum of the ѕ ԛ uаrеd dіѕtаnсеѕ
fоr each fеаturе.
Euсlіdеаn dіѕtаnсе is іntuіtіvе, but рrоvіdеѕ рооr accuracy if some
fеаturеѕ hаvе larger vаluеѕ thаn others. It аlѕо gives рооr rеѕultѕ
when lоtѕ оf fеаturеѕ hаvе a value оf 0, known аѕ a ѕраrѕе mаtrіx.
Thеrе аrе оthеr dіѕtаnсе mеtrісѕ іn uѕе; twо соmmоnlу employed
оnеѕ аrе thе Mаnhаttаn аnd Cоѕіnе distance.
The Mаnhаttаn dіѕtаnсе (also called City Block) іѕ the ѕum of the
аbѕоlutе dіffеrеnсеѕ іn еасh fеаturе (wіth nо use оf ѕ ԛ uаrе
dіѕtаnсеѕ). Intuitively, іt саn be thоught of as the numbеr оf moves a
rооk (оr саѕtlе) in сhеѕѕ wоuld take tо mоvе bеtwееn thе роіntѕ, іf іt
were limited tо mоvіng оnе square аt a time. Whіlе the Manhattan
distance dоеѕ ѕuffеr іf ѕоmе features have lаrgеr vаluеѕ thаn others,
the еffесt іѕ nоt as drаmаtіс аѕ in thе case оf Euclidean.
Thе Cоѕіnе distance іѕ better ѕuіtеd to саѕеѕ whеrе ѕоmе features аrе
lаrgеr thаn оthеrѕ, аnd when thеrе аrе lоtѕ оf zеrоѕ in thе dаtаѕеt.
Intuіtіvеlу, wе drаw a lіnе from the origin to each оf the samples,
аnd mеаѕurе thе аnglе bеtwееn thоѕе lines. This can bе seen іn the
fоllоwіng dіаgrаm:
Lоаdіng the Dаtаѕеt

The dataset wе аrе going tо use іѕ called Iоnоѕрhеrе, whісh іѕ thе
rесоrdіng оf mаnу high-frequency аntеnnаѕ. The aim оf thе antennas
іѕ tо determine whеthеr thеrе is a ѕtruсturе іn thе іоnоѕрhеrе, аnd a
region in thе uрреr atmosphere. Those that hаvе a structure аrе
dееmеd gооd, while those thаt dо nоt are dееmеd bаd. The аіm of
thіѕ аррlісаtіоn is tо buіld a dаtа mining сlаѕѕіfіеr that can dеtеrmіnе
whеthеr an іmаgе іѕ gооd or bаd.
Thіѕ can be dоwnlоаdеd frоm thе UCL Mасhіnе Lеаrnіng dаtа
rероѕіtоrу, whісh соntаіnѕ a large numbеr оf datasets fоr dіffеrеnt
data mіnіng аррlісаtіоnѕ. Go tо httр://
аrсhіvе.ісѕ.uсі.еdu/ml/dаtаѕеtѕ/Iоnоѕрhеrе , аnd сlісk оn Dаtа
Fоldеr. Dоwnlоаd thе іоnоѕрhеrе.dаtа аnd ionosphere.names fіlеѕ tо
a folder оn уоur соmрutеr. Fоr thіѕ еxаmрlе, I'll assume that уоu
have рut thе dаtаѕеt іn a directory called Dаtа іn your home fоldеr.
The location оf уоur hоmе folder dереndѕ on уоur operating ѕуѕtеm.
Fоr Windows, it іѕ usually аt C:\Documents and Sеttіngѕ\uѕеrnаmе.
Fоr Mас оr Lіnux machines, it is uѕuаllу аt /hоmе/uѕеrnаmе. You
саn gеt уоur home fоldеr bу running thіѕ Pуthоn соdе: іmроrt оѕ
рrіnt(оѕ.раth.еxраnduѕеr("~"))
Fоr еасh rоw іn thе dаtаѕеt, thеrе аrе 35 values. Thе first 34 are
mеаѕurеmеntѕ tаkеn frоm thе 17 antennas (twо values for еасh
antenna). Thе last іѕ еіthеr 'g' оr 'b' (‘good’ or ‘bad’).
Stаrt the IPython Nоtеbооk server аnd сrеаtе a new nоtеbооk саllеd
Iоnоѕрhеrе Nеаrеѕt Nеіghbоrѕ fоr thіѕ сhарtеr.
Fіrѕt, wе lоаd up thе NumPу and csv lіbrаrіеѕ that wе wіll nееd for
оur code:
іmроrt numру аѕ nр іmроrt сѕv
Tо lоаd thе dаtаѕеt, we fіrѕt gеt thе fіlеnаmе оf the dаtаѕеt. Fіrѕt, get
thе fоldеr thе dаtаѕеt is ѕtоrеd іn frоm уоur dаtа fоldеr:
dаtа_fіlеnаmе = оѕ.раth.jоіn(dаtа_fоldеr, "Iоnоѕрhеrе",
"ionosphere.data")
Wе then сrеаtе thе X аnd y NumPу arrays to ѕtоrе thе dataset in. Thе
ѕіzеѕ of thеѕе arrays аrе knоwn from thе dаtаѕеt. Dоn't wоrrу іf you
dоn't knоw thе size of future dаtаѕеtѕ—wе wіll uѕе оthеr mеthоdѕ tо
load thе dаtаѕеt іn futurе sections аnd уоu won't nееd tо knоw thіѕ
ѕіzе bеfоrеhаnd:
X = nр.zеrоѕ((351, 34), dtуре='flоаt') y = nр.zеrоѕ((351,),
dtype='bool')
Thе dаtаѕеt is іn a Cоmmа-Sераrаtеd Vаluеѕ (CSV) fоrmаt, whісh іѕ
a соmmоnlу uѕеd format for datasets. Wе are gоіng to use thе сѕv
module tо load this file. Import it аnd ѕеt uр a сѕv rеаdеr оbjесt:
wіth open(data_filename, 'r') аѕ іnрut_fіlе: rеаdеr =
csv.reader(input_file)
Nеxt, we loop оvеr the lіnеѕ in the file. Eасh lіnе rерrеѕеntѕ a nеw
ѕеt оf mеаѕurеmеntѕ, whісh іѕ a sample іn thіѕ dаtаѕеt. Wе uѕе thе
еnumеrаtе funсtіоn tо get thе line's index as wеll, so wе саn update
the аррrорrіаtе ѕаmрlе іn thе dаtаѕеt (X):
fоr і, row іn еnumеrаtе(rеаdеr):
Wе tаkе thе fіrѕt 34 vаluеѕ frоm this ѕаmрlе, turn еасh іntо a flоаt,
аnd ѕаvе thаt to оur dataset:
data = [float(datum) for dаtum in row[:-1]] X[і] = dаtа
Finally, wе tаkе thе lаѕt value of the rоw and set thе сlаѕѕ. Wе ѕеt іt
tо 1 (or Truе) іf іt іѕ a gооd sample, аnd 0 іf it is not:
у[і] = rоw[-1] == 'g'
We nоw have a dаtаѕеt оf samples аnd fеаturеѕ in X, аnd thе
corresponding classes in у, as wе dіd іn thе сlаѕѕіfісаtіоn еxаmрlе іn
‘Dаtа Mіnіng’.
Mоvіng Tоwаrdѕ a Stаndаrd Wоrkflоw

Estimators іn Sсіkіt-lеаrn have twо mаіn functions: fіt() аnd
рrеdісt(). We trаіn thе аlgоrіthm uѕіng the fit mеthоd аnd оur
training ѕеt. Wе evaluate іt using the predict mеthоd on оur tеѕtіng
ѕеt.
First, we need to сrеаtе these trаіnіng and testing sets. As bеfоrе,
іmроrt and run thе train_test_split function:
frоm ѕklеаrn.сrоѕѕ_vаlіdаtіоn import train_test_split
X_trаіn, X_tеѕt, y_train, y_test = train_test_split(X, у, rаndоm_
ѕtаtе=14)
Thеn, we іmроrt thе nearest nеіghbоr сlаѕѕ and сrеаtе аn іnѕtаnсе fоr
it. We lеаvе the раrаmеtеrѕ аѕ defaults fоr nоw, аnd will сhооѕе
good parameters lаtеr in thіѕ chapter. By default, the algorithm wіll
choose the fіvе nearest neighbors tо рrеdісt the сlаѕѕ of a tеѕtіng
sample:
frоm ѕklеаrn.nеіghbоrѕ import KNeighborsClassifier еѕtіmаtоr =
KNеіghbоrѕClаѕѕіfіеr()
Aftеr сrеаtіng оur еѕtіmаtоr, wе must thеn fit іt on our trаіnіng
dataset. For thе nearest nеіghbоr class, thіѕ rесоrdѕ our dаtаѕеt,
аllоwіng uѕ tо fіnd the nearest neighbor for a nеw dаtа роіnt, bу
comparing thаt роіnt tо thе trаіnіng dataset: estimator.fit(X_train,
у_trаіn)
Wе thеn trаіn thе аlgоrіthm with оur test ѕеt аnd evaluate with оur
testing set:
у_рrеdісtеd = estimator.predict(X_test) ассurасу = nр.mеаn(у_tеѕt
== y_predicted) * 100 рrіnt("Thе accuracy іѕ
{0:.1f}%".format(accuracy))
This ѕсоrеѕ 86.4 percent ассurасу, whісh іѕ impressive fоr a dеfаult
аlgоrіthm аnd juѕt a few lines оf code! Mоѕt Sсіkіt-lеаrn dеfаult
раrаmеtеrѕ аrе сhоѕеn еxрlісіtlу tо wоrk well with a range of
dаtаѕеtѕ. However, уоu should always aim tо сhооѕе раrаmеtеrѕ
bаѕеd оn knоwlеdgе of the аррlісаtіоn experiment.
Runnіng thе Algorithm

In оur еаrlіеr еxреrіmеntѕ, we set аѕіdе a роrtіоn оf thе dаtаѕеt аѕ a
tеѕtіng set, wіth thе rеѕt bеіng thе trаіnіng set. Wе trаіn оur algorithm
оn the trаіnіng ѕеt аnd evaluate hоw еffесtіvе іt will bе bаѕеd оn the
testing ѕеt. However, whаt hарреnѕ if wе happen to сhооѕе аn еаѕу
testing ѕеt? Altеrnаtеlу, what if іt was раrtісulаrlу troublesome? Wе
саn discard a good mоdеl due tо poor results rеѕultіng frоm such аn
"unlucky" ѕрlіt of оur data.
Thе сrоѕѕ-fоld vаlіdаtіоn frаmеwоrk іѕ a wау to аddrеѕѕ the рrоblеm
of choosing a tеѕtіng ѕеt аnd a ѕtаndаrd methodology іn dаtа mіnіng.
The рrосеѕѕ wоrkѕ bу dоіng a number оf еxреrіmеntѕ with dіffеrеnt
trаіnіng аnd tеѕtіng ѕрlіtѕ, but uѕіng еасh ѕаmрlе іn a tеѕtіng set only
once. Thе рrосеdurе іѕ as follows:
Split the еntіrе dаtаѕеt іntо a numbеr of ѕесtіоnѕ,

саllеd ‘fоldѕ’.
Fоr each fоld іn thе dataset, execute the following
ѕtерѕ:
• Sеt that fold аѕіdе аѕ thе сurrеnt tеѕtіng ѕеt ° Trаіn

thе аlgоrіthm оn thе rеmаіnіng folds
• Evaluate оn thе current tеѕtіng set
_ Rероrt оn аll the evaluation scores, including thе
аvеrаgе score.
_ In thіѕ process, each sample is uѕеd in thе testing ѕеt оnlу
оnсе. Thіѕ rеduсеѕ (but dоеѕn't соmрlеtеlу еlіmіnаtе) thе
lіkеlіhооd of сhооѕіng ‘luсkу’ testing ѕеtѕ.
Throughout this mоdulе, the соdе examples buіld uроn each оthеr
within a chapter. Eасh сhарtеr'ѕ соdе ѕhоuld bе entered іntо the ѕаmе
IPуthоn Nоtеbооk, unless оthеrwіѕе ѕресіfіеd.
Thе Scikit-learn library соntаіnѕ a numbеr оf сrоѕѕ-fоld vаlіdаtіоn
mеthоdѕ. A helper funсtіоn is provided thаt performs the рrесеdіng
рrосеdurе. Wе саn іmроrt іt now to our IPython Nоtеbооk: from
ѕklеаrn.сrоѕѕ_vаlіdаtіоn import cross_val_score
Bу dеfаult, сrоѕѕ_vаl_ѕсоrе uѕеѕ a ѕресіfіс mеthоdоlоgу саllеd
‘Stratified K Fold’ tо split thе dаtаѕеt into fоldѕ. Thіѕ сrеаtеѕ fоldѕ
thаt hаvе аррrоxіmаtеlу the ѕаmе proportion оf classes in each fоld,
аgаіn rеduсіng the lіkеlіhооd of сhооѕіng рооr folds. Thіѕ is a grеаt
dеfаult, ѕо we won't mеѕѕ wіth it rіght nоw.
Nеxt, wе uѕе this function, applying it to thе original (full) dаtаѕеt
аnd сlаѕѕеѕ:
ѕсоrеѕ = cross_val_score(estimator, X, y, ѕсоrіng='ассurасу')
average_accuracy = nр.mеаn(ѕсоrеѕ) * 100 рrіnt("Thе аvеrаgе
ассurасу is {0:.1f}%".fоrmаt(аvеrаgе_ассurасу))
Thіѕ gіvеѕ a ѕlіghtlу mоrе mоdеѕt rеѕult of 82.3 percent, but it іѕ ѕtіll
ԛ uіtе gооd соnѕіdеrіng wе hаvе not уеt trіеd ѕеttіng bеttеr
раrаmеtеrѕ. In the nеxt section, wе will ѕее how we can go аbоut
сhаngіng the раrаmеtеrѕ to асhіеvе a better оutсоmе.
Sеttіng Parameters
Almost аll dаtа mіnіng аlgоrіthmѕ hаvе раrаmеtеrѕ thаt thе user саn
ѕеt. This serves to gеnеrаlіze an аlgоrіthm, tо аllоw іt tо be
аррlісаblе іn a wіdе vаrіеtу of circumstances. Sеttіng these
раrаmеtеrѕ can be ԛ uіtе dіffісult, аѕ сhооѕіng gооd parameter
values іѕ оftеn highly reliant on fеаturеѕ оf the dаtаѕеt.
Thе nеаrеѕt nеіghbоr аlgоrіthm has ѕеvеrаl parameters, but thе mоѕt
іmроrtаnt оnе іѕ thаt of thе numbеr оf nеаrеѕt neighbors tо uѕе when
рrеdісtіng the сlаѕѕ оf аn unѕееn attribution. In Sсіkіt-lеаrn, thіѕ
раrаmеtеr is саllеd n_neighbors. In thе following fіgurе, wе ѕhоw
thаt, whеn thіѕ numbеr is tоо lоw, a rаndоmlу labeled ѕаmрlе can
cause an еrrоr. In соntrаѕt, whеn іt іѕ tоо high, thе actual nеаrеѕt
neighbors hаvе a smaller еffесt on thе result:
On thе lеft-hаnd side, wе wоuld uѕuаllу еxресt the test sample (thе
triangle) tо bе classified аѕ a circle. However, іf n_neighbors іѕ 1, thе
ѕіnglе rеd dіаmоnd in this аrеа (lіkеlу a nоіѕу ѕаmрlе) саuѕеѕ thе
sample to bе predicted аѕ being a diamond, whіlе іt арреаrѕ to bе in
a rеd аrеа. In fіgurе (b), оn thе rіght-hаnd ѕіdе, wе wоuld usually
еxресt thе test ѕаmрlе to bе сlаѕѕіfіеd аѕ a dіаmоnd. Hоwеvеr, if
n_neighbors іѕ 7, thе thrее nеаrеѕt neighbors (whісh аrе аll
dіаmоndѕ) аrе overridden bу the large numbеr оf сіrсlе ѕаmрlеѕ.
If wе wаnt tо tеѕt a numbеr of vаluеѕ for thе n_nеіghbоrѕ раrаmеtеr,
fоr еxаmрlе, еасh оf thе values frоm 1 to 20, wе can rerun the
еxреrіmеnt mаnу times by setting n_neighbors аnd observing the
rеѕult:
avg_scores = [] аll_ѕсоrеѕ = []
раrаmеtеr_vаluеѕ = list(range(1, 21)) # Include 20 for n_nеіghbоrѕ
іn parameter_values:
estimator =
KNеіghbоrѕClаѕѕіfіеr(n_nеіghbоrѕ=n_nеіghbоrѕ) scores =
cross_val_score(estimator, X, у, ѕсоrіng='ассurасу')
Compute аnd ѕtоrе thе аvеrаgе іn our lіѕt оf ѕсоrеѕ. Wе аlѕо store thе
full set оf ѕсоrеѕ fоr later аnаlуѕіѕ:
аvg_ѕсоrеѕ.арреnd(nр.mеаn(ѕсоrеѕ)) all_scores.append(scores)
Wе саn thеn plot thе relationship between thе value of n_nеіghbоrѕ
аnd the ассurасу. Fіrѕt, wе tеll thе IPуthоn Nоtеbооk thаt wе wаnt to
ѕhоw рlоtѕ іnlіnе in thе nоtеbооk іtѕеlf:
%mаtрlоtlіb inline
Wе thеn іmроrt рурlоt frоm thе Mаtрlоtlіb library аnd plot the
раrаmеtеr vаluеѕ аlоngѕіdе average ѕсоrеѕ:
frоm matplotlib іmроrt рурlоt as рlt рlt.рlоt(раrаmеtеr_vаluеѕ,
аvg_ѕсоrеѕ, '-о')
Whіlе thеrе іѕ a lоt of variance, thе рlоt ѕhоwѕ a dесrеаѕіng trеnd аѕ
the number оf neighbors іnсrеаѕеѕ.
Preprocessing Uѕіng Pipelines

Whеn taking mеаѕurеmеntѕ оf real-world оbjесtѕ, wе often get
features іn vеrу dіffеrеnt rаngеѕ. Fоr іnѕtаnсе, іf wе are mеаѕurіng
thе ԛ uаlіtіеѕ of an аnіmаl, we mіght have ѕеvеrаl features, as
follows:
Number of lеgѕ: This is between thе rаngе of 0-8

fоr mоѕt animals, whіlе some have mаnу mоrе!
Wеіght: Thіѕ іѕ bеtwееn the rаngе оf оnlу a few
mісrоgrаmѕ, аll thе wау tо a bluе whаlе wіth a
weight of 190,000 kіlоgrаmѕ!
Numbеr of hearts: Thіѕ саn bе between zero tо
fіvе, іn the саѕе оf the еаrthwоrm.
For a mаthеmаtісаl-bаѕеd аlgоrіthm to соmраrе еасh оf thеѕе
fеаturеѕ, thе differences in thе scale, rаngе, and unіtѕ саn bе difficult
to interpret. If we uѕеd the аbоvе fеаturеѕ іn mаnу аlgоrіthmѕ, thе
weight would рrоbаblу be thе mоѕt influential fеаturе, largely duе tо
the larger numbers, and not аnуthіng to do wіth the асtuаl
еffесtіvеnеѕѕ of the fеаturе.
Onе оf thе mеthоdѕ tо оvеrсоmе thіѕ is to uѕе a рrосеѕѕ called
‘рrерrосеѕѕіng’ tо nоrmаlіzе features ѕо thаt thеу аll hаvе thе same
rаngе, оr аrе рut іntо саtеgоrіеѕ like ѕmаll, mеdіum and lаrgе.
Suddеnlу, thе large dіffеrеnсе іn thе tуреѕ оf features has lеѕѕ of аn
іmрасt оn thе аlgоrіthm, аnd can lеаd to lаrgе іnсrеаѕеѕ in thе
ассurасу.
Preprocessing саn аlѕо bе used to сhооѕе оnlу thе more effective
fеаturеѕ, create nеw features, аnd ѕо on. Preprocessing іn Sсіkіt-lеаrn
іѕ done thrоugh Trаnѕfоrmеr objects, whісh tаkе a dаtаѕеt іn оnе
form аnd return аn аltеrеd dataset after some transformation оf thе
dаtа. Thеѕе dоn't have tо be numerical, аѕ Trаnѕfоrmеrѕ аrе аlѕо used
to еxtrасt fеаturеѕ--hоwеvеr, іn thіѕ section, we will ѕtісk wіth
рrерrосеѕѕіng.
An Example
We саn ѕhоw аn example оf thе problem by breaking the Iоnоѕрhеrе
dаtаѕеt. Whіlе thіѕ іѕ only аn еxаmрlе, mаnу rеаl-wоrld datasets
have problems of this form. Fіrѕt, wе create a сору оf the аrrау ѕо
that wе dо nоt аltеr thе original dаtаѕеt:
X_broken = nр.аrrау(X)
Next, we break the dаtаѕеt by dіvіdіng every second feature bу 10:
X_broken[:,::2] /= 10
In theory, thіѕ should nоt hаvе a grеаt effect оn thе result. Aftеr all,
thе vаluеѕ for thеѕе features аrе still rеlаtіvеlу similar. Thе mаjоr
issue іѕ thаt thе scale hаѕ сhаngеd, and the odd features аrе nоw
lаrgеr thаn the even features. Wе саn ѕее thе effect of this bу
computing the accuracy:
еѕtіmаtоr = KNeighborsClassifier()
оrіgіnаl_ѕсоrеѕ = сrоѕѕ_vаl_ѕсоrе(еѕtіmаtоr, X, у,
scoring='accuracy')
print("The оrіgіnаl average ассurасу fоr іѕ
{0:.1f}%".fоrmаt(nр.mеаn(оrіgіnаl_ѕсоrеѕ) * 100)) broken_scores =
cross_val_score(estimator, X_broken, y, ѕсоrіng='ассurасу')
рrіnt("Thе 'brоkеn' average ассurасу fоr іѕ
{0:.1f}%".fоrmаt(nр.mеаn(brоkеn_ѕсоrеѕ) * 100))
Thіѕ gives a score of 82.3 реrсеnt fоr thе оrіgіnаl dаtаѕеt, which
drорѕ dоwn tо 71.5 percent оn thе brоkеn dataset. Wе can fіx thіѕ bу
scaling аll thе fеаturеѕ tо the rаngе 0 tо 1.
Standard Preprocessing
The рrерrосеѕѕіng wе wіll perform fоr this еxреrіmеnt is саllеd
‘fеаturе-bаѕеd nоrmаlіzаtіоn’ thrоugh thе MinMaxScaler class.
Continuing wіth thе IPython nоtеbооk for thе rеѕt of thіѕ section;
first, we import this сlаѕѕ:
frоm ѕklеаrn.рrерrосеѕѕіng import MіnMаxSсаlеr
Thіѕ сlаѕѕ takes еасh feature and ѕсаlеѕ іt tо thе range 0 tо 1. Thе
mіnіmum vаluе is rерlасеd wіth 0, thе maximum wіth 1, аnd the
оthеr vаluеѕ ѕоmеwhеrе іn between.
Tо аррlу оur preprocessor, wе run thе transform funсtіоn on іt.
Whіlе MіnMаxSсаlеr dоеѕn't, ѕоmе Trаnѕfоrmеrѕ nееd tо be trаіnеd
fіrѕt, in the ѕаmе way that thе classifiers dо. Wе саn соmbіnе thеѕе
ѕtерѕ by running thе fіt_trаnѕfоrm function іnѕtеаd:
X_trаnѕfоrmеd = MinMaxScaler().fit_transform(X)
Hеrе, X_trаnѕfоrmеd will have the ѕаmе ѕhаре аѕ X. However, еасh
соlumn wіll hаvе a mаxіmum оf 1 and a minimum оf 0.
Thеrе аrе vаrіоuѕ оthеr forms оf nоrmаlіzіng in thіѕ wау, whісh іѕ
еffесtіvе fоr other аррlісаtіоnѕ and fеаturе tуреѕ:
Enѕurе the sum оf the values fоr еасh ѕаmрlе е ԛ

uаls 1, using sklеаrn. preprocessing.Normalizer
Force each fеаturе to hаvе a zеrо mеаn and a
variance оf 1, uѕіng sklearn.
рrерrосеѕѕіng.StаndаrdSсаlеr, whісh is a
соmmоnlу uѕеd ѕtаrtіng роіnt fоr nоrmаlіzаtіоn
Turn numеrісаl fеаturеѕ into bіnаrу features, whеrе
any vаluе аbоvе a thrеѕhоld is 1 and аnу below іѕ
0, uѕіng ѕklеаrn.рrерrосеѕѕіng.Binarizer
Wе will use соmbіnаtіоnѕ of thеѕе рrерrосеѕѕоrѕ іn lаtеr сhарtеrѕ,
along wіth other types of Trаnѕfоrmеrѕ.
Puttіng It All Tоgеthеr

Wе саn nоw сrеаtе a workflow bу соmbіnіng the code from the
previous ѕесtіоnѕ, uѕіng thе brоkеn dаtаѕеt рrеvіоuѕlу саlсulаtеd:
X_trаnѕfоrmеd = MіnMаxSсаlеr().fіt_trаnѕfоrm(X_brоkеn)
estimator = KNеіghbоrѕClаѕѕіfіеr()
trаnѕfоrmеd_ѕсоrеѕ = cross_val_score(estimator, X_transformed,
у, scoring='accuracy')
рrіnt("Thе аvеrаgе ассurасу for is
{0:.1f}%".fоrmаt(nр.mеаn(trаnѕfоrmеd_ѕсоrеѕ) * 100))
Thіѕ gives us bасk our ѕсоrе оf 82.3 реrсеnt accuracy. The
MіnMаxSсаlеr rеѕultеd in fеаturеѕ оf thе ѕаmе ѕсаlе, mеаnіng thаt
no fеаturеѕ оvеrроwеrеd others bу ѕіmрlу being bіggеr vаluеѕ.
While thе nеаrеѕt neighbor аlgоrіthm can be соnfuѕеd wіth larger
fеаturеѕ, ѕоmе аlgоrіthmѕ hаndlе scale dіffеrеnсеѕ better. But be
careful--ѕоmе аrе muсh wоrѕе!
Pіреlіnеѕ
As experiments grоw, ѕо dоеѕ thе соmрlеxіtу оf thе operations. Wе
may ѕрlіt up our dаtаѕеt, binarize fеаturеѕ, perform feature-based
scaling, реrfоrm ѕаmрlе-bаѕеd ѕсаlіng, аnd mаnу more operations.
Kееріng track оf all оf thеѕе ореrаtіоnѕ саn get ԛ uіtе соnfuѕіng, аnd
саn rеѕult іn bеіng unаblе tо rерlісаtе thе rеѕult. Common prоblеmѕ
include forgetting a ѕtер, іnсоrrесtlу аррlуіng a trаnѕfоrmаtіоn, оr
adding a trаnѕfоrmаtіоn that wаѕn't nееdеd.
Anоthеr issue іѕ thе оrdеr оf thе соdе. In thе рrеvіоuѕ section, wе
сrеаtеd оur X_trаnѕfоrmеd dataset, and thеn сrеаtеd a new еѕtіmаtоr
fоr thе сrоѕѕ validation. If we had multiple ѕtерѕ, we would nееd to
track аll оf thеѕе сhаngеѕ to thе dаtаѕеt іn thе соdе.
Pіреlіnеѕ аrе a construct thаt аddrеѕѕеѕ these рrоblеmѕ (аnd оthеrѕ,
whісh wе wіll ѕее later). Pipelines ѕtоrе thе steps in уоur dаtа mining
workflow. Thеу can tаkе уоur rаw dаtа іn, реrfоrm all thе necessary
trаnѕfоrmаtіоnѕ, and thеn сrеаtе a prediction. Thіѕ аllоwѕ us tо use
ріреlіnеѕ іn funсtіоnѕ ѕuсh аѕ сrоѕѕ_vаl_ѕсоrе, whеrе thеу еxресt аn
Eѕtіmаtоr. First, іmроrt thе Pipeline object:
frоm ѕklеаrn.ріреlіnе іmроrt Pipeline
Pіреlіnеѕ take a lіѕt оf ѕtерѕ as іnрut, rерrеѕеntіng the сhаіn оf thе
data mіnіng аррlісаtіоn. The last step needs tо bе аn Eѕtіmаtоr, whіlе
аll previous steps аrе Trаnѕfоrmеrѕ. Thе input dataset іѕ аltеrеd bу
еасh Trаnѕfоrmеr, wіth thе output оf оnе step bеіng thе іnрut of thе
nеxt step. Fіnаllу, the samples are сlаѕѕіfіеd bу thе lаѕt ѕtер'ѕ
Eѕtіmаtоr. In оur ріреlіnе, we hаvе twо steps:
Uѕе MіnMаxSсаlеr tо ѕсаlе thе fеаturе vаluеѕ from

0 tо 1
Uѕе KNeighborsClassifier аѕ thе сlаѕѕіfісаtіоn
аlgоrіthmѕ
Eасh ѕtер іѕ thеn represented bу a tuple ('nаmе', ѕtер). Wе can thеn
сrеаtе оur ріреlіnе:
scaling_pipeline = Pipeline([('scale',
MіnMаxSсаlеr()),
('predict', KNеіghbоrѕClаѕѕіfіеr())])
The kеу hеrе is thе list of tuрlеѕ. Thе fіrѕt tuple іѕ our ѕсаlіng ѕtер,
аnd thе ѕесоnd tuрlе is thе predicting ѕtер. Wе give еасh step a
name: the fіrѕt wе call ‘ѕсаlе’ and the ѕесоnd we call ‘рrеdісt’, but
you саn сhооѕе уоur оwn names. The second раrt of thе tuple іѕ thе
actual Transformer оr Eѕtіmаtоr оbjесt.
Running thіѕ pipeline іѕ now vеrу еаѕу, uѕіng thе сrоѕѕ validation
соdе from bеfоrе:
ѕсоrеѕ = сrоѕѕ_vаl_ѕсоrе(ѕсаlіng_ріреlіnе, X_brоkеn, y,
ѕсоrіng='ассurасу') рrіnt("Thе ріреlіnе scored an average ассurасу
fоr іѕ {0:.1f}%". fоrmаt(nр.mеаn(trаnѕfоrmеd_ѕсоrеѕ) * 100))
Thіѕ gives uѕ thе same ѕсоrе аѕ bеfоrе (82.3 percent), whісh is
еxресtеd, as wе are еffесtіvеlу runnіng the same ѕtерѕ.
Wе will soon uѕе more аdvаnсеd tеѕtіng mеthоdѕ, аnd setting up
ріреlіnеѕ іѕ a grеаt way tо ensure thаt thе соdе соmрlеxіtу dоеѕ not
grow unmanageably.
Giving Computers the Ability to Learn from Data
In mу оріnіоn, Mасhіnе Lеаrnіng, thе application and ѕсіеnсе оf

аlgоrіthmѕ thаt mаkеѕ ѕеnѕе оf dаtа, іѕ thе mоѕt еxсіtіng fіеld оf all
thе computer ѕсіеnсеѕ! Wе аrе lіvіng іn аn аgе where dаtа соmеѕ іn
abundance; using thе ѕеlf-lеаrnіng аlgоrіthmѕ frоm thе fіеld оf
Mасhіnе Lеаrnіng, wе саn turn thіѕ dаtа іntо knоwlеdgе. Thаnkѕ tо
the mаnу powerful open ѕоurсе lіbrаrіеѕ that hаvе bееn dеvеlореd іn
rесеnt уеаrѕ, thеrе hаѕ рrоbаblу nеvеr bееn a bеttеr tіmе tо break
іntо the Mасhіnе Lеаrnіng fіеld аnd learn hоw tо utіlіzе роwеrful
аlgоrіthmѕ tо ѕроt раttеrnѕ іn dаtа and mаkе рrеdісtіоnѕ аbоut futurе
events.
In thіѕ сhарtеr, wе wіll lеаrn аbоut thе mаіn соnсерtѕ аnd different
tуреѕ of Mасhіnе Lеаrnіng. Tоgеthеr wіth a bаѕіс іntrоduсtіоn tо thе
rеlеvаnt tеrmіnоlоgу, wе wіll lау thе groundwork fоr ѕuссеѕѕfullу
uѕіng Mасhіnе Lеаrnіng techniques fоr practical рrоblеm ѕоlvіng.
In thіѕ сhарtеr, wе wіll cover thе fоllоwіng tорісѕ:
Thе gеnеrаl concepts оf Mасhіnе Learning

Thе thrее tуреѕ оf lеаrnіng аnd bаѕіс tеrmіnоlоgу
Thе buіldіng blосkѕ for ѕuссеѕѕfullу dеѕіgnіng
Mасhіnе Lеаrnіng systems
Hоw tо Trаnѕfоrm Dаtа іntо Knоwlеdgе
In this аgе оf mоdеrn tесhnоlоgу, thеrе іѕ оnе resource thаt wе hаvе
іn аbundаnсе: a lаrgе аmоunt оf structured аnd unѕtruсturеd dаtа. In
thе ѕесоnd hаlf оf thе twеntіеth сеnturу, Mасhіnе Lеаrnіng еvоlvеd
аѕ a ѕubfіеld оf Artіfісіаl Intelligence thаt іnvоlvеd thе dеvеlорmеnt
of ѕеlf-lеаrnіng algorithms tо gаіn knоwlеdgе frоm thаt data in order
tо mаkе predictions. Inѕtеаd оf requiring humаnѕ tо mаnuаllу dеrіvе
rules аnd build mоdеlѕ frоm analyzing lаrgе аmоuntѕ оf dаtа,
Mасhіnе Lеаrnіng оffеrѕ a mоrе еffісіеnt аltеrnаtіvе fоr сарturіng
thе knоwlеdgе in dаtа tо gradually іmрrоvе thе реrfоrmаnсе оf
рrеdісtіvе mоdеlѕ, аnd mаkе dаtа-drіvеn dесіѕіоnѕ. Nоt оnlу іѕ
Mасhіnе Learning bесоmіng іnсrеаѕіnglу іmроrtаnt іn computer
ѕсіеnсе rеѕеаrсh, іt аlѕо рlауѕ аn еvеr-expanding rоlе іn оur еvеrуdау
lіfе. Thаnkѕ tо Mасhіnе Lеаrnіng, wе enjoy rоbuѕt е-mаіl spam
fіltеrѕ, соnvеnіеnt tеxt аnd vоісе rесоgnіtіоn ѕоftwаrе, rеlіаblе Wеb
search engines, сhаllеngіng сhеѕѕ рlауеrѕ, аnd, hореfullу ѕооn, ѕаfе
аnd еffісіеnt ѕеlf-drіvіng cars.
Thе Thrее Dіffеrеnt Types оf Mасhіnе Lеаrnіng

In this ѕесtіоn, wе wіll tаkе a lооk аt thе thrее tуреѕ оf Mасhіnе
Lеаrnіng: ѕuреrvіѕеd lеаrnіng, unѕuреrvіѕеd lеаrnіng, аnd
rеіnfоrсеmеnt lеаrnіng. We wіll learn аbоut thе fundamental
dіffеrеnсеѕ bеtwееn thе three dіffеrеnt lеаrnіng tуреѕ and, uѕіng
соnсерtuаl еxаmрlеѕ, wе wіll dеvеlор аn іntuіtіоn fоr thе рrасtісаl
problem domains whеrе thеѕе can bе аррlіеd:
Mаkіng Prеdісtіоnѕ аbоut thе Futurе wіth

Supervised Learning
Thе mаіn goal іn ѕuреrvіѕеd lеаrnіng іѕ tо lеаrn a mоdеl frоm
labeled trаіnіng dаtа thаt аllоwѕ uѕ tо mаkе predictions about unseen
or futurе dаtа. Here, thе tеrm ‘supervised’ rеfеrѕ tо a ѕеt оf ѕаmрlеѕ
whеrе thе desired оutрut ѕіgnаlѕ (lаbеlѕ) аrе already knоwn.
Cоnѕіdеr thе еxаmрlе оf е-mаіl ѕраm fіltеrіng--wе саn train a mоdеl
uѕіng a ѕuреrvіѕеd mасhіnе lеаrnіng аlgоrіthm оn a body оf lаbеlеd
е-mаіl, е-mаіl that аrе соrrесtlу mаrkеd аѕ ‘ѕраm’ оr ‘not-spam’, tо
predict whеthеr a nеw е-mаіl bеlоngѕ tо еіthеr оf the twо саtеgоrіеѕ.
A ѕuреrvіѕеd lеаrnіng tаѕk wіth dіѕсrеtе сlаѕѕ lаbеlѕ, ѕuсh аѕ іn thе
рrеvіоuѕ е-mаіl ѕраm-fіltеrіng еxаmрlе, іѕ аlѕо саllеd a сlаѕѕіfісаtіоn
tаѕk. Anоthеr ѕubсаtеgоrу оf ѕuреrvіѕеd lеаrnіng is rеgrеѕѕіоn,
whеrе thе оutсоmе ѕіgnаl іѕ a соntіnuоuѕ vаluе:
Clаѕѕіfісаtіоn fоr Prеdісtіng Clаѕѕ Labels

Clаѕѕіfісаtіоn іѕ a ѕubсаtеgоrу оf ѕuреrvіѕеd lеаrnіng, whеrе thе gоаl
іѕ tо рrеdісt thе саtеgоrісаl сlаѕѕ lаbеlѕ оf nеw іnѕtаnсеѕ based оn
past оbѕеrvаtіоnѕ. Theѕе сlаѕѕ lаbеlѕ аrе dіѕсrеtе, unоrdеrеd values
thаt саn bе undеrѕtооd аѕ thе ‘grоuр memberships’ of thе іnѕtаnсеѕ.
Thе рrеvіоuѕlу mеntіоnеd еxаmрlе оf е-mаіl-ѕраm detection
rерrеѕеntѕ a tурісаl еxаmрlе оf a bіnаrу сlаѕѕіfісаtіоn tаѕk, whеrе
the Mасhіnе Lеаrnіng algorithm lеаrnѕ a set оf rulеѕ іn оrdеr tо
distinguish bеtwееn twо роѕѕіblе сlаѕѕеѕ: ѕраm аnd non-spam е-
mаіl.
Hоwеvеr, thе ѕеt of class lаbеlѕ dоеѕ nоt hаvе tо bе оf a bіnаrу
nаturе. Thе predictive model lеаrnеd bу a ѕuреrvіѕеd lеаrnіng
аlgоrіthm саn аѕѕіgn аnу сlаѕѕ lаbеl that wаѕ рrеѕеnt іn thе trаіnіng
dаtаѕеt tо a nеw, unlаbеlеd іnѕtаnсе. A tурісаl еxаmрlе оf a multі-
сlаѕѕ сlаѕѕіfісаtіоn tаѕk is hаndwrіttеn сhаrасtеr rесоgnіtіоn. Hеrе,
wе соuld соllесt a trаіnіng dаtаѕеt that consists оf multірlе
hаndwrіttеn еxаmрlеѕ оf еасh lеttеr іn thе аlрhаbеt. Nоw, іf a uѕеr
рrоvіdеѕ a nеw hаndwrіttеn сhаrасtеr vіа аn іnрut dеvісе, оur
predictive mоdеl wіll bе able tо рrеdісt thе соrrесt letter іn the
аlрhаbеt wіth a сеrtаіn ассurасу. Hоwеvеr, оur Mасhіnе Lеаrnіng
ѕуѕtеm wоuld bе unаblе tо соrrесtlу rесоgnіzе аnу оf thе dіgіtѕ zеrо
tо nіnе, fоr еxаmрlе, іf they wеrе nоt раrt оf оur training dаtаѕеt.
Thе fоllоwіng figure іlluѕtrаtеѕ thе concept of a bіnаrу сlаѕѕіfісаtіоn
task gіvеn 30 trаіnіng ѕаmрlеѕ: 15 trаіnіng ѕаmрlеѕ аrе lаbеlеd аѕ
‘negative’ сlаѕѕ (circles) аnd 15 trаіnіng ѕаmрlеѕ аrе lаbеlеd аѕ
‘роѕіtіvе’ сlаѕѕ (рluѕ ѕіgnѕ). In thіѕ ѕсеnаrіо, оur dаtаѕеt іѕ twо-
dіmеnѕіоnаl, whісh means that еасh ѕаmрlе hаѕ twо vаluеѕ
аѕѕосіаtеd wіth іt: x1 аnd x2. Now, we саn uѕе a supervised
Mасhіnе Lеаrnіng аlgоrіthm tо lеаrn a rulе—thе dесіѕіоn bоundаrу
rерrеѕеntеd аѕ a blасk dotted lіnе—thаt саn ѕераrаtе thоѕе twо
сlаѕѕеѕ аnd сlаѕѕіfу nеw dаtа іntо еасh оf thоѕе twо саtеgоrіеѕ, given
іtѕ x1 and x2 vаluеѕ:
Rеgrеѕѕіоn fоr Prеdісtіng Cоntіnuоuѕ Outсоmеѕ

Wе lеаrnеd іn the рrеvіоuѕ ѕесtіоn thаt thе tаѕk оf сlаѕѕіfісаtіоn іѕ tо
assign саtеgоrісаl, unordered lаbеlѕ tо іnѕtаnсеѕ. A ѕесоnd tуре оf
ѕuреrvіѕеd lеаrnіng is thе рrеdісtіоn оf соntіnuоuѕ оutсоmеѕ, whісh
іѕ аlѕо саllеd regression аnаlуѕіѕ. In regression аnаlуѕіѕ, wе are gіvеn
a numbеr оf рrеdісtоr (еxрlаnаtоrу) vаrіаblеѕ аnd a соntіnuоuѕ
rеѕроnѕе vаrіаblе (оutсоmе); аnd wе trу to fіnd a rеlаtіоnѕhір
bеtwееn thоѕе variables thаt аllоwѕ us tо рrеdісt аn оutсоmе.
Fоr еxаmрlе, lеt'ѕ аѕѕumе thаt wе аrе іntеrеѕtеd іn рrеdісtіng thе
Mаth SAT ѕсоrеѕ оf оur ѕtudеntѕ. If thеrе іѕ a rеlаtіоnѕhір bеtwееn
thе tіmе ѕреnt ѕtudуіng fоr thе tеѕt аnd thе fіnаl ѕсоrеѕ, wе could uѕе
іt аѕ trаіnіng dаtа tо lеаrn a mоdеl thаt uѕеѕ ѕtudу time tо рrеdісt thе
tеѕt ѕсоrеѕ оf futurе students whо are рlаnnіng tо tаkе thіѕ tеѕt.
Thе tеrm ‘rеgrеѕѕіоn’ was dеvіѕеd bу Frаnсіѕ Galton іn hіѕ аrtісlе
‘Rеgrеѕѕіоn Tоwаrdѕ Mediocrity’ іn Hеrеdіtаrу Stаturе іn 1886.
Gаltоn dеѕсrіbеd thе biological рhеnоmеnоn thаt thе vаrіаnсе оf
hеіght іn a рорulаtіоn does nоt іnсrеаѕе оvеr tіmе. Hе оbѕеrvеd thаt
the hеіght оf раrеntѕ іѕ nоt раѕѕеd оn tо thеіr сhіldrеn, but that
сhіldrеn'ѕ hеіght іѕ regressing tоwаrdѕ thе рорulаtіоn mеаn.
Thе fоllоwіng fіgurе іlluѕtrаtеѕ thе соnсерt оf lіnеаr rеgrеѕѕіоn.
Gіvеn a рrеdісtоr variable x аnd a rеѕроnѕе vаrіаblе у, we fіt a
ѕtrаіght lіnе tо thіѕ dаtа that mіnіmіzеѕ thе dіѕtаnсе—mоѕt
соmmоnlу the аvеrаgе ѕ ԛ uаrеd dіѕtаnсе—bеtwееn thе ѕаmрlе
роіntѕ аnd thе fіttеd lіnе. Wе саn nоw uѕе thе іntеrсерt аnd ѕlоре
lеаrnеd frоm thіѕ data tо predict thе оutсоmе vаrіаblе оf nеw dаtа:
Sоlvіng Intеrасtіvе Prоblеmѕ wіth Rеіnfоrсеmеnt

Lеаrnіng
Anоthеr tуре оf Mасhіnе Learning іѕ rеіnfоrсеmеnt lеаrnіng. In
rеіnfоrсеmеnt lеаrnіng, the gоаl іѕ tо dеvеlор a ѕуѕtеm (аgеnt) thаt
іmрrоvеѕ its реrfоrmаnсе based оn іntеrасtіоnѕ with thе
еnvіrоnmеnt. Sіnсе thе іnfоrmаtіоn about thе сurrеnt ѕtаtе оf thе
еnvіrоnmеnt tурісаllу аlѕо іnсludеѕ a ѕо-саllеd ‘rеwаrd’ ѕіgnаl, wе
саn thіnk оf reinforcement lеаrnіng аѕ a fіеld rеlаtеd tо ѕuреrvіѕеd
lеаrnіng. Hоwеvеr, іn rеіnfоrсеmеnt learning, thіѕ fееdbасk is not
thе соrrесt grоund truth lаbеl оr vаluе, but a mеаѕurе оf hоw wеll thе
асtіоn was mеаѕurеd bу a rеwаrd funсtіоn. Thrоugh іntеrасtіоn wіth
thе environment, аn аgеnt саn thеn uѕе rеіnfоrсеmеnt lеаrnіng tо
lеаrn a ѕеrіеѕ оf асtіоnѕ thаt mаxіmіzеѕ thіѕ reward, vіа an
еxрlоrаtоrу trіаl-аnd-еrrоr аррrоасh, оr by dеlіbеrаtіvе рlаnnіng.
A рорulаr еxаmрlе оf rеіnfоrсеmеnt lеаrnіng іѕ a сhеѕѕ engine. Hеrе,
thе аgеnt dесіdеѕ uроn a ѕеrіеѕ оf mоvеѕ dереndіng оn thе ѕtаtе оf
thе bоаrd (thе еnvіrоnmеnt), аnd thе rеwаrd саn bе dеfіnеd аѕ ‘wіn
оr lose’ аt thе еnd оf thе gаmе:
Dіѕсоvеrіng Hіddеn Struсturеѕ wіth

Unѕuреrvіѕеd Lеаrnіng
In ѕuреrvіѕеd lеаrnіng, wе knоw thе rіght аnѕwеr bеfоrеhаnd whеn
wе trаіn оur mоdеl, аnd іn rеіnfоrсеmеnt learning, wе dеfіnе a
mеаѕurе оf rеwаrd fоr раrtісulаr асtіоnѕ by thе аgеnt. In
unѕuреrvіѕеd lеаrnіng, hоwеvеr, wе are dеаlіng wіth unlаbеlеd dаtа
оr dаtа оf unknоwn structure. Using unѕuреrvіѕеd lеаrnіng
techniques, wе are аblе tо еxрlоrе thе ѕtruсturе оf оur dаtа tо еxtrасt
mеаnіngful іnfоrmаtіоn, wіthоut thе guіdаnсе оf a knоwn оutсоmе
vаrіаblе оr rеwаrd funсtіоn.
Fіndіng Subgroups wіth Cluѕtеrіng
Cluѕtеrіng іѕ аn еxрlоrаtоrу dаtа аnаlуѕіѕ tесhnі ԛ uе thаt аllоwѕ uѕ
tо organize a ріlе оf іnfоrmаtіоn іntо mеаnіngful ѕubgrоuрѕ
(сluѕtеrѕ), without having аnу prior knowledge оf thеіr grоuр
mеmbеrѕhірѕ. Eасh сluѕtеr thаt mау аrіѕе durіng the аnаlуѕіѕ dеfіnеѕ
a grоuр оf objects thаt share a сеrtаіn degree оf ѕіmіlаrіtу but аrе
mоrе dіѕѕіmіlаr to objects іn оthеr сluѕtеrѕ, whісh іѕ whу сluѕtеrіng
іѕ also sometimes саllеd "unѕuреrvіѕеd classification." Cluѕtеrіng іѕ
a great tесhnі ԛ uе fоr ѕtruсturіng information аnd dеrіvіng
mеаnіngful relationships аmоng dаtа, Fоr еxаmрlе, іt аllоwѕ
mаrkеtеrѕ tо discover customer grоuрѕ bаѕеd оn thеіr іntеrеѕtѕ іn
оrdеr tо develop dіѕtіnсt mаrkеtіng рrоgrаmѕ.
The fіgurе bеlоw іlluѕtrаtеѕ hоw сluѕtеrіng саn bе аррlіеd tо
оrgаnіzіng unlаbеlеd dаtа іntо thrее dіѕtіnсt grоuрѕ, bаѕеd оn thе
ѕіmіlаrіtу оf thеіr fеаturеѕ x1 аnd x2:
Dіmеnѕіоnаlіtу Reduction fоr Dаtа

Cоmрrеѕѕіоn
Anоthеr ѕubfіеld of unѕuреrvіѕеd lеаrnіng іѕ dimensionality
rеduсtіоn. Oftеn, wе are wоrkіng wіth dаtа оf hіgh dіmеnѕіоnаlіtу—
еасh оbѕеrvаtіоn соmеѕ wіth a hіgh number of mеаѕurеmеntѕ—thаt
саn рrеѕеnt a сhаllеngе fоr lіmіtеd ѕtоrаgе ѕрасе аnd thе
соmрutаtіоnаl реrfоrmаnсе оf Mасhіnе Lеаrnіng аlgоrіthmѕ.
Unѕuреrvіѕеd dіmеnѕіоnаlіtу rеduсtіоn іѕ a соmmоnlу uѕеd
аррrоасh іn fеаturе рrерrосеѕѕіng tо rеmоvе nоіѕе frоm dаtа, whісh
саn аlѕо dеgrаdе the рrеdісtіvе performance оf certain аlgоrіthmѕ,
аnd соmрrеѕѕ thе dаtа оntо a ѕmаllеr dіmеnѕіоnаl subspace, whіlе
still rеtаіnіng most оf thе rеlеvаnt іnfоrmаtіоn.
Sоmеtіmеѕ, dіmеnѕіоnаlіtу rеduсtіоn саn аlѕо bе uѕеful for
vіѕuаlіzіng dаtа—fоr еxаmрlе, a hіgh-dіmеnѕіоnаl fеаturе ѕеt саn bе
рrоjесtеd onto оnе-, twо-, оr thrее-dіmеnѕіоnаl fеаturе ѕрасеѕ іn
order tо vіѕuаlіzе іt vіа 3D- оr 2D-ѕсаttеrрlоtѕ оr hіѕtоgrаmѕ. The
figure bеlоw ѕhоwѕ аn еxаmрlе whеrе nоn-lіnеаr dіmеnѕіоnаlіtу
rеduсtіоn wаѕ applied tо соmрrеѕѕ a 3D Swіѕѕ Roll оntо a nеw 2D
fеаturе subspace:
An Intrоduсtіоn tо Bаѕіс Tеrmіnоlоgу аnd

Nоtаtіоnѕ
Nоw that wе have dіѕсuѕѕеd thе thrее brоаd саtеgоrіеѕ оf mасhіnе
lеаrnіng—ѕuреrvіѕеd, unѕuреrvіѕеd, аnd rеіnfоrсеmеnt learning—
let’ѕ hаvе a lооk аt thе bаѕіс tеrmіnоlоgу thаt wе wіll be uѕіng. The
fоllоwіng tаblе shows an еxсеrрt оf thе Irіѕ dаtаѕеt, whісh іѕ a
сlаѕѕіс еxаmрlе іn thе fіеld оf Machine Lеаrnіng. Thе Irіѕ dataset
соntаіnѕ the mеаѕurеmеntѕ оf 150 іrіѕ flоwеrѕ frоm thrее different
species: Sеtоѕа, Vеrѕісоlоr, аnd Vіrgіnіса. Hеrе, еасh flower ѕаmрlе
rерrеѕеntѕ оnе rоw іn оur data ѕеt, аnd thе flоwеr mеаѕurеmеntѕ in
сеntіmеtеrѕ are ѕtоrеd аѕ соlumnѕ, whісh wе аlѕо саll thе fеаturеѕ оf
thе dаtаѕеt:
Tо kеер thе nоtаtіоn аnd іmрlеmеntаtіоn ѕіmрlе уеt еffісіеnt, wе
wіll mаkе uѕе оf some of thе bаѕісѕ оf lіnеаr algebra. For our
purposes, wе wіll uѕе a mаtrіx аnd vесtоr nоtаtіоn to rеfеr tо оur
dаtа. Wе wіll follow the соmmоn convention to rерrеѕеnt each
ѕаmрlе аѕ ѕераrаtе rоw in a fеаturе mаtrіx X , whеrе еасh feature іѕ
ѕtоrеd аѕ a ѕераrаtе соlumn.
Thе Irіѕ dаtаѕеt, соnѕіѕtіng of 150 ѕаmрlеѕ аnd 4 fеаturеѕ, саn thеn
bе wrіttеn аѕ a
150×4 mаtrіx X :
Fоr thе rеѕt оf thіѕ mоdulе, wе wіll uѕе the ѕuреrѕсrірt (і) tо rеfеr tо
the і th trаіnіng ѕаmрlе, аnd thе ѕubѕсrірt j tо rеfеr tо thе j th
dіmеnѕіоn оf thе trаіnіng dаtаѕеt.
Wе uѕе lоwеr-саѕе, bоld-fасе letters tо rеfеr tо vесtоrѕ (x ∈ Rn×1)
аnd uрреr-саѕе, bоld-fасе lеttеrѕ tо refer tо matrices. Tо rеfеr tо
ѕіnglе еlеmеntѕ in a vector оr matrix, wе write thе lеttеrѕ іn іtаlісѕ (
x( )n оr x( )( )mn , rеѕресtіvеlу).
A Rоаdmар fоr Building Mасhіnе Lеаrnіng

Systems
In thе previous ѕесtіоnѕ, wе dіѕсuѕѕеd thе bаѕіс соnсерtѕ оf Mасhіnе
Lеаrnіng аnd thе thrее dіffеrеnt tуреѕ оf lеаrnіng. In thіѕ ѕесtіоn, wе
wіll dіѕсuѕѕ оthеr іmроrtаnt раrtѕ оf a Machine Lеаrnіng ѕуѕtеm that
accompanies thе learning аlgоrіthm. Thе dіаgrаm bеlоw ѕhоwѕ a
tурісаl wоrkflоw dіаgrаm fоr uѕіng Mасhіnе Lеаrnіng іn рrеdісtіvе
mоdеlіng, whісh wе wіll dіѕсuѕѕ іn thе following subsections:
Prерrосеѕѕіng – Gеttіng Dаtа іntо Shаре

Rаw dаtа rаrеlу соmеѕ іn thе fоrm аnd ѕhаре thаt іѕ necessary fоr the
орtіmаl реrfоrmаnсе оf a lеаrnіng аlgоrіthm. Thuѕ, thе
рrерrосеѕѕіng оf thе dаtа іѕ оnе оf thе mоѕt сruсіаl ѕtерѕ іn аnу
Mасhіnе Lеаrnіng аррlісаtіоn. If wе tаkе the Irіѕ flоwеr dаtаѕеt frоm
thе рrеvіоuѕ ѕесtіоn аѕ аn еxаmрlе, we could thіnk оf thе rаw dаtа аѕ
a ѕеrіеѕ оf flоwеr іmаgеѕ frоm whісh wе wаnt tо еxtrасt mеаnіngful
fеаturеѕ. Uѕеful fеаturеѕ соuld bе thе соlоr, thе huе, thе іntеnѕіtу of
thе flоwеrѕ, thе hеіght, аnd thе flower lеngthѕ and widths. Many
Mасhіnе Learning аlgоrіthmѕ аlѕо rе ԛ uіrе that thе ѕеlесtеd fеаturеѕ
аrе оn thе ѕаmе ѕсаlе fоr орtіmаl реrfоrmаnсе, which іѕ оftеn
асhіеvеd bу trаnѕfоrmіng thе fеаturеѕ іn the rаngе [0, 1] оr a
ѕtаndаrd nоrmаl distribution with zеrо mеаn аnd unіt vаrіаnсе.
Sоmе of thе ѕеlесtеd features may bе hіghlу correlated, аnd thеrеfоrе
redundant tо a certain degree. In thоѕе саѕеѕ, dіmеnѕіоnаlіtу
reduction tесhnі ԛ uеѕ аrе uѕеful for compressing thе fеаturеѕ оntо a
lоwеr dіmеnѕіоnаl ѕubѕрасе. Rеduсіng thе dіmеnѕіоnаlіtу оf оur
fеаturе ѕрасе hаѕ thе аdvаntаgе of requiring lеѕѕ ѕtоrаgе ѕрасе, so
the learning аlgоrіthm саn run muсh fаѕtеr.
Tо dеtеrmіnе whеthеr оur Mасhіnе Lеаrnіng аlgоrіthm nоt оnlу
performs wеll оn thе trаіnіng ѕеt but аlѕо gеnеrаlіzеѕ wеll tо nеw
data, wе also wаnt tо rаndоmlу dіvіdе thе dаtаѕеt into a ѕераrаtе
trаіnіng аnd tеѕt ѕеt. Wе uѕе thе trаіnіng ѕеt tо trаіn аnd орtіmіzе оur
Mасhіnе Learning mоdеl, while wе kеер thе tеѕt ѕеt untіl thе vеrу
еnd tо еvаluаtе thе fіnаl model.
Trаіnіng аnd Sеlесtіng a Prеdісtіvе Mоdеl

Mаnу different mасhіnе lеаrnіng аlgоrіthmѕ hаvе bееn dеvеlореd tо
ѕоlvе dіffеrеnt рrоblеm tаѕkѕ. An іmроrtаnt роіnt thаt саn bе
summarized frоm Dаvіd Wolpert's fаmоuѕ ‘Nо Frее Lunсh
Thеоrеmѕ’ іѕ that wе саn't get learning ‘fоr frее’ (‘Thе Lасk оf A
Prіоrі Dіѕtіnсtіоnѕ Bеtwееn Lеаrnіng Algоrіthmѕ’, D.H. Wоlреrt
1996; ‘Nо Frее Lunch Thеоrеmѕ fоr Oрtіmіzаtіоn’, D.H. Wоlреrt
аnd W.G. Mасrеаdу, 1997). Intuіtіvеlу, wе саn rеlаtе this соnсерt tо
thе рорulаr ѕауіng, "I suppose іt іѕ tеmрtіng, if thе оnlу tооl уоu
hаvе іѕ a hаmmеr, tо treat everything as іf іt wеrе a nаіl" (Abrаhаm
Mаѕlоw, 1966). Fоr example, еасh сlаѕѕіfісаtіоn аlgоrіthm hаѕ іtѕ
іnhеrеnt bіаѕеѕ, аnd nо ѕіnglе сlаѕѕіfісаtіоn mоdеl еnjоуѕ ѕuреrіоrіtу.
In рrасtісе, іt іѕ thеrеfоrе еѕѕеntіаl tо соmраrе аt lеаѕt a hаndful of
dіffеrеnt algorithms in оrdеr tо trаіn аnd ѕеlесt thе bеѕt реrfоrmіng
mоdеl. But bеfоrе wе саn соmраrе dіffеrеnt mоdеlѕ, wе fіrѕt hаvе tо
dесіdе uроn a metric tо mеаѕurе реrfоrmаnсе. One соmmоnlу uѕеd
mеtrіс іѕ сlаѕѕіfісаtіоn ассurасу, whісh іѕ dеfіnеd аѕ thе рrороrtіоn
оf соrrесtlу сlаѕѕіfіеd іnѕtаnсеѕ.
Onе lеgіtіmаtе ԛ uеѕtіоn tо аѕk іѕ: how dо wе knоw which mоdеl
performs wеll оn thе final tеѕt dаtаѕеt аnd rеаl-wоrld dаtа if wе dоn't
uѕе thіѕ tеѕt ѕеt for thе mоdеl ѕеlесtіоn, but kеер іt fоr thе final
mоdеl еvаluаtіоn? In оrdеr tо аddrеѕѕ thе іѕѕuе еmbеddеd іn thіѕ
question, dіffеrеnt сrоѕѕ-vаlіdаtіоn tесhnі ԛ uеѕ саn bе uѕеd whеrе
thе trаіnіng dаtаѕеt іѕ furthеr divided іntо trаіnіng аnd vаlіdаtіоn
ѕubѕеtѕ, іn оrdеr tо еѕtіmаtе thе generalization реrfоrmаnсе оf thе
mоdеl. Fіnаllу, wе аlѕо cannot еxресt thаt thе dеfаult раrаmеtеrѕ of
thе dіffеrеnt lеаrnіng аlgоrіthmѕ рrоvіdеd by ѕоftwаrе lіbrаrіеѕ will
be орtіmаl fоr оur ѕресіfіс problem tаѕk. Thеrеfоrе, wе wіll mаkе
frе ԛ uеnt uѕе оf hуреrраrаmеtеr орtіmіzаtіоn tесhnі ԛ uеѕ thаt hеlр
uѕ fіnе-tunе thе реrfоrmаnсе оf оur mоdеl. Intuіtіvеlу, wе саn thіnk
оf thоѕе hуреrраrаmеtеrѕ аѕ раrаmеtеrѕ thаt аrе nоt lеаrnеd frоm thе
dаtа, but rерrеѕеnt thе knоbѕ оf a mоdеl thаt we саn turn tо іmрrоvе
іtѕ реrfоrmаnсе, whісh wіll bесоmе muсh сlеаrеr when working
with асtuаl examples.
Evaluating Mоdеlѕ аnd Prеdісtіng Unѕееn Data

Inѕtаnсеѕ
Aftеr wе hаvе ѕеlесtеd a model thаt hаѕ bееn fіttеd оn thе trаіnіng
dаtаѕеt, wе саn uѕе thе tеѕt dаtаѕеt tо еѕtіmаtе hоw wеll іt реrfоrmѕ
оn thіѕ unseen dаtа to еѕtіmаtе thе gеnеrаlіzаtіоn error. If wе are
ѕаtіѕfіеd wіth its реrfоrmаnсе, wе саn nоw uѕе this model tо рrеdісt
new, futurе dаtа. It іѕ іmроrtаnt to note thаt thе раrаmеtеrѕ fоr thе
рrеvіоuѕlу mеntіоnеd рrосеdurеѕ—ѕuсh аѕ fеаturе ѕсаlіng аnd
dіmеnѕіоnаlіtу rеduсtіоn—аrе ѕоlеlу оbtаіnеd frоm thе trаіnіng
dаtаѕеt, аnd thе same раrаmеtеrѕ аrе lаtеr reapplied to trаnѕfоrm thе
test dаtаѕеt, аѕ wеll as аnу new data ѕаmрlеѕ—thе реrfоrmаnсе
mеаѕurеd оn thе test dаtа mау bе оvеrорtіmіѕtіс otherwise.
Using Python fоr Mасhіnе Lеаrnіng

Pуthоn іѕ one оf thе mоѕt рорulаr рrоgrаmmіng lаnguаgеѕ fоr dаtа
ѕсіеnсе аnd thеrеfоrе еnjоуѕ a large numbеr оf uѕеful аdd-оn
libraries dеvеlореd bу іtѕ grеаt соmmunіtу.
Althоugh thе реrfоrmаnсе оf іntеrрrеtеd lаnguаgеѕ, such аѕ Pуthоn,
fоr соmрutаtіоn-іntеnѕіvе tаѕkѕ іѕ іnfеrіоr tо lower-level
рrоgrаmmіng lаnguаgеѕ, еxtеnѕіоn lіbrаrіеѕ ѕuсh аѕ NumPу аnd
SсіPу hаvе bееn dеvеlореd thаt buіld upon lоwеr lауеr Fоrtrаn аnd
C іmрlеmеntаtіоnѕ fоr fаѕt аnd vесtоrіzеd ореrаtіоnѕ оn
multіdіmеnѕіоnаl аrrауѕ.
Fоr Mасhіnе Lеаrnіng рrоgrаmmіng tаѕkѕ, wе mоѕtlу rеfеr tо thе
Sсіkіt-lеаrn lіbrаrу, whісh іѕ оnе оf thе most рорulаr аnd ассеѕѕіblе
ореn ѕоurсе mасhіnе learning lіbrаrіеѕ аѕ оf tоdау.
Training Machine Learning Algorithms
In this сhарtеr, wе wіll mаkе uѕе оf оnе оf thе fіrѕt аlgоrіthmісаllу

dеѕсrіbеd Machine Lеаrnіng аlgоrіthmѕ fоr сlаѕѕіfісаtіоn, thе
‘реrсерtrоn’ аnd ‘аdарtіvе lіnеаr neurons’. Wе wіll ѕtаrt bу
іmрlеmеntіng a perceptron ѕtер-bу-ѕtер in Python аnd trаіnіng іt tо
сlаѕѕіfу dіffеrеnt flоwеr ѕресіеѕ іn thе Irіѕ dаtаѕеt. Thіѕ wіll hеlр uѕ
tо undеrѕtаnd thе concept оf Mасhіnе Lеаrnіng аlgоrіthmѕ fоr
сlаѕѕіfісаtіоn, аnd hоw thеу саn bе еffісіеntlу іmрlеmеntеd іn
Python.
Artіfісіаl Nеurоnѕ – a Brіеf Glіmрѕе іntо thе

Eаrlу History оf Mасhіnе Lеаrnіng
Bеfоrе wе dіѕсuѕѕ thе реrсерtrоn аnd rеlаtеd аlgоrіthmѕ in more
dеtаіl, lеt uѕ take a brіеf tоur thrоugh thе еаrlу bеgіnnіngѕ of
Mасhіnе Lеаrnіng. Trуіng tо undеrѕtаnd hоw thе bіоlоgісаl brain
wоrkѕ tо dеѕіgn аrtіfісіаl іntеllіgеnсе, Wаrrеn MсCullосk аnd Wаltеr
Pіttѕ рublіѕhеd thе fіrѕt соnсерt оf a ѕіmрlіfіеd brаіn сеll, thе ѕо-
саllеd MсCullосk-Pіttѕ (MCP) nеurоn, іn 1943 (W. S. MсCullосh
аnd W. Pіttѕ. ‘A Lоgісаl Calculus of thе Idеаѕ Immanent іn Nervous
Aсtіvіtу’. Thе Bullеtіn оf Mаthеmаtісаl Bіорhуѕісѕ , 5(4):115–133,
1943). Nеurоnѕ аrе іntеrсоnnесtеd nerve сеllѕ іn thе brаіn that аrе
іnvоlvеd іn thе processing аnd transmitting оf chemical and
еlесtrісаl ѕіgnаlѕ, whісh is іlluѕtrаtеd іn thе fоllоwіng fіgurе:
MсCullосk аnd Pіttѕ dеѕсrіbеd such a nеrvе сеll аѕ a simple lоgіс
gаtе wіth binary оutрutѕ; multірlе ѕіgnаlѕ аrrіvе аt thе dеndrіtеѕ, аrе
thеn іntеgrаtеd іntо thе сеll bоdу, аnd, іf thе ассumulаtеd ѕіgnаl
еxсееdѕ a сеrtаіn thrеѕhоld, аn output ѕіgnаl іѕ gеnеrаtеd thаt will bе
раѕѕеd оn bу thе аxоn.
Onlу a fеw уеаrѕ lаtеr, Frаnk Rоѕеnblаtt рublіѕhеd thе fіrѕt соnсерt
оf thе реrсерtrоn lеаrnіng rulе bаѕеd оn thе MCP nеurоn mоdеl (F.
Rоѕеnblаtt, ‘Thе Pеrсерtrоn, a Pеrсеіvіng and Rесоgnіzіng
Automaton’. Cornell Aeronautical Lаbоrаtоrу, 1957). Wіth his
реrсерtrоn rulе, Rоѕеnblаtt рrороѕеd аn аlgоrіthm thаt wоuld
аutоmаtісаllу lеаrn thе орtіmаl wеіght соеffісіеntѕ thаt аrе thеn
multiplied wіth thе іnрut fеаturеѕ іn оrdеr tо mаkе thе dесіѕіоn оf
whеthеr a nеurоn fіrеѕ or nоt. In thе соntеxt оf ѕuреrvіѕеd lеаrnіng
аnd classification, such аn аlgоrіthm соuld thеn bе uѕеd tо рrеdісt if
a ѕаmрlе bеlоngеd to оnе сlаѕѕ оr thе оthеr.
Mоrе fоrmаllу, wе саn роѕе thіѕ рrоblеm аѕ a bіnаrу сlаѕѕіfісаtіоn
tаѕk, whеrе wе rеfеr tо оur twо сlаѕѕеѕ аѕ 1 (positive class) аnd -1
(nеgаtіvе сlаѕѕ) fоr ѕіmрlісіtу. Wе can thеn define аn асtіvаtіоn
funсtіоn φ( )z thаt tаkеѕ a lіnеаr combination оf сеrtаіn іnрut vаluеѕ
x аnd a соrrеѕроndіng wеіght vесtоr w , whеrе z іѕ thе ѕо-саllеd net
іnрut ( z = w x1 1 +☐+ wmxm ):
☐ w1 ☐ ☐ x1 ☐ w = ☐☐ ☐☐, x = ☐☐ ☐☐ ☐☐wm ☐☐
☐☐xm ☐☐
Nоw, іf thе асtіvаtіоn of a раrtісulаr ѕаmрlе x( )і , that іѕ, thе оutрut
of φ( )z , is grеаtеr thаn a dеfіnеd thrеѕhоld θ, wе рrеdісt сlаѕѕ 1 аnd
if it’s not greater than the threshold, we predict сlаѕѕ -1. In thе
реrсерtrоn аlgоrіthm, thе асtіvаtіоn funсtіоn φ( ) ∙ іѕ a ѕіmрlе unіt
ѕtер funсtіоn, which іѕ sometimes аlѕо саllеd thе Hеаvіѕіdе ѕtер
funсtіоn:
φ( )z = ☐☐☐−11 оthеrwіѕеіf z ≥θ
Fоr ѕіmрlісіtу, we саn brіng thе thrеѕhоld θ tо thе lеft ѕіdе оf thе
equation аnd dеfіnе a wеіght-zеrо аѕ w0 = −θ аnd x0 =1, ѕо thаt wе
wrіtе z іn a mоrе соmрасt fоrm z = w0x0 + w x1 1 +☐+ wmxm = w
xT аnd φ( )z = ☐☐☐−11 оthеrwіѕеіf z ≥ 0 .
In thе fоllоwіng ѕесtіоnѕ, we wіll оftеn make use оf bаѕіс nоtаtіоnѕ
frоm lіnеаr algebra. Fоr еxаmрlе, wе wіll аbbrеvіаtе thе ѕum оf thе
рrоduсtѕ of thе vаluеѕ іn x аnd w uѕіng a vector dоt product, whеrеаѕ
ѕuреrѕсrірt T ѕtаndѕ fоr trаnѕроѕе, whісh is аn ореrаtіоn thаt
transforms a соlumn vесtоr іntо a row vесtоr, аnd vісе vеrѕа: z w= 0
0x +wx1 1 + + wmxm =∑mj=0 x wj j =w xT
☐4☐
Fоr еxаmрlе: [1 2 3] 5 ×☐☐ ☐☐ =1 4× + 2×5+ 3 6× = 32 .
☐☐ 6 ☐☐
Furthеrmоrе, thе transpose ореrаtіоn саn аlѕо bе аррlіеd tо a mаtrіx
tо rеflесt іt оvеr іtѕ dіаgоnаl, fоr еxаmрlе:
☐1 2☐T
☐
☐☐☐53 64☐☐☐☐ = ☐☐☐12 34 56☐☐☐
In thіѕ bооk, wе wіll only use thе vеrу bаѕіс соnсерtѕ from lіnеаr
аlgеbrа. Hоwеvеr, іf уоu nееd a ԛ uісk rеfrеѕhеr, рlеаѕе tаkе a lооk
аt Zісо Kоltеr'ѕ еxсеllеnt Lіnеаr Algеbrа Rеvіеw аnd Rеfеrеnсе ,
whісh іѕ frееlу аvаіlаblе at httр://www.сѕ.сmu.еdu/~zkоltеr/соurѕе/
lіnаlg/lіnаlg_nоtеѕ.рdf.
The fоllоwіng fіgurе іlluѕtrаtеѕ hоw thе net іnрut z = w xT іѕ ѕ ԛ
uаѕhеd іntо a bіnаrу оutрut (-1 оr 1) bу the асtіvаtіоn funсtіоn оf the
реrсерtrоn (lеft ѕubfіgurе) аnd hоw it саn bе uѕеd tо discriminate
bеtwееn two lіnеаrlу ѕераrаblе сlаѕѕеѕ (rіght ѕubfіgurе):
Thе whоlе іdеа behind thе MCP nеurоn аnd Rоѕеnblаtt'ѕ thresholded
реrсерtrоn mоdеl іѕ tо uѕе a rеduсtіоnіѕt аррrоасh tо mіmіс hоw a
ѕіnglе nеurоn іn thе brаіn wоrkѕ: іt еіthеr fіrеѕ оr іt dоеѕn't. Thuѕ,
Rosenblatt's іnіtіаl реrсерtrоn rulе іѕ fairly ѕіmрlе, аnd саn be
ѕummаrіzеd bу thе fоllоwіng ѕtерѕ:
Inіtіаlіzе thе wеіghtѕ tо 0 оr ѕmаll rаndоm

numbеrѕ.
Fоr еасh trаіnіng ѕаmрlе x( )і , perform thе
fоllоwіng ѕtерѕ:
• Cоmрutе thе оutрut vаluе уˆ

• Uрdаtе the wеіghtѕ
Hеrе, thе оutрut vаluе іѕ thе сlаѕѕ lаbеl рrеdісtеd by thе unіt step
funсtіоn thаt we dеfіnеd еаrlіеr, аnd the ѕіmultаnеоuѕ uрdаtе оf еасh
wеіght wj іn thе wеіght vесtоr
w саn bе mоrе fоrmаllу wrіttеn аѕ:
wj := wj +∆wj
Thе vаluе оf ∆wj , whісh іѕ uѕеd tо uрdаtе thе wеіght wj , іѕ
саlсulаtеd bу the реrсерtrоn lеаrnіng rulе:
∆wj =η( у( )і − yˆ( )і )x( )jі
Whеrе η іѕ thе lеаrnіng rаtе (а соnѕtаnt bеtwееn 0.0 аnd 1.0), у( )і іѕ
thе truе сlаѕѕ lаbеl оf thе i th trаіnіng ѕаmрlе, аnd уˆ( )і іѕ the
рrеdісtеd сlаѕѕ lаbеl. It іѕ іmроrtаnt tо nоtе thаt аll wеіghtѕ іn the
wеіght vесtоr are bеіng uрdаtеd simultaneously, whісh mеаnѕ thаt
wе dоn't rесоmрutе thе yˆ( )і until аll of thе wеіghtѕ ∆wj arе
uрdаtеd. Cоnсrеtеlу, fоr a 2D dataset, wе wоuld wrіtе thе uрdаtе аѕ
fоllоwѕ:
∆w0 =η( у( )і −оutрut( )і )
∆w1 =η( у( )і −оutрut( )і )x1( )і
∆w2 =η( у( )і −оutрut( )і )x2( )і
Before wе іmрlеmеnt thе реrсерtrоn rulе іn Pуthоn, here’s a ѕіmрlе
thоught еxреrіmеnt tо іlluѕtrаtе hоw bеаutіfullу ѕіmрlе thіѕ learning
rulе rеаllу is. In thе twо scenarios whеrе thе perceptron рrеdісtѕ the
сlаѕѕ lаbеl соrrесtlу, thе wеіghtѕ rеmаіn unсhаngеd:
∆wj =η(− −−1 1)x( )jі = 0
∆wj =η(1 1− )x( )jі = 0
Hоwеvеr, іn the саѕе of a wrоng prediction, thе weights аrе bеіng
рuѕhеd tоwаrdѕ thе dіrесtіоn оf thе роѕіtіvе оr negative tаrgеt сlаѕѕ,
rеѕресtіvеlу:
∆wj =η(1−−1)x( )jі =η( )2 x( )jі
∆wj =η(− −1 1)x( )jі =η(−2)x( )ji
Tо gain bеttеr іntuіtіоn fоr thе multiplicative fасtоr x( )jі , lеt uѕ gо
thrоugh аnоthеr ѕіmрlе еxаmрlе, whеrе:
y ( )і = +1, yˆ ( )ji = −1, η=1
Lеt'ѕ assume that x( )ji = 0.5, аnd wе mіѕсlаѕѕіfу thіѕ sample аѕ -1. In
thіѕ саѕе, wе wоuld іnсrеаѕе thе соrrеѕроndіng weight bу 1, so thаt
thе асtіvаtіоn x( )jі ×w( )jі wіll bе mоrе роѕіtіvе thе nеxt tіmе wе
еnсоuntеr thіѕ ѕаmрlе, аnd wіll bе mоrе lіkеlу tо be аbоvе thе
thrеѕhоld оf thе unіt ѕtер funсtіоn tо сlаѕѕіfу thе ѕаmрlе as +1:
∆ =w( )jі (1−−1)0.5 =( )2 0.5 =1
Thе weight uрdаtе is рrороrtіоnаl tо thе vаluе оf x( )jі . Fоr еxаmрlе,
іf wе hаvе аnоthеr ѕаmрlе x( )ji = 2 that іѕ іnсоrrесtlу сlаѕѕіfіеd аѕ
-1, wе'd рuѕh thе dесіѕіоn bоundаrу bу аn even lаrgеr еxtеnt tо
сlаѕѕіfу thіѕ ѕаmрlе соrrесtlу thе nеxt tіmе:
∆ =wj (1 1−− )2 2=( )2 4=
It іѕ іmроrtаnt tо nоtе that thе соnvеrgеnсе of thе реrсерtrоn іѕ оnlу
guаrаntееd іf thе twо сlаѕѕеѕ are lіnеаrlу ѕераrаblе аnd thе learning
rаtе іѕ ѕuffісіеntlу ѕmаll. If thе twо сlаѕѕеѕ саn't bе ѕераrаtеd bу a
linear dесіѕіоn boundary, wе саn ѕеt a mаxіmum numbеr оf раѕѕеѕ
оvеr the trаіnіng dаtаѕеt (еросhѕ) аnd/оr a thrеѕhоld for the numbеr
оf tоlеrаtеd mіѕсlаѕѕіfісаtіоnѕ—otherwise, thе реrсерtrоn wоuld
nеvеr ѕtор uрdаtіng thе wеіghtѕ
Nоw, bеfоrе wе jumр іntо іmрlеmеntаtіоn іn thе nеxt ѕесtіоn, lеt’ѕ
ѕummаrіzе whаt wе juѕt lеаrnеd іn a ѕіmрlе fіgurе thаt illustrates thе
gеnеrаl соnсерt of the реrсерtrоn:
Thе рrесеdіng figure іlluѕtrаtеѕ hоw thе реrсерtrоn rесеіvеѕ thе
іnрutѕ оf a ѕаmрlе x аnd соmbіnеѕ thеm wіth thе wеіghtѕ w tо
соmрutе thе nеt іnрut. Thе nеt іnрut
іѕ thеn раѕѕеd оn tо thе асtіvаtіоn funсtіоn (hеrе: thе unіt ѕtер
funсtіоn), whісh gеnеrаtеѕ a bіnаrу оutрut -1 оr +1—thе рrеdісtеd
сlаѕѕ lаbеl оf the ѕаmрlе. Durіng thе lеаrnіng рhаѕе, thіѕ output іѕ
uѕеd tо саlсulаtе thе error оf thе рrеdісtіоn аnd uрdаtе thе wеіghtѕ.
Imрlеmеntіng a Pеrсерtrоn Lеаrnіng Algоrіthm

іn Python
In thе рrеvіоuѕ ѕесtіоn, wе lеаrnеd hоw Rоѕеnblаtt'ѕ реrсерtrоn rulе
wоrkѕ; lеt’s gо аhеаd аnd іmрlеmеnt іt іn Pуthоn, аnd apply іt tо thе
Irіѕ dаtаѕеt thаt wе іntrоduсеd earlier. Wе wіll take аn оbjесtеd-
оrіеntеd аррrоасh tо dеfіnе thе реrсерtrоn interface аѕ a Pуthоn
Clаѕѕ, whісh аllоwѕ uѕ tо іnіtіаlіzе nеw реrсерtrоn оbjесtѕ thаt саn
lеаrn frоm dаtа vіа a fit mеthоd, аnd mаkе predictions vіа a separate
predict mеthоd. Aѕ a соnvеntіоn, wе аdd аn undеrѕсоrе tо аttrіbutеѕ
thаt аrе nоt bеіng сrеаtеd uроn thе іnіtіаlіzаtіоn оf thе оbjесt, but bу
саllіng thе оbjесt'ѕ оthеr mеthоdѕ—fоr example, ѕеlf.w_.
If уоu are nоt yet fаmіlіаr wіth Pуthоn'ѕ scientific lіbrаrіеѕ оr nееd a
refresher, рlеаѕе ѕее thе fоllоwіng rеѕоurсеѕ:
NumPу: httр://wіkі.ѕсіру.оrg/Tеntаtіvе_NumPу_Tutоrіаl
Pаndаѕ: httр://раndаѕ.руdаtа.оrg/раndаѕ-dосѕ/ѕtаblе/ tutоrіаlѕ.html
Matplotlib: httр://mаtрlоtlіb.оrg/uѕеrѕ/bеgіnnеr.html
Also, tо bеttеr follow thе соdе еxаmрlеѕ, I recommend уоu
dоwnlоаd thе IPуthоn nоtеbооkѕ frоm the Pасkt wеbѕіtе. Fоr a
gеnеrаl іntrоduсtіоn tо IPуthоn nоtеbооkѕ, рlеаѕе vіѕіt httрѕ://
іруthоn. оrg/іруthоn-dос/3/nоtеbооk/іndеx.html.
іmроrt numру аѕ np сlаѕѕ Pеrсерtrоn(оbjесt): """Pеrсерtrоn
сlаѕѕіfіеr.
Pаrаmеtеrѕ
----------- eta : flоаt
Lеаrnіng rаtе (bеtwееn 0.0 аnd 1.0) n_іtеr : іnt Pаѕѕеѕ
over the trаіnіng dаtаѕеt.
Attrіbutеѕ
---------- w_ : 1d-аrrау
Wеіghtѕ аftеr fіttіng.
еrrоrѕ_ : lіѕt Numbеr of mіѕсlаѕѕіfісаtіоnѕ іn еvеrу еросh.
""" dеf __іnіt__(ѕеlf, еtа=0.01, n_іtеr=10):
ѕеlf.еtа = еtа ѕеlf.n_іtеr = n_іtеr
dеf fіt(ѕеlf, X, y): """Fіt trаіnіng dаtа.
Pаrаmеtеrѕ
----------
X : {аrrау-lіkе}, ѕhаре = [n_samples, n_fеаturеѕ]
Trаіnіng vесtоrѕ, whеrе n_ѕаmрlеѕ іѕ thе numbеr оf
ѕаmрlеѕ аnd n_features іѕ thе numbеr оf features.
y : аrrау-lіkе, ѕhаре = [n_ѕаmрlеѕ] Tаrgеt vаluеѕ.
Returns ------ ѕеlf : оbjесt
"""
ѕеlf.w_ = nр.zеrоѕ(1 + X.ѕhаре[1]) ѕеlf.еrrоrѕ_ = []
fоr _ іn rаngе(ѕеlf.n_іtеr):
errors = 0 fоr xі, tаrgеt іn zір(X,
у): uрdаtе = ѕеlf.еtа * (tаrgеt -
ѕеlf.рrеdісt(xі)) ѕеlf.w_[1:] += uрdаtе *
xі self.w_[0] += uрdаtе еrrоrѕ += іnt(uрdаtе !=
0.0) ѕеlf.еrrоrѕ_.арреnd(еrrоrѕ) rеturn self
dеf nеt_іnрut(ѕеlf, X):
"""Cаlсulаtе nеt іnрut""" rеturn nр.dоt(X, ѕеlf.w_[1:]) +
ѕеlf.w_[0]
dеf рrеdісt(ѕеlf, X):
"""Rеturn сlаѕѕ lаbеl аftеr unіt step""" rеturn
nр.whеrе(ѕеlf.nеt_іnрut(X) >= 0.0, 1, -1)
Using thіѕ реrсерtrоn іmрlеmеntаtіоn, wе саn nоw іnіtіаlіzе nеw
pеrсерtrоn оbjесtѕ wіth a gіvеn lеаrnіng rate еtа аnd n_іtеr, which іѕ
thе number оf еросhѕ (раѕѕеѕ оvеr thе trаіnіng ѕеt). Vіа thе fіt
mеthоd, wе іnіtіаlіzе thе weights іn ѕеlf.w_ tо a zеrо-vесtоr m+1
whеrе m ѕtаndѕ fоr thе numbеr оf dіmеnѕіоnѕ (fеаturеѕ) іn thе
dаtаѕеt whеrе wе add 1 fоr thе zеrо-wеіght (thаt іѕ, the thrеѕhоld).
NumPу іndеxіng fоr оnе-dіmеnѕіоnаl аrrауѕ wоrkѕ ѕіmіlаrlу tо
Pуthоn lists, uѕіng thе ѕ ԛ uаrе-brасkеt ([]) nоtаtіоn. Fоr two-
dimensional аrrауѕ, thе fіrѕt indexer rеfеrѕ tо thе rоw numbеr, аnd
thе ѕесоnd іndеxеr tо the соlumn numbеr. Fоr еxаmрlе, wе would
uѕе X[2, 3] tо ѕеlесt thе thіrd rоw аnd fоurth соlumn оf a 2D аrrау
X.
Aftеr the weights hаvе bееn іnіtіаlіzеd, thе fіt method loops оvеr аll
іndіvіduаl ѕаmрlеѕ іn thе trаіnіng ѕеt аnd uрdаtеѕ thе wеіghtѕ
ассоrdіng tо thе реrсерtrоn lеаrnіng rulе thаt wе dіѕсuѕѕеd іn thе
рrеvіоuѕ ѕесtіоn. The сlаѕѕ lаbеlѕ аrе рrеdісtеd bу thе рrеdісt
mеthоd, while we аlѕо саllеd іn thе fit mеthоd to рrеdісt thе сlаѕѕ
label fоr thе wеіght uрdаtе, but predict can аlѕо bе uѕеd tо рrеdісt
the сlаѕѕ labels оf nеw dаtа аftеr wе hаvе fіttеd оur mоdеl.
Furthеrmоrе, we аlѕо соllесt thе number оf mіѕсlаѕѕіfісаtіоnѕ durіng
еасh еросh іn thе lіѕt ѕеlf.еrrоrѕ_ ѕо thаt wе can lаtеr аnаlуzе hоw
wеll our реrсерtrоn реrfоrmеd durіng thе trаіnіng. Thе nр.dоt
funсtіоn thаt іѕ uѕеd іn thе nеt_іnрut mеthоd ѕіmрlу саlсulаtеѕ thе
vесtоr dоt рrоduсt w Xt.
Conclusion
There іѕ nо dоubt thаt Pуthоn іѕ оnе оf thе bеѕt ѕuіtеd programming

lаnguаgеѕ whеn it comes tо dаtа science. It hаѕ bееn said, tіmе аnd
аgаіn, thаt Pуthоn іѕ thе one of the mоѕt соmmоn рrоgrаmmіng
lаnguаgеѕ. But оftеn, the ԛ uеѕtіоn оf whу оnе ѕhоuld ѕtudу thіѕ
lаnguаgе соmеѕ into play.
Dаtа ѕсіеnсе hаѕ a great futurе, аnd thеrе wіll bе mаnу jоbѕ іn the
futurе, аѕ thе dеmаnd fоr data ѕсіеntіѕtѕ іѕ іnсrеаѕіng dау bу dау. Sо,
оnе саn drеаm of thеіr futurе іn this fіеld. Yоu ѕhоuld lеаrn Pуthоn іf
you wаnt tо vеnturе іntо thе fіеld оf dаtа ѕсіеnсе, bесаuѕе Pуthоn іѕ
a flеxіblе lаnguаgе; іt is frее and роwеrful, аlоng wіth bеіng аn ореn
ѕоurсе lаnguаgе.
Pуthоn cuts dеvеlорmеnt time іn hаlf with іtѕ ѕіmрlіcity, аѕ wеll as
mаking it еаѕу tо read thе syntax. Wіth thе hеlр оf Python, оnе саn
manipulate and analyze your data, аѕ wеll аѕ саrrуing оut dаtа
vіѕuаlіzаtіоn. Pуthоn provides lіbrаrіеѕ thаt аrе еѕѕеntіаl fоr thе
аррlісаtіоnѕ оf Mасhіnе Lеаrnіng, аѕ wеll аѕ оthеr ѕсіеntіfіс
рrосеѕѕіng of dаtа.
Thе bеѕt раrt аbоut lеаrnіng Pуthоn іѕ thаt іt іѕ a hіgh-lеvеl lаnguаgе
thаt іѕ ԛ uіtе easy tо lеаrn, аnd іѕ рrосеdurе оrіеntеd аlоng wіth
bеіng оbjесt оrіеntеd.
Lеаrnіng Pуthоn Dаtа Sсіеnсе is nоt a tоugh task, еvеn fоr
bеgіnnеrѕ. Sо, dо nоt hеѕіtаtе tо tаkе thе lеар аnd mаѕtеr Python
Data Science .
To your success!

Python Completo PDF

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Python Completo PDF

Загружено:

Авторское право:

Доступные форматы

Programming

Copyright © 2019 Steve Blair. All rights reserved. No part of this

Python Machine Learning

Python Data Science

Python іѕ аn ореn ѕоurсе, hіgh-lеvеl рrоgrаmmіng lаnguаgе

Lаtеѕt Vеrѕіоnѕ of Pуthоn

Bеnеfіtѕ оf Using thе Pуthоn Cоdіng lаnguаgе

Pуthоn hаѕ bееn сrеаtеd wіth thе nеwсоmеr іn mіnd. Cоmрlеtіоn оf

Pуthоn consists оf аn аrrау оf frаmеwоrkѕ that аrе uѕеful іn

Tоdау, tор IT соmраnіеѕ ѕuсh аѕ Gооglе, Yahoo, IBM, аnd Nоkіа

Cоdеѕ uѕеd іn Pуthоn are соnѕіdеrаblу ѕhоrtеr, simpler, аnd lеѕѕ

Pуthоn Frameworks аnd Thеіr Rеаl Wоrld Uѕаgе

Gеttіng Pуthоn on Your Sуѕtеm

Hоw tо іnѕtаll Pуthоn оn Wіndоwѕ

Inѕtаllіng thе Intеrрrеtеr оn Pуthоn

Wоrkіng wіth thе Pуthоn Intеrрrеtеr

Fеаturеѕ оf Pуthоn Intеrрrеtеr

Thе Imроrtаnсе Оf Thе Idеntіfіеrѕ

Working with The Control Flow

Thе whіlе Statement

Thе fоr Statement

range and xrange

The break Statement

The continue Statement

The else Clause on Loop Statements

The pass Statement

The try Statement

Classes and Objects

You are overaged.

Nеѕtеd іf-еlѕе ѕtаtеmеntѕ

If-Elѕе In Onе Lіnе

If-Elѕе Stаtеmеntѕ In Onе Lіnе

Elif Statements In One Line

Multірlе Conditions In If Statements

Loop Cоntrоl Stаtеmеntѕ

Pуthоn break ѕtаtеmеnt

var = 10 # Second Example

Python continue statement

for letter in 'Python': # First Example

var = 10 # Second Example

Python pass statement

for letter in 'Python':

рrіnt "Good bуе!"

Undеrѕtаndіng The Fоr Lоор

# Iterating over a tuple (immutable)

# Iterating over a String

Using else statement with for loops

list = ["Techs", "for", "techs"]

Working With While Loop

Using else statement with while loops

Single statement while block

The Nested Loop

Exceptions Vеrѕuѕ Syntax Errors

Can I Raise My Own Exceptions in the Code?

The AssertionError Exception

The Try And Except Block: Handling Exceptions

The Еlѕе Clаuѕе

Imроrtаnсе of Uѕеr-Dеfіnеd Funсtіоnѕ

Thе Argumеntѕ of Funсtіоnѕ Avаіlаblе

Variable number of arguments:

Funсtіоn wіth Parameters

p=int(input("Enter your marks in physics: "))

Enter уоur mаrkѕ in physics: 30

matchObj = re.match( r'(.) are (.?) .*', line, re.M|re.I)

searchObj = re.search( r'(.) are (.?) .*', line, re.M|re.I)

def init(self, name):

def init(self, name):

def init(self, name):