Neural style transfer, NST . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
CNN as Fixed Feature Extractor . . . . . . . . . . . . . . . . . . . . . . . . 216
Fine-tuning CNNs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
Neural style transfer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
DEEP LEARNING 227
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
Cross Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
Convolution and correlation . . . . . . . . . . . . . . . . . . . . . . . . . . 234
Similarity measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
Perceptrons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
Activation functions (rectification) . . . . . . . . . . . . . . . . . . . . . . 253
Performance Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
NN Layers, topologies, blocks . . . . . . . . . . . . . . . . . . . . . . . . . 263
Training, hyperparameters . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
Optimization, Loss . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
Cross Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
Convolution and correlation . . . . . . . . . . . . . . . . . . . . . . . . . . 291
Similarity measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
Perceptrons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
Activation functions (rectification) . . . . . . . . . . . . . . . . . . . . . . 306
Performance Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
NN Layers, topologies, blocks . . . . . . . . . . . . . . . . . . . . . . . . . 318
Training, hyperparameters . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
Optimization, Loss . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331
V Practice Exam 339
JOB INTERVIEW MOCK EXAM 341
Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
Perceptrons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
CNN layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343