IAML Blog


Nella prima puntata di questa serie abbiamo visto come funziona il calcolo delle derivate nei software di deep learning, e le differenze tra differenziazione simbolica, numerica, ed automatica. In questa seconda parte, passiamo ad una implementazione didattica in puro Python di un meccanismo di reverse-mode autodiff simile nell'interfaccia a quello reso celebre da PyTorch.


Il calcolo automatico delle derivate è in assoluto "il cuore" di qualsiasi framework di deep learning. Esso permette di rendere completamente automatico (ed efficiente) uno dei meccanismi più complessi nell'uso di reti neurali, la back-propagation. Negli ultimi anni abbiamo visto la diffusione di strumenti di differenziazione automatica (autodiff) sempre più complessi e modulari, di pari passo con i progressi e successi del deep learning. Allo stesso tempo, nonostante la sua importanza, l'autodiff è un tema relativa…

Continue Reading...


Negli ultimi anni, il graph machine learning ha riscosso grande interesse nella communità di ricerca, grazie alla sua capacità di modellare nativamente ogni tipo di informazione espressa sotto forma di un grafo (solo per citare alcuni esempi: amicizie ed interessi sui social network, reti di sensori, citazioni fra articoli, struttura di molecole e proteine...). Tantissimi gli approcci al tema, dai graph kernel alle "italianissime"

Continue Reading...


Il sistema nervoso umano è una struttura incredibilmente complessa. In ogni istante, oltre centomila chilometri di terminazioni nervose connettono ciascuna parte del vostro corpo con il midollo spinale ed il cervello. Per ogni movimento che fate, è attraverso questa enorme "rete" che vengono trasmessi gli impulsi elettrici che coordinano e gesticono l'attività dei muscoli. E ciascuno di questi commandi ha a su…

Continue Reading...


PyTorch è un framework di deep learning, sviluppato principalmente dal Facebook AI Research (FAIR) group, che ha guadagnato una enorme popolarità fra gli sviluppatori grazie alla combinazione di semplicità ed efficienza. Questi tutorial sono dedicati ad esplorare la libreria, partendo dai concetti più semplici fino alla definizione di modelli estremamente sofisticati.

In questa seconda parte, introduciamo alcuni elementi avanzati della libreria per costruire ed ottimizzare reti neurali e ges…

Continue Reading...