Clever Geek Handbook

Schulung zu tabellarischen Daten. TABNet. Teil 1

Wir wollten die Übersetzung eines interessanten Artikels über das Lernen mit neuronalen Netzen auf tabellarischen Daten präsentieren. Der zweite Teil ist hier.





Kurz

Einführung von TabNet, einer neuen leistungsstarken kanonischen Deep-Learning-Architektur, die auf Tabellendaten basiert. TabNet verwendet sequentielle Auswertungen der Auswahl der Features, die an jedem Entscheidungspunkt verwendet werden sollen. Dies stellt die Interpretierbarkeit und Effizienz des Lernprozesses sicher, da die Lernfähigkeit durch die relevanteren Funktionen bestimmt wird (die nach den berücksichtigten Schätzungen der Wahl der Lösung am angemessensten sind). Es wurde gezeigt, dass TabNet andere neuronale Netzwerk- und Entscheidungsbaumarchitekturen bei der Interpretation ihrer Leistungsauswirkungsattribute in einer Vielzahl von tabellarischen skalaren Datensätzen übertrifft, was zum Verständnis des Verhaltens des Gesamtmodells führt. Zum ersten Mal, soweit wir wissen,Wir demonstrieren selbstüberwachtes Lernen für tabellarische Daten mit einer signifikanten Erhöhung der Lernrate und einem ausreichend großen Anfangsdatensatz.









1. Einleitung

Deep Neural Networks (GNNs) haben ihren Erfolg bei der Arbeit mit Bildern [21, 50], Text [9, 34] und Ton [1, 56] gezeigt. Für diese Datentypen ist der Hauptentwicklungsfaktor die Verfügbarkeit kanonischer Architekturen, die es ermöglichen, die Anfangssequenzen effizient in Trainingssequenzen zu codieren, um eine hohe Leistung bei neuen Datensätzen und Aufgaben zu gewährleisten, die mit ihrer Hilfe mit minimalen Ressourcen gelöst werden. Beispielsweise sollten bei der Bildinterpretation Varianten von verbleibenden Faltungsnetzwerken (insbesondere ResNet [21]) eine einigermaßen gute Leistung liefern, wenn mit neuen Datensätzen für Bilder oder verwandten visuellen Erkennungsproblemen (z. B. Klassifizierung, Taxonomie) gearbeitet wird. Der einzige Datentyp, bei dem der Erfolg der kanonischen GNS-Architektur noch nicht erreicht wurde, sind tabellarische Daten. Obwohl,Da dies der häufigste Datentyp in KI-Implementierungen ist [8], ist das tiefe Lernen für tabellarische Daten nach wie vor wenig bekannt, und Varianten von Ensemble-Entscheidungsbäumen dominieren nach wie vor die meisten Anwendungen [28]. Warum ist das so? Erstens, weil baumbasierte Ansätze bestimmte Vorteile haben, die sie populär machen: (i) Sie sind ausreichend repräsentativ (und daher häufig hocheffizient) für Lösungsverteiler mit Fuzzy-Hyperebenenverteilungsgrenzen für tabellarische Daten; (ii) sie werden gut interpretiert (zum Beispiel durch Verfolgung von Knotenentscheidungen) und es gibt wirksame Methoden zur nachträglichen Erklärung der Form ihres Ensembles, was [36] eine wichtige Aufgabe in vielen realen Anwendungen ist (zum Beispiel bei Finanzdienstleistungen, bei denen das Vertrauen in Maßnahmen mit hohem Risiko besteht ist kritisch);(iii) sie lernen schnell. Zweitens sind die zuvor vorgeschlagenen GNS-Architekturen nicht an tabellarische Daten anpassbar: Herkömmliche GNS auf Faltungsschichten oder mehrschichtigen Perzeptronen (MLP) sind häufig stark parametrisiert (durch die Anzahl der Parameter und durch die Komplexität ihrer Identifizierung) - das Fehlen einer entsprechenden induktiven Vorspannung führt dazu, dass dies nicht der Fall ist kann die optimale Lösung für die Vielzahl der tabellarischen Lösungen finden [17]. Warum Deep Learning für tabellarische Daten studieren? Ein offensichtlicher Grund ist, dass wie in anderen Bereichen von GNS-basierten Architekturen Leistungssteigerungen zu erwarten sind, insbesondere bei großen Datenmengen [22]. Im Gegensatz zum (hierarchischen) Baumlernen, bei dem keine Rückausbreitung von Datenfehlern verwendet wird, um ein effektives Lernen aus fehlerhaften Signalen zu fördern,GNNs bieten End-to-End-Lernstrategien für Gradientenabstieg für Tabellendaten mit vielen Vorteilen, die in vielen verschiedenen Bereichen gezeigt werden. Sie ermöglichen: (i) effizientes Codieren vieler Datentypen, wie z. B. Bilder in Form von Tabellendaten; (ii) Erleichterung oder Beseitigung der Notwendigkeit der Merkmalsentwicklung, die derzeit ein Schlüsselaspekt der Baumlernmethoden unter Verwendung tabellarischer Daten ist; (iii) Trainieren des Streaming von Daten - Das Training auf einer Baumstruktur erfordert globale Statistiken zur Auswahl von Knotenpunkten, und einfache Modifikationen wie in [4] ergeben normalerweise eine geringere Genauigkeit als das Training für die gesamte Datenstichprobe. Im Gegensatz dazu weisen STS ein größeres Potenzial für lebenslanges Lernen auf [44]; (iv) in End-to-End-Präsentationsmodellen untersuchen,Ermöglichen wertvoller neuer Szenarien für neue Anwendungen, einschließlich Anpassung an die Bereiche der effizienten Nutzung von Daten [17], der generativen Modellierung [46] und des Lernens von Teillehrern [11].





, , . , ? - TabNet, « » ( ) ( ). , TabNet : . , - , . , : (1) , TabNet ; (2) TabNet , , , , (. . 1); , , , , [6] [61], Tab-Net .









1. TabNet [14]. , . TabNet , . . , , , .
1. TabNet [14]. , . TabNet , . . , , , .

(3) , : (a) TabNet ; (b) TabNet : , , , .









2. . , , , . .
2. . , , , . .





(4) , , (. . 2).





.









2.

: , , () . , LASSO [20], , , . , [6] , [61] «-» . , TabNet , () , .





: . [18]. , (). – [23], . XGBoost [7] LightGBM [30] - , (Data Science). , , , .





DNN : , [26], . () [33, 58] . , . [60] , . [31] -, , , . [53] - « » (, ), . TabNet , .





: - , [3, 35] . , .





: , , [47]. [13] [55] - .









3. () (). . , ( , ) ReLU , . . C1 C2, - Softmax ( ).
3. () (). . , ( , ) ReLU , . . C1 C2, - Softmax ( ).





3. TABNET

. (. . 3 ). . , () . TabNet - . , , , :





(i) , ; (ii) , , ; (iii) ; (iv) .









4. ) TabNet , , . , , . , . (b) TabNet, . (c) – 4- , 2 2 . (, Fully-Connected) (Batch Normalization) (Gted Linear Unit). (d) – , , . sparsemax [37] .
4. ) TabNet , , . , , . , . (b) TabNet, . (c) – 4- , 2 2 . (, Fully-Connected) (Batch Normalization) (Gted Linear Unit). (d) – , , . sparsemax [37] .





. 4 TabNet . . . , (). D-





f \ in R ^ {(B × D)}





, B- . TabNet N .





i- (i - 1)- , , . (, [25]) [40] .





, . ( ) , . .





:





M [i] ∈ R ^ {(B × D)}

. , , , . , M[i] · f. (. . 4) , , a[i − 1]:





M [i] = Sparsemax (P [i - 1] · h_i (a [i - 1])) \ (1)

Sparsemax [37] , .





, 1





\ sum_ {j = 1} ^ {D} M [i] _b, _j = 1

h[i] - , . 4., FC, BN, P[i] - , , :





P [i] = \ prod_ {j = 1} ^ {i = 1} (\ gamma - M [j]), \ (2)

γ - : γ = 1, γ, . P[0] ,





1 ^ {B × D}

- . ( ), P[0] , . [19]:





L_ {sparse} = \ sum_ {i = 1} ^ {N_ {Schritte}} \ sum_ {b = 1} ^ {B} \ sum_ {j = 1} ^ {D} \ frac {-M_ {b, j } [i]} {N_ {Schritte} * B} Protokoll (M_ {b, j} {[i]} + \ epsilon)

ϵ- . λ . , .





: (. . 4) ,





[d [i], a [i]] = fi (M [i] · f), wobei \ d [i] ∈ R ^ {B × N_d} \ und \ a [i] ∈ R ^ {B × N_a }.

, ( ), , .





. 4 . FC BN (GLU) [12], . √0.5 , , [15]. . BN, , , BN [24] BV mB. , , BN. , , . 3,





d_ {out} = \ sum_ {i = 1} ^ {N_ {Schritte}} ReLU (d [i])

:





W_ {final} d_ {out}

. softmax ( argmax ).









TABNet.





, , , .





[1] Dario Amodei, Rishita Anubhai, Eric Battenberg, Carl Case, Jared Casper, et al. 2015. Deep Speech 2: End-to-End Speech Recognition in English and Mandarin. arXiv:1512.02595 (2015).





[2] AutoML. 2019. AutoML Tables – Google Cloud. https://cloud.google.com/automl-tables/





[3] J. Bao, D. Tang, N. Duan, Z. Yan, M. Zhou, and T. Zhao. 2019. Text Generation From Tables. IEEE Trans Audio, Speech, and Language Processing 27, 2 (Feb 2019), 311–320.





[4] Yael Ben-Haim and Elad Tom-Tov. 2010. A Streaming Parallel Decision Tree Algorithm. JMLR 11 (March 2010), 849–872.





[5] Catboost. 2019. Benchmarks. https://github.com/catboost/benchmarks. Accessed: 2019-11-10.





[6] Jianbo Chen, Le Song, Martin J. Wainwright, and Michael I. Jordan. 2018. Learning to Explain: An Information-Theoretic Perspective on Model Interpretation. arXiv:1802.07814 (2018).





[7] Tianqi Chen and Carlos Guestrin. 2016. XGBoost: A Scalable Tree Boosting System. In KDD.





[8] Michael Chui, James Manyika, Mehdi Miremadi, Nicolaus Henke, Rita Chung, et al. 2018. Notes from the AI Frontier. McKinsey Global Institute (4 2018).





[9] Alexis Conneau, Holger Schwenk, Lo¨ıc Barrault, and Yann LeCun. 2016. Very Deep Convolutional Networks for Natural Language Processing. arXiv:1606.01781 (2016).





[10] Corinna Cortes, Xavi Gonzalvo, Vitaly Kuznetsov, Mehryar Mohri, and Scott Yang. 2016. AdaNet: Adaptive Structural Learning of Artificial Neural Networks. arXiv:1607.01097 (2016).





[11] Zihang Dai, Zhilin Yang, Fan Yang, William W. Cohen, and Ruslan Salakhutdinov. 2017. Good Semi-supervised Learning that Requires a Bad GAN. arxiv:1705.09783 (2017).





[12] Yann N. Dauphin, Angela Fan, Michael Auli, and David Grangier. 2016. Language Modeling with Gated Convolutional Networks. arXiv:1612.08083 (2016).





[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2018. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805 (2018).





[14] Dheeru Dua and Casey Graff. 2017. UCI Machine Learning Repository. http: //archive.ics.uci.edu/ml





[15] Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann N. Dauphin. 2017. Convolutional Sequence to Sequence Learning. arXiv:1705.03122 (2017).





[16] Pierre Geurts, Damien Ernst, and Louis Wehenkel. 2006. Extremely randomized trees. Machine Learning 63, 1 (01 Apr 2006), 3–42.





[17] Ian Goodfellow, Yoshua Bengio, and Aaron Courville. 2016. Deep Learning. MIT Press.





[18] K. Grabczewski and N. Jankowski. 2005. Feature selection with decision tree criterion. In HIS.





[19] Yves Grandvalet and Yoshua Bengio. 2004. Semi-supervised Learning by Entropy Minimization. In NIPS.





[20] Isabelle Guyon and Andre Elisseeff. 2003. An Introduction to Variable and Feature ´ Selection. JMLR 3 (March 2003), 1157–1182.





[21] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2015. Deep Residual Learning for Image Recognition. arXiv:1512.03385 (2015).





[22] Joel Hestness, Sharan Narang, Newsha Ardalani, Gregory F. Diamos, Heewoo Jun, Hassan Kianinejad, Md. Mostofa Ali Patwary, Yang Yang, and Yanqi Zhou. 2017. Deep Learning Scaling is Predictable, Empirically. arXiv:1712.00409 (2017).





[23] Tin Kam Ho. 1998. The random subspace method for constructing decision forests. PAMI 20, 8 (Aug 1998), 832–844.





[24] Elad Hoffer, Itay Hubara, and Daniel Soudry. 2017. Train longer, generalize better: closing the generalization gap in large batch training of neural networks. arXiv:1705.08741 (2017).





[25] Drew A. Hudson and Christopher D. Manning. 2018. Compositional Attention Networks for Machine Reasoning. arXiv:1803.03067 (2018).





[26] K. D. Humbird, J. L. Peterson, and R. G. McClarren. 2018. Deep Neural Network Initialization With Decision Trees. IEEE Trans Neural Networks and Learning Systems (2018).





[27] Mark Ibrahim, Melissa Louie, Ceena Modarres, and John W. Paisley. 2019. Global Explanations of Neural Networks: Mapping the Landscape of Predictions. arxiv:1902.02384 (2019).





[28] Kaggle. 2019. Historical Data Science Trends on Kaggle. https://www.kaggle. com/shivamb/data-science-trends-on-kaggle. Accessed: 2019-04-20.





[29] Kaggle. 2019. Rossmann Store Sales. https://www.kaggle.com/c/ rossmann-store-sales. Accessed: 2019-11-10.





[30] Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, et al. 2017. LightGBM: A Highly Effcient Gradient Boosting Decision Tree. In NIPS.





[31] Guolin Ke, Jia Zhang, Zhenhui Xu, Jiang Bian, and Tie-Yan Liu. 2019. TabNN: A Universal Neural Network Solution for Tabular Data. https://openreview.net/forum?id=r1eJssCqY7





[32] Diederik P. Kingma and Jimmy Ba. 2014. Adam: A Method for Stochastic Optimization. In ICLR.





[33] P. Kontschieder, M. Fiterau, A. Criminisi, and S. R. Bul. 2015. Deep Neural Decision Forests. In ICCV.





[34] Siwei Lai, Liheng Xu, Kang Liu, and Jun Zhao. 2015. Recurrent Convolutional Neural Networks for Text Classification. In AAAI.





[35] Tianyu Liu, Kexiang Wang, Lei Sha, Baobao Chang, and Zhifang Sui. 2017. Table-to-text Generation by Structure-aware Seq2seq Learning. arXiv:1711.09724 (2017).





[36] Scott M. Lundberg, Gabriel G. Erion, and Su-In Lee. 2018. Consistent Individualized Feature Attribution for Tree Ensembles. arXiv:1802.03888 (2018).





[37] Andre F. T. Martins and Ram ´ on Fern ´ andez Astudillo. 2016. From Softmax ´ to Sparsemax: A Sparse Model of Attention and Multi-Label Classification. arXiv:1602.02068 (2016).





[38] Rory Mitchell, Andrey Adinets, Thejaswi Rao, and Eibe Frank. 2018. XGBoost: Scalable GPU Accelerated Learning. arXiv:1806.11248 (2018).





[39] Decebal Mocanu, Elena Mocanu, Peter Stone, Phuong Nguyen, Madeleine Gibescu, and Antonio Liotta. 2018. Scalable training of artificial neural networks with adaptive sparse connectivity inspired by network science. Nature Communications 9 (12 2018).





[40] Alex Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, and Danilo J. Rezende. 2019. S3TA: A Soft, Spatial, Sequential, Top-Down Attention Model. https://openreview.net/forum?id=B1gJOoRcYQ





[41] Sharan Narang, Gregory F. Diamos, Shubho Sengupta, and Erich Elsen. 2017. Exploring Sparsity in Recurrent Neural Networks. arXiv:1704.05119 (2017).





[42] Nbviewer. 2019. Notebook on Nbviewer. https://nbviewer.jupyter.org/github/ dipanjanS/data science for all/blob/master/tds model interpretation xai/ Human-interpretableMachineLearning-DS.ipynb#





[43] N. C. Oza. 2005. Online bagging and boosting. In IEEE Trans Conference on Systems, Man and Cybernetics.





[44] German Ignacio Parisi, Ronald Kemker, Jose L. Part, Christopher Kanan, and Stefan Wermter. 2018. Continual Lifelong Learning with Neural Networks: A Review. arXiv:1802.07569 (2018).





[45] Liudmila Prokhorenkova, Gleb Gusev, Aleksandr Vorobev, Anna Veronika Dorogush, and Andrey Gulin. 2018. CatBoost: unbiased boosting with categorical features. In NIPS.





[46] Alec Radford, Luke Metz, and Soumith Chintala. 2015. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks. arXiv:1511.06434 (2015).





[47] Rajat Raina, Alexis Battle, Honglak Lee, Benjamin Packer, and Andrew Y. Ng. 2007. Self-Taught Learning: Transfer Learning from Unlabeled Data. In ICML.





[48] Marco Ribeiro, Sameer Singh, and Carlos Guestrin. 2016. fiWhy Should I Trust You?fi: Explaining the Predictions of Any Classifier. In KDD.





[49] Avanti Shrikumar, Peyton Greenside, and Anshul Kundaje. 2017. Learning Important Features Through Propagating Activation Differences. arXiv:1704.02685 (2017).





[50] Karen Simonyan and Andrew Zisserman. 2014. Very Deep Convolutional Networks for Large-Scale Image Recognition. arXiv:1409.1556 (2014).





[51] Weiping Song, Chence Shi, Zhiping Xiao, Zhijian Duan, Yewen Xu, Ming Zhang, and Jian Tang. 2018. AutoInt: Automatic Feature Interaction Learning via SelfAttentive Neural Networks. arxiv:1810.11921 (2018).





[52] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. 2017. Axiomatic Attribution for Deep Networks. arXiv:1703.01365 (2017).





[53] Ryutaro Tanno, Kai Arulkumaran, Daniel C. Alexander, Antonio Criminisi, and Aditya V. Nori. 2018. Adaptive Neural Trees. arXiv:1807.06699 (2018).





[54] Tensorflow. 2019. Classifying Higgs boson processes in the HIGGS Data Set. https://github.com/tensorflow/models/tree/master/offcial/boosted trees





[55] Trieu H. Trinh, Minh-Thang Luong, and Quoc V. Le. 2019. Selfie: Self-supervised Pretraining for Image Embedding. arXiv:1906.02940 (2019).





[56] Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol ¨ Vinyals, et al. 2016. WaveNet: A Generative Model for Raw Audio. arXiv:1609.03499 (2016).





[57] Sethu Vijayakumar and Stefan Schaal. 2000. Locally Weighted Projection Regression: An O(n) Algorithm for Incremental Real Time Learning in High Dimensional Space. In ICML.





[58] Suhang Wang, Charu Aggarwal, and Huan Liu. 2017. Using a random forest to inspire a neural network and improving on it. In SDM.





[59] Wei Wen, Chunpeng Wu, Yandan Wang, Yiran Chen, and Hai Li. 2016. Learning Structured Sparsity in Deep Neural Networks. arXiv:1608.03665 (2016).





[60] Yongxin Yang, Irene Garcia Morillo, and Timothy M. Hospedales. 2018. Deep Neural Decision Trees. arXiv:1806.06988 (2018).





[61] Jinsung Yoon, James Jordon, and Mihaela van der Schaar. 2019. INVASE: Instancewise Variable Selection using Neural Networks. In ICLR.











More articles:


All Articles