En Aprendizaje Automatizado, la mayoría de los métodos de análisis de datos utilizados asumen como premisa básica la estacionaridad de los mismos (es decir, que el fenómeno bajo análisis no cambia en el tiempo). Sin embargo, muchos sistemas reales de gran interés práctico son claramente no estacionarios como por ejemplo cualquier propiedad relacionada a la meteorología o el problema de detección temprana de fallas en líneas de producción. Otra característica que presentan estos métodos es que se basan en lo que puede definirse como arquitecturas poco profundas (Redes Neuronales con una capa oculta, SVM, Árboles de Decisión, etc.), aunque desde hace bastante tiempo se sabe que las arquitecturas profundas, como las Stacked Restricted Boltzmann Machines (SRBM), pueden ser mucho más eficientes a la hora de representar ciertas funciones. En este trabajo se estudia el rendimiento de estas arquitecturas en el ámbito de los problemas no estacionarios y su adaptación a los mismos. Para ello se propone una forma en que se puede integrar la información aportada por los datos antiguos al entrenamiento de un modelo de mayor profundidad que al mismo tiempo sea capaz de adaptarse rápidamente a cambios observados. Para validar la nueva técnica se compara su desempeño con métodos tradicionales sobre problemas no estacionarios diseñados a partir de dos datasets ampliamente usados y conocidos, MNIST y NORB.