federico ferreyra
2012-Sep-08 13:34 UTC
[R] calcular SVD de una matriz que no entra en memoria
Hola como andan? estuve leyendo un poco la documentacion de la libreria BigMemory y no me quedan claro algunas cosas, le planteo mi problema, tengo un matriz en disco que pesa 2gb con coeficientes float´s, solo numeros, y tengo que hallar la descomposicion en valores singulares de esta matriz, basicamente la pregunta seria: como hacer para leer la matriz, calcular su DVS y como escribirla en disco? muchas gracias. [[alternative HTML version deleted]]
Steve Lianoglou
2012-Sep-08 20:45 UTC
[R] calcular SVD de una matriz que no entra en memoria
Hi, 2012/9/8 federico ferreyra <federicoferreyra60 at yahoo.com.ar>:> Hola como andan? estuve leyendo un poco la documentacion de la libreria BigMemory y no me quedan claro algunas cosas, le planteo mi problema, tengo un matriz en disco que pesa 2gb con coeficientes float?, solo numeros, y tengo que hallar la descomposicion en valores singulares de esta matriz, basicamente la pregunta seria: como hacer para leer la matriz, calcular su DVS y como escribirla en disco? muchas gracias.Quick aside: You'd get better help if you post your question in English. That having been said, if my high-school spanish doesn't fail me, it sounds like you want to run an SVD on a particularly huge matrix where doing so in-memory will be prohibitive (or impossible). As far as I know, there are no facilities (packages) to do this in R just yet, but you might look at the graphchi project: http://bickson.blogspot.com/2012/08/collaborative-filtering-with-graphchi.html Again -- it's not an R package, but if you are in a bind, you can likely build and run the SVD on your machine. I think it'd be quite handy to wrap that library's functionality in R, and if no one beats me to it I think I'll eventually do that myself. Hope that helps, -steve -- Steve Lianoglou Graduate Student: Computational Systems Biology | Memorial Sloan-Kettering Cancer Center | Weill Medical College of Cornell University Contact Info: http://cbio.mskcc.org/~lianos/contact