http://en.wikipedia.org/wiki/Mmap is er een optie om bvb in blast hier gebruik van te maken ? lost direct het probleem op dat de clusternodes te weinig mem hebben ? idem voor die NGS dingen -- ================================================================== Frederik Delaere Tel:+32 (0)9 331 38 14 fax:+32 (0)9 3313809 VIB Department of Plant Systems Biology, Ghent University Technologiepark 927, 9052 Gent, BELGIUM frlae@psb.vib-ugent.be http://www.psb.vib-ugent.be ==================================================================
well IT ... you tell me ;-) On 16/07/2010 10:58, Frederik Delaere wrote:
http://en.wikipedia.org/wiki/Mmap
is er een optie om bvb in blast hier gebruik van te maken ? lost direct het probleem op dat de clusternodes te weinig mem hebben ?
idem voor die NGS dingen
-- ============================================================== Lieven Sterck, PhD Tel:+32 (0)9 3313821 Fax:+32 (0)9 3313809 VIB Department of Plant Systems Biology, UGent Bioinformatics and Evolutionary Genomics Division Technologiepark 927, B-9052 Gent, Belgium Email: lieven.sterck@psb.vib-ugent.be Website: http://bioinformatics.psb.ugent.be ============================================================== "Facts are meaningless. You could use facts to prove anything that's even remotely true" - H. Simpson
as in, mss staat er iets in de manual van je geliefkoosde programmaatje dat daar naar wijst maar wist je tot daarnet niet wat het betekende ! :p Lieven Sterck wrote:
well IT ... you tell me ;-)
On 16/07/2010 10:58, Frederik Delaere wrote:
http://en.wikipedia.org/wiki/Mmap
is er een optie om bvb in blast hier gebruik van te maken ? lost direct het probleem op dat de clusternodes te weinig mem hebben ?
idem voor die NGS dingen
-- ================================================================== Frederik Delaere Tel:+32 (0)9 331 38 14 fax:+32 (0)9 3313809 VIB Department of Plant Systems Biology, Ghent University Technologiepark 927, 9052 Gent, BELGIUM frlae@psb.vib-ugent.be http://www.psb.vib-ugent.be ==================================================================
Blast gebruikt dat, maar lost volgens mij het probleem niet op. Meeste NGS dingen niet, net omdat het geen oplossing is. Disks zijn te traag vergeleken met memory. En hoewel het lijkt dat je applicatie loopt, is je runtime 10000 keer langer, wat meestal niet zo goed is. Het zou wel een oplossing zijn voor de perlgebruikers die volledige datasets in een hashmap willen lezen. cheers, T Frederik Delaere wrote:
as in, mss staat er iets in de manual van je geliefkoosde programmaatje dat daar naar wijst maar wist je tot daarnet niet wat het betekende !
:p
Lieven Sterck wrote:
well IT ... you tell me ;-)
On 16/07/2010 10:58, Frederik Delaere wrote:
http://en.wikipedia.org/wiki/Mmap
is er een optie om bvb in blast hier gebruik van te maken ? lost direct het probleem op dat de clusternodes te weinig mem hebben ?
idem voor die NGS dingen
Thomas Abeel wrote:
Blast gebruikt dat, maar lost volgens mij het probleem niet op.
Meeste NGS dingen niet, net omdat het geen oplossing is. Disks zijn te traag vergeleken met memory. En hoewel het lijkt dat je applicatie loopt, is je runtime 10000 keer langer, wat meestal niet zo goed is.
ja ze runnen inderdaad langer, maar als je een dataset wil inladen die groter is dan het beschikbare memory gaat een groot deel van je dataset ook uit de swap file komen (disk), dus gaat het ook traag dus ik denk dat het voordeel van mmap dan is dat niet heel het systeem platgaat door het swappen of niet ?
Het zou wel een oplossing zijn voor de perlgebruikers die volledige datasets in een hashmap willen lezen.
lieve perlmensen, bekijk dit maar eens goed hé ;)
cheers, T
Frederik Delaere wrote:
as in, mss staat er iets in de manual van je geliefkoosde programmaatje dat daar naar wijst maar wist je tot daarnet niet wat het betekende !
:p
Lieven Sterck wrote:
well IT ... you tell me ;-)
On 16/07/2010 10:58, Frederik Delaere wrote:
http://en.wikipedia.org/wiki/Mmap
is er een optie om bvb in blast hier gebruik van te maken ? lost direct het probleem op dat de clusternodes te weinig mem hebben ?
idem voor die NGS dingen
_______________________________________________ Binari Implicitly Neglects All Recursive Iterations https://maillist.psb.ugent.be/mailman/listinfo/binari
-- ================================================================== Frederik Delaere Tel:+32 (0)9 331 38 14 fax:+32 (0)9 3313809 VIB Department of Plant Systems Biology, Ghent University Technologiepark 927, 9052 Gent, BELGIUM frlae@psb.vib-ugent.be http://www.psb.vib-ugent.be ==================================================================
Frederik Delaere wrote:
Thomas Abeel wrote:
Blast gebruikt dat, maar lost volgens mij het probleem niet op.
Meeste NGS dingen niet, net omdat het geen oplossing is. Disks zijn te traag vergeleken met memory. En hoewel het lijkt dat je applicatie loopt, is je runtime 10000 keer langer, wat meestal niet zo goed is.
ja ze runnen inderdaad langer, maar als je een dataset wil inladen die groter is dan het beschikbare
Voor NGS bestaan er verschillende soorten tools, afhankelijk van welke je gebruikt, leest het een ander deel van de data in memory. Dat deel moet je echt in memory hebben, want dat is het deel waar constant mee gereferenced wordt. Het ander deel word iteratief overlopen. Dus als het met de ene soort niet lukt, probeer je eens de andere, als het met geen van beide lukt, heb je echt meer memory nodig.
memory gaat een groot deel van je dataset ook uit de swap file komen (disk), dus gaat het ook traag dus ik denk dat het voordeel van mmap dan is dat niet heel het systeem platgaat door het swappen
Dat klopt, maar je disk gaat naar de knoppen zijn als er teveel random read-access is. Nuja, met teveel swappen wss ook en met mmap blijft je systeem wel draaien. Voordelen, nadelen, ik gebruik dat geregeld in Java als ik te tam ben om deftig te programmeren, maar meestal zijn er veel elegantere oplossingen. Je kan mmap ook (mis)bruiken om gigantische arrays aan te maken die niet in memory passen, maar wel op disk. Data structures http://download.oracle.com/docs/cd/E17409_01/javase/6/docs/api/java/nio/Byte... http://download.oracle.com/docs/cd/E17409_01/javase/6/docs/api/java/nio/Doub... http://download.oracle.com/docs/cd/E17409_01/javase/6/docs/api/java/nio/IntB... Mapping: http://download.oracle.com/docs/cd/E17409_01/javase/6/docs/api/java/nio/chan...) -T
of niet ?
Het zou wel een oplossing zijn voor de perlgebruikers die volledige datasets in een hashmap willen lezen.
lieve perlmensen, bekijk dit maar eens goed hé ;)
cheers, T
Frederik Delaere wrote:
as in, mss staat er iets in de manual van je geliefkoosde programmaatje dat daar naar wijst maar wist je tot daarnet niet wat het betekende !
:p
Lieven Sterck wrote:
well IT ... you tell me ;-)
On 16/07/2010 10:58, Frederik Delaere wrote:
http://en.wikipedia.org/wiki/Mmap
is er een optie om bvb in blast hier gebruik van te maken ? lost direct het probleem op dat de clusternodes te weinig mem hebben ?
idem voor die NGS dingen
_______________________________________________ Binari Implicitly Neglects All Recursive Iterations https://maillist.psb.ugent.be/mailman/listinfo/binari
participants (3)
-
Frederik Delaere -
Lieven Sterck -
Thomas Abeel