Frederik Delaere wrote:
Thomas Abeel wrote:
Blast gebruikt dat, maar lost volgens mij het probleem niet op.
Meeste NGS dingen niet, net omdat het geen oplossing is. Disks zijn te traag vergeleken met memory. En hoewel het lijkt dat je applicatie loopt, is je runtime 10000 keer langer, wat meestal niet zo goed is.
ja ze runnen inderdaad langer, maar als je een dataset wil inladen die groter is dan het beschikbare
Voor NGS bestaan er verschillende soorten tools, afhankelijk van welke je gebruikt, leest het een ander deel van de data in memory. Dat deel moet je echt in memory hebben, want dat is het deel waar constant mee gereferenced wordt. Het ander deel word iteratief overlopen. Dus als het met de ene soort niet lukt, probeer je eens de andere, als het met geen van beide lukt, heb je echt meer memory nodig.
memory gaat een groot deel van je dataset ook uit de swap file komen (disk), dus gaat het ook traag dus ik denk dat het voordeel van mmap dan is dat niet heel het systeem platgaat door het swappen
Dat klopt, maar je disk gaat naar de knoppen zijn als er teveel random read-access is. Nuja, met teveel swappen wss ook en met mmap blijft je systeem wel draaien. Voordelen, nadelen, ik gebruik dat geregeld in Java als ik te tam ben om deftig te programmeren, maar meestal zijn er veel elegantere oplossingen. Je kan mmap ook (mis)bruiken om gigantische arrays aan te maken die niet in memory passen, maar wel op disk. Data structures http://download.oracle.com/docs/cd/E17409_01/javase/6/docs/api/java/nio/Byte... http://download.oracle.com/docs/cd/E17409_01/javase/6/docs/api/java/nio/Doub... http://download.oracle.com/docs/cd/E17409_01/javase/6/docs/api/java/nio/IntB... Mapping: http://download.oracle.com/docs/cd/E17409_01/javase/6/docs/api/java/nio/chan...) -T
of niet ?
Het zou wel een oplossing zijn voor de perlgebruikers die volledige datasets in een hashmap willen lezen.
lieve perlmensen, bekijk dit maar eens goed hé ;)
cheers, T
Frederik Delaere wrote:
as in, mss staat er iets in de manual van je geliefkoosde programmaatje dat daar naar wijst maar wist je tot daarnet niet wat het betekende !
:p
Lieven Sterck wrote:
well IT ... you tell me ;-)
On 16/07/2010 10:58, Frederik Delaere wrote:
http://en.wikipedia.org/wiki/Mmap
is er een optie om bvb in blast hier gebruik van te maken ? lost direct het probleem op dat de clusternodes te weinig mem hebben ?
idem voor die NGS dingen
_______________________________________________ Binari Implicitly Neglects All Recursive Iterations https://maillist.psb.ugent.be/mailman/listinfo/binari