Pregledovanje toka - StreamTokenizer

	StreamTokenizer je v bolj splošna oblika razreda StringTokenizer, omenjenega pri delu z nizi.
	StreamTokenizer pregleduje nek binarni tok tipa InputStream in ga razbija na besede - dele teksta razmejene s poljubnimi ločili.

import java.io.*;
    class test {
        public static void main (String argv[ ]) {

        StreamTokenizer st;
        int i;
        try { 
            st=new StreamTokenizer(new FileReader("lalala"));  // pregledujemo datoteko lalala

            st.slashSlashComments(true); // veljajo naj komentarji označeni z //

            while (st.nextToken()!=StreamTokenizer.TT_EOF) { // pregledujemo do konca datoteke (end of file)
                if (st.ttype==StreamTokenizer.TT_NUMBER)     // beseda je stevilo?
                    System.out.println("Stevilo: " + st.nval);  // stevilska vrednost
                else
                    System.out.println("Niz: " + st.sval);   // vrednost niza
            }
        }
        catch (Exception e) {
            System.err.println("Exception : " + e.getMessage());
        }
    } 
}