The Shulchan Aruch 4,18 says one must wash ones hand after going to the toilet, the Mishna Brura seif 40 explains that even if one merely enters the toilet he must wash his hands because of the רוח רעה the metaphysical contamination of his hands and the Kaf Hachaim adds ideally one should wash 3 times each hand after going to the toilet as this Ruach Raah is like the ruach raah that comes when one wakes up from ones sleep.
The Beer Heitev 4,1 says one can make the Bracha after washing ones hands before drying them:
כתב בסדר היום דמיד אחר הנטילה יברך ולא ימתין על הניגוב וכ''כ ברכת אברהם ח''ג
The Shaarei Teshuva in 4,1 however brings Rabbis that argue to wait to make a Bracha till one dries ones hands after washing them to get rid of the Ruach raah ritual contamination:
עבה"ט במחזיק ברכה בשם אור צדיקים למהר"מ פאפרש שכתב בשם מהר"מ ניגרין שאין רוח רעה סרה מהידים שחרית עד אחר הניגוב ולפ"ז לא יברך עד שינגב דלא כמ"ש בשם סדה"י הכנה"ג (הביאו המג"א כמ"ש הבה"ט)
In conclusion ideally one should either dry ones hands after washing them, or wash ones hands 4 times (this suggestion is given by the Kaf Hachaim to remove the Ruach Raah completely) then make a Bracha Asher Yatzar.