他生於貧窮的家庭，沒受過教育，14歲時開始了第一份工作:開泰錢莊當跑腿夥計，在耳濡目染的環境下，培養了對帳目計算以及金錢的敏感度。在有一次協同錢莊大掌櫃要去討一筆積欠三年的帳款，對方因為還在等待朝廷的官位的名單中，所以無錢償還，大掌櫃在無可奈何的情況下，與錢莊老闆決議後決定將這筆三百兩的金額打入壞帳，於是將借據揉捻後隨手丟進桶子了，最後，胡雪巖把那揉成一團的借據，在桌上抹平，默默的收入了口袋了。這張借據也就開始了他的經商投資之路了。
在一次跑街途中遇到了尋短跳河的王有齡，在費一番力氣後終於救上岸，待對方意識回覆後詢問了尋短的原因才知道，原來對方也是待補缺鹽大使的官員，但因為曲靖家道中落，被誣陷導致流落浙江身無分文沒錢買官位，胡雪巖見對方氣質不凡，時運不濟但卻掩飾不住那不俗的儀表，歷經幾次相談甚歡後，就結拜成了兄弟。
某天的跑街途中，發現先前欠開泰300兩的賴老爺順利的補上了官員，胡雪巖並帶著那天撿回來的借據成功討取了350兩回來，並湊足了500兩讓王有齡速速進京遞補官位。後王有留在天津遇到了當初在曲靖的故交侍郎何桂清，經其推薦到浙江巡撫門下當了糧台總辦，掌管浙江所有的糧食。王有齡並未忘記當初胡雪巖的救命之恩，於是將胡雪巖帶在身旁協助處理公事。在一次需要從浙江運上10萬石糧食到京城的過程中，胡雪巖立用了開泰錢莊與上海的大三元錢莊有密切的業務往來，僅帶者開泰的兌現收據支票和王坐船到了上海的大三元兌現買了當地較為便宜的10萬石糧食並送往京城，過程中不但減少了從浙江運米到京城會遇到的風險，而且也利用了中間糧食的差價賺了一筆利潤，該金額也成為之後胡開錢莊的基礎了。
往後，隨者王有齡不斷升官以及往後相識的左宗棠，也讓胡雪巖的生意也越做越大，觸及行業也越來越廣，靠官府後台，一步步走向事業的高峰。一邊跟朝廷打交道，一邊經商的過程中，他也不忘幾個原則，也奠定他首富的基礎了，原則如下:
講信用。他說:做人無非是講個信義， 經商目的是賺錢，但我不能失去最基本的信用。
東西貨真價實，自然有口碑。他認為:與人爭勝，貨真價實是關鍵。
注重人才。他說:看人總是往好處去看，沒有本事才做壞事，有本事才會做好事。
義在前，利在後。他說: 人都有忘記帶傘的時候，肯願意為別人付出，別人才願意為你付出。
