「ago」は、現在を起点とし、その点から過去への距離を表す副詞です。
物理的な距離の感覚を、時間に応用した言葉です。'two miles ago' なら2マイル先、'two hours ago' なら2時間前というイメージです。
日本語の「前」は未来（明日の前）にも過去（3日前）にも使いますが、「ago」は必ず過去を指します。これは重要な違いです。
文法的には、過去形の動詞や現在完了形と組み合わせて使います。'I saw her two hours ago.' が正しく、'I have seen her two hours ago.' は誤りです。