מכות כוונת הגמרא "וחטאתי לאלקים, לאלקים ולא לאדם"?

[זרעא דאברהם]

ראיתי בספר הדר יעקב של הגאון האדיר רי"ח סופר שליט"א שהוכיח דאיסור אשת איש נקרא בין אדם לחבירו, ממכות ט' ע"א גבי יוסף "וחטאתי לאלקים, לאלקים ולא לאדם?, אלא וכו'", ומזה הביא דאשת איש הוא בין אדם לחבירו,

ונפלאתי, דלכאורה בפשוטו כוונת הגמרא היא שהוא חטא שיש בו עונש גם בידי אדם ולא רק ביד"ש, דע"ז מיירי שם בגמרא, ואין כוונת הגמרא שהוא חטא לאדם.

וכ"כ רבינו חננאל שם:
"אי הכי האי דכתב ביוסף לאשת אדוניו וחטאתי לאלהים הכי נמי דדינו לשמים והא אשת איש היא ודינה בידי אדם".