מוצאו של יצחק כרמלי מעיירה בהונגריה, קרובה לגבול אוסטריה. הוא נולד בשנת 1926, קיבל את השכלתו היסודית והמקצועית בעירו - ובשנת 1944, עם גירוש כל היהודים מהונגריה, הועבר למחנה ריכוז באושוויץ - כפי שהעיד המספר שהיה חקוק על זרועו הימנית. לאחר השיחרור שאף לעזוב את אירופה ולעלות לארץ-ישראל. הוא הגיע לכאן כבר בשנת 1946, כאשר פעולות המרי נגד השלטון הבריטי היו כאן בעיצומן. הוא הצטרף לאירגון הצבאי הלאומי (אצ"ל), ומאז לא פסק להתמסר לעניני בטחון וצבא.
באצ"ל הוא שירת שנתיים והועלה שם לדרגת מפקד גונדה (מחלקה). עם התמזגות אצ"ל בצה"ל (קיץ 1948) הוא התגייס לצה"ל, בדרגת סג"מ, ובמלחמת העצמאות נלחם בתפקיד מ"מ וסמ"פ. לאחר המלחמה לא פשט את המדים, אלא המשיך בתפקידי פיקוד והדרכה שונים. במבצע סיני נלחם כמפקד יחידת תחזוקה בדרגת סרן. ב-1958 הועלה לדרגת רס"נ וסיים בהצלחה את בית-הספר לפיקוד ומטה. עד מלחמת ששת הימים שימש כעוזר קצין אג"מ ב-מפג"ש, ולאחר מכן כיהן כשנתיים כמפקד בסיס הטירונים של תש"נ. לאחר סיום קורס חש"נ מתקדם נתמנה למדריך וסגן-מפקד של קורס-מ"פים-שריון - תפקיד שמילא בהצלחה רבה. עד סוף שנת 1971 היה מפקד-גדוד והועלה לדרגת סגן-אלוף; אז קיבל את התפקיד של סמח"ט 500.
תפקיד זה מילא כרמלי כאשר פרצה מלחמת יום הכיפורים. יחד עם החטיבה הוא עבר את מסלול הקרבות הקשים, מן הבלימה ליד תעלת סואץ בימיה הראשונים של המלחמה, עד לפריצה לעבר "אפריקה" וכיתור הארמיה השלישית המצרית והעיר סואץ. ביום האחרון של המלחמה, ב-25 לאוקטובר, הוא נפגע בצורה קשה מאוד בראשו. לאחר מכן היה מאושפז כמעט שנה שלמה, כשמצב בריאותו לא השאיר תקווה רבה לאפשרות שיוכל לתפקד שוב באופן מלא. אבל, ראה זה פלא - לאט-לאט, בהתמדה ובהפעלת רצון-ברזל, כרמלי התאושש והתחיל שוב להשתלב במערך חש"נ. ובסתיו 1974 אנו מוצאים אותו בבסיס האימונים, כמתכנן אימונים ותרגילים. תפקיד זה הוא מילא 4 שנים, עד שהועלה ב-1978 לדרגת אל"מ - בתפקיד של קצין-מטה-בכיר לתורה ולתרגילים במפג"ש. כמשימה מיוחדת הוטל עליו לעדכן את הוראות חיל-השריון. בעיצומה של פעולה חשובה זו - ניתק אותו מותו המהיר.
אל"מ כרמלי ייזכר בלב כל ידידיו וחבריו לנשק כאדם בעל תכונות שהועידו אותו במיוחד למילוי תפקידי-פיקוד והדרכה. הוא ידע להתחבב על פקודיו ולקדם אותם על ידי דוגמה אישית, גם במצבים קשים מאוד, כפי שהיו מנת חלקו בחייו מלאי הפעולה.