Bundesgericht
Tribunal fédéral
Tribunale federale
Tribunal federal
|
|
|
|
|
{T 0/2}
2C_416/2013; 2C_417/2013; 2C_446/2013; 2C_447/2013
|
|
|
Arrêt du 5 novembre 2013
IIe Cour de droit public
Composition
MM. et Mme les Juges fédéraux Zünd, Président,
Aubry Girardin, Donzallaz, Stadelmann et Kneubühler.
Greffier: M. Chatton.
Participants à la procédure
2C_416/2013 et 2C_417/2013
X.________,
représenté par Me Antoine Berthoud, avocat,
recourant,
contre
Administration fiscale cantonale du canton de Genève,
intimée,
et
2C_446/2013 et 2C_447/2013
Administration fiscale cantonale du canton de Genève,
recourante,
contre
X.________,
représenté par Me Antoine Berthoud, avocat,
intimé.
Objet
Impôt fédéral direct 1996-2001, impôts cantonal et communal 1995-2001; rappel d'impôt; soustraction consommée et tentative.
recours contre l'arrêt de la Cour de Justice de la République et canton de Genève, Chambre administrative, 1ère section, du 26 mars 2013.
Faits
A.
A.a. X.________ est domicilié à Genève depuis le 18 janvier 1991.
A.b. Le 2 juillet 1991, par l'entremise de son conseil, X.________ a informé l'Administration fiscale cantonale genevoise (ci-après: l'Administration cantonale) qu'il allait verser le produit de la vente de deux entreprises dont il était propriétaire à hauteur respectivement de 45 % et de 55 % dans deux trusts. La part de 45 % serait transférée dans un trust bermudien discrétionnaire et irrévocable (A.________; ci-après: trust A.________), la part de 55 % à un trust révocable (B.________; ci-après: trust B.________) dont le contribuable et sa famille seraient les bénéficiaires.
En septembre 1991, X.________ et l'Administration cantonale sont convenus de ce que le trust révocable détenant 55 % du produit de la vente serait transparent, de sorte que son revenu et ses avoirs seraient ajoutés au revenu et à la fortune du contribuable. La dotation du trust irrévocable détenant les 45 % du produit de vente ne serait pas imposée en Suisse et le revenu ainsi que la fortune de ce trust ne seraient pas imposables en Suisse tant qu'ils ne seraient pas distribués à X.________ ou à des membres de sa famille. En cas de distribution, les montants seraient soumis à l'impôt sur la fortune et les revenus afférents imposés à Genève.
A.c. Dans ses déclarations fiscales 1995 à 2001-B, X.________ a mentionné un emprunt auprès du Trust A.________ qui lui générait des intérêts oscillant, selon les années fiscales, entre 35'894 fr. et 268'204 fr. pour une dette allant de 0 fr. à 9'208'330 fr.
L'intéressé a également indiqué, dans ses déclarations fiscales 1995 à 2000, une participation dans la société C.________ SA (ci-après: C.________), pour laquelle il a mentionné une valeur de 0 fr. pour les années 1995 et 1996, alors que, dans les quatre déclarations suivantes, il a laissé vide la colonne relative à la valeur de cette participation. Dans sa déclaration 2001-B, X.________ n'a signalé ni sa participation dans C.________ ni la vente d'une partie de celle-ci.
Dans aucune des déclarations fiscales de 1995 à 2001-B, le contribuable n'a mentionné détenir des actions de la Banque D.________ (ci-après: la banque D.________).
A.d. Entre décembre 1995 et mai 1999, X.________ s'est vu notifier des bordereaux provisoires et rectificatifs en matière d'ICC pour les années 1995 à 1998, et des bordereaux en matière d'IFD pour les périodes fiscales 1995-1996 et 1997-1998. Certains ont fait l'objet de réclamations.
Le 20 décembre 1999, l'Administration cantonale a informé X.________ de l'ouverture de procédures de vérification et de soustraction d'impôts pour l'ICC 1998 et l'IFD 1997-1998. Le 19 septembre 2000, ces procédures ont été étendues à l'ICC et à l'IFD des années 1995 à 1998 et, le 16 juillet 2001, à l'ICC et à l'IFD 1999 et 2000.
Ces procédures étaient liées en substance aux emprunts auprès du Trust A.________, à la valeur des participations dans la société C.________ et aux actions de la Banque D.________ non déclarées.
S'en sont suivies plusieurs années de procédures et de contrôles, ainsi que de multiples échanges de courriers.
Diverses décisions de taxation ordinaire et extraordinaire, ainsi que des amendes pour soustraction et tentatives de soustraction fiscale, tant en matière d'ICC que d'IFD relatives aux périodes fiscales allant de 1995 à 2001-B ont été notifiées par l'Administration cantonale à X.________, qui a formé des réclamations à leur encontre.
B.
Par décisions sur réclamation du 27 octobre 2008, l'Administration cantonale a maintenu les rappels d'impôts ICC 1995 et IFD 1995-1996 de même que 1997-1998, ainsi que les taxations ordinaires IFD 2001-B et ICC 2001-B. Elle a modifié en défaveur du contribuable les taxations ICC 1998 à 2000 et IFD 1999-2000, alors qu'elle a rectifié en faveur de l'intéressé les rappels d'impôts ICC 1996 et 1997. Les amendes pour soustraction d'impôts ICC 1995 à 1997 et IFD 1995 à 1998 et pour tentative de soustraction d'impôts ICC 1998 à 2000 et 2001-B, et IFD 1999-2000 et 2001-B ont été maintenues dans leur principe, mais leurs montants ont été modifiés sur la base des nouveaux bordereaux.
A l'encontre de ces décisions sur réclamation, X.________ a recouru, le 26 novembre 2008, auprès des anciennes commissions cantonales de recours en matière d'impôts et de l'impôt fédéral direct (devenues, dès le 1er janvier 2009, la Commission cantonale de recours en matière administrative et, depuis le 1er janvier 2011, le Tribunal administratif de première instance du canton de Genève; ci-après le TAPI).
Le 30 août 2011, X.________ a demandé à être personnellement entendu par le TAPI, qui n'a pas donné suite à cette requête.
Par jugement du 27 octobre 2011 concernant tant l'IFD que les ICC 1995 à 2001-B, le TAPI a partiellement admis le recours. Il a retenu que la contestation du principe des amendes pour tentative de soustraction fiscale était nouvelle et donc irrecevable. Le rappel d'impôt IFD 1995 et l'amende y relative, ainsi que les amendes pour soustraction consommée concernant l'ICC 1995 à 1997 étaient pour leur part prescrits. Pour le surplus, il a renvoyé le dossier à l'Administration cantonale pour nouvelles décisions dans le sens des considérants.
Le 6 décembre 2011, X.________ a recouru à l'encontre de ce jugement auprès de la Chambre administrative de la Cour de Justice de la République et canton de Genève (ci-après: la Cour de Justice) en concluant à son annulation et au renvoi de la cause au TAPI pour qu'il procède à son audition. Le contribuable demandait en outre l'annulation des amendes pour tentative de soustraction, des rappels d'impôt et des amendes pour soustraction relatives aux années 1995 à 1997 en lien avec la valeur des actions C.________, des amendes pour tentative de soustraction portant sur les années 1998 à 2001-B en relation avec les actions C.________, ainsi que du rappel d'impôt et des amendes portant sur les actions de la banque D.________. Les reprises des intérêts et de sa dette envers le trust A.________ devaient aussi être annulées et, à titre subsidiaire, les distributions du trust A.________ déclarées pour les périodes fiscales 1999, 2000 et 2001-B devaient être soustraites du revenu imposable. Par la suite, le contribuable a fait valoir la prescription pour diverses amendes et taxations.
Par arrêt du 26 mars 2013, la Cour de Justice a admis partiellement le recours formé par X.________ à l'encontre du jugement du 6 décembre 2011. Considérant que les rappels d'impôts IFD 1996 et 1997, ainsi que les amendes ICC 1998 à 2001-B pour tentative de soustraction d'impôts étaient prescrits, elle a annulé le jugement attaqué et les décisions sur réclamations, ainsi que les bordereaux en ce qu'ils concernaient ces rappels et amendes. Elle a également annulé les reprises relatives au prétendu prêt avec le trust A.________ contenues dans les rappels d'impôts IFD 1998 et ICC 1995 à 1997, renvoyant le dossier à l'Administration fiscale cantonale pour nouvelles décisions concernant lesdits rappels. Le jugement attaqué a été confirmé pour le surplus.
C.
A l'encontre de l'arrêt du 26 mars 2013, tant X.________ (causes 2C_416 et 2C_417/2013) que l'Administration cantonale (causes 2C_446 et 2C_447/2013) forment un recours en matière de droit public au Tribunal fédéral.
C.a. X.________ (ci-après: le recourant 1 ou le contribuable) conclut à l'annulation de l'arrêt attaqué, des rappels d'impôts et des amendes ainsi qu'au renvoi de la cause au TAPI pour qu'il procède à son audition avant de rendre une nouvelle décision s'agissant des rappels d'impôts et des amendes; pour le surplus, il demande le renvoi de la cause à la Cour de Justice pour complément d'instruction et nouvelle décision dans le sens des considérants.
La Cour de Justice n'a pas présenté d'observations, s'en rapportant à justice quant à la recevabilité du recours et persistant dans les considérants et le dispositif de son arrêt. Au terme de ses déterminations, l'Administration cantonale propose de rejeter le recours, à l'instar de l'Administration fédérale des contributions (ci-après: l'Administration fédérale). Le recourant 1 a exercé son droit à la réplique, tout en maintenant la position et les conclusions figurant dans son recours.
C.b. Au terme de son mémoire de recours, l'Administration cantonale (ci-après: la recourante 2 ou l'Administration cantonale) conclut à l'annulation de l'arrêt attaqué en tant qu'il juge que le rappel d'impôt IFD 1997 ainsi que l'amende pour tentative de soustraction ICC 2001-B sont prescrits et qu'il annule le rappel d'impôt IFD 1998 en lien avec le prêt accordé par le trust A.________.
La Cour de Justice n'a pas présenté d'observations, s'en rapportant à justice quant à la recevabilité du recours et persistant dans les considérants et le dispositif de son arrêt. X.________ s'est déterminé et a conclu au rejet du recours dans la mesure de sa recevabilité s'agissant de la prescription du rappel d'impôt IFD 1997 et du principe du rappel d'impôt IFD 1997 et 1998 en lien avec les intérêts du prêt accordé par le trust A.________. Il s'en rapporte à l'appréciation du Tribunal fédéral s'agissant de la prescription de l'amende pour tentative de soustraction d'impôt pour l'ICC 2001-B et propose le renvoi du dossier à la Cour de Justice pour complément et nouvelle décision sur ce point. L'Administration fédérale a pris position et conclut à l'admission du recours formé par l'Administration cantonale.
Considérant en droit:
I.
Recevabilité et objet du litige
1.
La Cour de Justice a rendu un seul arrêt concernant l'ensemble des périodes fiscales litigieuses et qui porte à la fois sur les rappels d'impôts (IFD 1996 et 1997-1998; ICC 1995 à 1997), les taxations ordinaires (IFD 1999-2000 et 2001-B; ICC 1998 à 2001-B), ainsi que les amendes pour soustraction (IFD 1996 à 1998) et tentative de soustraction fiscale (IFD 1999 à 2001; ICC 1998 à 2001). L'ensemble porte sur des périodes couvertes et non couvertes par le droit harmonisé. En pareilles circonstances, on ne peut reprocher aux parties recourantes d'avoir elles-mêmes formé respectivement un seul recours au Tribunal fédéral (cf. ATF 135 II 260 consid. 1.3.2 p. 263 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues lorsque l'impôt fédéral direct et l'impôt cantonal et communal sont en jeu, la Cour de céans a toutefois ouvert un dossier pour chacun des impôts concernés (IFD ou ICC) et pour chacune des parties recourantes, à savoir au total quatre dossiers (causes 2C_416/2013-ICC et 2C_417/2013-IFD pour le recourant 1, ainsi que 2C_446/2013-ICC et 2C_447/2013-IFD pour la recourante 2). Comme le complexe de fait est identique, que les questions juridiques soulevées soit se recoupent, totalement ou partiellement, soit dépendent l'une de l'autre, les causes seront jointes et il sera statué dans un seul arrêt (cf. art. 71 LTF et 24 PCF).
2.
2.1. Le litige concerne le droit fiscal. Il relève donc du droit public, sans tomber sous le coup des exceptions prévues à l'art. 83 LTF, de sorte que la voie du recours en matière de droit public est ouverte sur la base de l'art. 82 let. a LTF pour l'ensemble des aspects traités dans l'arrêt attaqué. L'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) confirme du reste l'existence de cette voie de droit pour l'impôt fédéral direct, alors que l'art. 73 al. 1 LHID (RS 642.14) fait de même s'agissant de l'imposition du revenu en matière d'ICC pour les périodes couvertes par cette loi.
2.2. Les deux recours ont été déposés en temps utile (art. 100 al. 1 LTF), y compris celui de la recourante 2 interjeté le 8 mai 2013. Lorsque le recourant 1 met en doute le respect du délai de recours par l'Administration cantonale, il perd de vue que la suspension des délais pendant les féries de Pâques, prévue à l'art. 46 al. 1 let. a LTF, est applicable à la procédure devant le Tribunal fédéral (cf., par exemple, arrêt 2C_834/2012 du 19 avril 2013 consid. 1), même si, devant les instances inférieures, une telle suspension n'existe pas en matière d'IFD (cf. arrêt 2C_628/2010 du 28 juin 2011 consid. 3.1, non publié in ATF 137 II 353 consid. 3.1 mais in RDAF 2011 II 405) ou, selon les cantons, pour l'ICC (arrêt 2C_503/2010 du 11 novembre 2010 consid. 2.3, StE 2011 B 92.8,). Pour le surplus, les recours sont dirigés contre une décision rendue par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF). Les deux recourants ont qualité pour agir: le contribuable destinataire de la décision attaquée a un intérêt digne de protection à son annulation ou sa modification (cf. art. 89 al. 1 LTF); l'Administration cantonale peut pour sa part recourir en application de l'art. 89 al. 2 let. d LTF en relation avec les art. 146 in fine LIFD et 73 al. 2 LHID, étant rappelé que pour l'ICC, elle ne peut pas recourir pour les périodes fiscales antérieures au 1er janvier 2001 (arrêt 2C_620/2012 du 14 février 2013 consid. 1.2, RDAF 2013 II 197).
2.3. Les conclusions du recourant 1 en tant qu'elles visent l'annulation de l'ensemble des amendes qui lui ont été infligées sont partiellement irrecevables, car elles dépassent l'objet du litige dans la mesure où elles portent sur l'annulation des amendes pour tentative de soustraction. En effet, le jugement de première instance a déclaré irrecevables les conclusions du recourant relatives à la contestation du principe même de l'amende pour tentative de soustraction fiscale, le contribuable n'ayant, dans le délai pour recourir, contesté que la quotité de l'amende. L'arrêt attaqué a confirmé cette position. Devant le Tribunal fédéral, le recourant 1 pourrait donc seulement se plaindre du refus d'entrer en matière, mais non du fond (cf. ATF 138 III 46 consid. 1.2 p. 48), ce qu'il ne fait du reste pas.
Quant à la recourante 2, elle s'est limitée à des conclusions cassatoires, alors qu'elle aurait aussi pu conclure sur le fond, dès lors que l'art. 107 al. 2 LTF l'emporte sur l'art. 73 al. 3 LHID (ATF 134 II 186 consid. 1.5.3 p. 192, confirmé in ATF 135 II 260 consid. 1.3.2 p. 263). De telles conclusions restent toutefois admissibles dans le cadre d'un recours en matière de droit public (cf. ATF 137 II 313 consid. 1.3 p. 317; 133 II 409 consid. 1.4.1 p. 414 s.), car l'on comprend ce que requiert l'Administration cantonale en concluant à l'annulation de l'arrêt attaqué sur les points contestés, ce qui correspond du reste au résultat auquel était parvenu la juridiction cantonale de première instance.
En revanche, l'argumentation présentée par la recourante 2 qui, comme elle l'admet elle-même, porte sur des périodes fiscales qui ne font pas directement l'objet du recours est irrecevable, le Tribunal fédéral n'examinant pas le litige dans son ensemble, mais uniquement la conformité de l'arrêt attaqué avec le droit fédéral.
2.4. D'après l'art. 90 LTF, le recours est recevable contre les décisions qui mettent fin à la procédure (décisions finales). Aux termes de l'art. 91 LTF, il est également recevable contre les décisions partielles qui statuent sur un objet dont le sort est indépendant de celui qui reste en cause (let. a) ou qui mettent fin à la procédure à l'égard d'une partie des consorts (let. b). Un arrêt de renvoi constitue en principe une décision incidente contre laquelle le recours au Tribunal fédéral n'est ouvert qu'aux conditions des
En l'espèce, s'agissant de périodes et d'impôts différents posant des questions juridiques distinctes, on est en présence de décisions partielles. L'arrêt attaqué a annulé les rappels d'impôts IFD 1996-1997, les amendes ICC 1998 à 2001-B pour tentative de soustraction d'impôts en raison de la prescription. Sur ces points, il a rendu une décision finale. Il a également annulé les reprises relatives au trust A.________ contenues dans les rappels d'impôts IFD 1998 et ICC 1995 à 1997, renvoyant le dossier à l'Administration fiscale cantonale pour nouvelles décisions conformes aux considérants. Ce renvoi porte sur le calcul du montant du rappel d'impôts, sans la reprise liée au trust A.________, et ne laisse donc aucune marge de manoeuvre à l'Administration cantonale. Sur ce point, il s'agit aussi d'une décision finale. Enfin, la cour cantonale a pour le surplus confirmé le jugement du TAPI du 27 octobre 2011. Ce jugement a admis partiellement le recours du contribuable considérant que le droit de procéder au rappel d'impôt pour l'IFD 1995 et l'amende y relatives, ainsi que les amendes ICC 1995 à 1997 étaient prescrits, ce qui n'est plus litigieux. Le TAPI a également déclaré irrecevable la contestation par le contribuable du principe de l'amende pour tentative de soustraction fiscale. Le recourant n'ayant pas remis en cause cet aspect devant la Cour de Justice, ce point est aussi définitivement tranché. Pour le surplus, le jugement de première instance déboute le recourant et renvoie la cause à l'Administration cantonale, lui ordonnant de rectifier les taxations en cause sur les points précis qu'elle avait elle-même admis dans ses écritures (art. 105 al. 2 LTF). Ces renvois ne laissent aucune marge de manoeuvre au fisc. Par conséquent, en confirmant le jugement de première instance, l'arrêt attaqué revêt également les caractéristiques d'une décision finale. Il convient donc d'entrer en matière en vertu des
3.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (
Il vérifie les questions de droit en se fondant sur les faits constatés par l'autorité précédente (art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (ATF 138 I 49 consid. 7.1 p. 51) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente (cf. art. 97 al. 1 LTF), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées. Sinon, il n'est pas possible de tenir compte d'un état de fait divergeant de celui qui est contenu dans l'acte attaqué (ATF 136 III 455 consid. 2 p. 457; 135 II 313 consid. 5.2.2 p. 322). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (ATF 136 II 101 consid. 3 p. 104; 135 II 313 consid. 5.2.2 p. 322).
4.
4.1. Compte tenu des conclusions des parties et des aspects déjà tranchés définitivement devant les instances inférieures, le litige devant la Cour de céans porte sur les rappels d'impôts IFD 1997-1998 et ICC 1995-1997, sur l'amende pour tentative de soustraction ICC-2001-B, sur le montant des amendes pour tentatives de soustraction IFD 1999-2000 et 2001-B et ICC 2001-B et sur les amendes pour soustraction consommée IFD 1996-1998.
4.2. Les parties contestent ces aspects sur des points différents. L'Administration cantonale s'en prend à l'arrêt attaqué dans la mesure où il déclare prescrits le rappel d'impôt IFD 1997 ainsi que l'amende pour tentative de soustraction fiscale ICC 2001-B et où il refuse la reprise de la dette par rapport au trust A.________ en lien avec le rappel d'impôt IFD 1998, voire le rappel d'impôt 1997 si celui-ci n'est pas prescrit. Pour sa part, le contribuable conclut, de manière générale, à l'annulation de l'arrêt attaqué s'agissant des rappels d'impôts et des amendes et au renvoi à la Cour de Justice. Les rappels d'impôts encore à la charge du recourant concernent l'IFD 1998 (voire 1997 si c'est à tort que la Cour de Justice a admis la prescription) et l'ICC 1995 à 1997. Quant aux amendes, il s'agit des amendes pour soustraction consommée en lien avec l'IFD 1996 à 1998 et pour tentative de soustraction en matière d'IFD 1999-2000 et 2001-B, ainsi qu'en matière d'ICC 2001-B (à condition que la prescription ne soit pas atteinte). Il convient de rappeler que le principe même des amendes pour tentative de soustraction ne peut être revu dans le cadre de la présente procédure (cf. supra consid. 2.4).
4.3. Après la détermination du droit applicable et la vérification de la prescription (consid. 5 et 6 infra), il se justifie de commencer par examiner le recours de l'Administration cantonale qui, en tant qu'il conteste la prescription constatée dans l'arrêt attaqué, a une incidence sur l'étendue des périodes fiscales déterminantes.
II.
Droit applicable et prescription
5.
5.1. En l'absence d'une réglementation expresse contraire, le droit applicable à la taxation est celui en vigueur pendant la période fiscale en cause (cf. arrêts 2C_620/2012 du 14 février 2013 consid. 3.1, RDAF 2013 II 197; 2A.209/2005 du 3 novembre 2005 consid. 3.2, RtiD 2006 I 471). Le rappel d'impôt relevant du droit matériel, le droit applicable obéit aux mêmes règles (cf. arrêts 2C_620/2012 du 14 février 2013 consid. 3.1, RDAF 2013 II 197; 2P.411/1998 du 31 janvier 2000 consid. 10a et 10d/aa). Au niveau du droit fédéral, la LIFD (RS 642.11) est entrée en vigueur le 1er janvier 1995. Elle est par conséquent applicable à la présente procédure en tant qu'elle porte sur l'IFD 1997-1998. Aux termes de l'art. 72 al. 1 LHID, les cantons devaient adapter leur législation à la loi sur l'harmonisation fiscale dans les huit ans qui suivaient l'entrée en vigueur de cette loi, soit jusqu'au 1er janvier 2001, étant donné que la LHID est entrée en vigueur le 1er janvier 1993. Le canton de Genève a adapté sa législation avec effet au 1er janvier 2001. L'amende pour tentative de soustraction d'impôts 2001-B tombe donc sous le coup des dispositions harmonisées, soit - en 2001 - de l'ancienne loi genevoise sur l'imposition des personnes physiques du 22 septembre 2000 (aLIPP/GE). Dans la mesure où les griefs du recourant 1 concernent les rappels d'impôts ICC 1995-1997, l'ancien droit, antérieur à la LHID, est applicable, à savoir l'ancienne loi générale genevoise sur les contributions publiques du 9 novembre 1887, dans sa teneur préalable à la modification du 1er janvier 2001 (aLCP/GE; RS/GE D 3 05; cf. art. 85 de la loi genevoise de procédure fiscale du 4 octobre 2001 (LPFisc/GE; RS/GE D 3 17).
5.2. La prescription ou la péremption sont des questions de droit matériel que le Tribunal fédéral examine d'office lorsqu'elles jouent en faveur du contribuable (cf. ATF 138 II 169 consid. 3.2 p. 171).
5.2.1. Pour ce qui est de la procédure pour soustraction d'impôt consommée IFD 1996, la Cour de Justice a retenu qu'elle n'était pas prescrite (arrêt attaqué, p. 23). Eu égard à la contestation de l'ensemble des amendes par le recourant 1, cette procédure fait aussi l'objet du présent litige. Il convient partant de vérifier ce point.
Le 1er octobre 2002, les règles sur la prescription figurant à l'art. 333 du Code pénal ont été modifiées, ce qui a une incidence directe sur les délais de prescription de la LIFD. Lorsque, comme en l'espèce, les actes délictueux ont été commis avant le 1er octobre 2002, les nouvelles règles ne s'appliquent que si elles sont plus favorables en vertu du principe de la lex mitior. Selon le nouvel art. 333 al. 6 let. d CP, jusqu'à l'adaptation des lois fédérales topiques, la prescription de l'action pénale ne court plus si avant son échéance un jugement de première instance a été rendu. Cette nouvelle disposition supprime le risque que l'action pénale se prescrive durant la procédure devant le Tribunal fédéral, ce qui justifiait l'examen d'office de cette question et se révèle donc moins favorable que l'ancien droit. Quant aux délais eux-mêmes, l'art. 184 LIFD s'avère en principe plus favorable et demeure applicable. Ainsi, jusqu'à la modification du 1er octobre 2002, le délai de prescription absolue était de six ans en matière de tentative de soustraction fiscale (cf. art. 184 al. 1 let. a LIFD combiné avec l'art. 184 al. 2 in fine LIFD). Désormais, il est de huit ans sur la base de l'art. 333 al. 6 let. a CP, disposition qui s'applique jusqu'à ce que la LIFD soit adaptée. Quant à la soustraction consommée, le délai de prescription absolu est de 15 ans sous l'ancien droit (art. 184 al. 2 LIFD), alors qu'il est de 20 ans en application de l'art. 333 al. 6 let. a CP. La lex mitior commande donc d'appliquer l'art. 184 LIFD, sans tenir compte du nouvel art. 333 CP (arrêt 2C_724/2010 du 27 juillet 2011 consid. 6.3.1, RDAF 2012 II 37, et les références citées).
En l'espèce, l'amende pour soustraction consommée IFD 1996 a trait à la période fiscale 1995-1996. La commission de l'infraction considérée est donc antérieure au 1er octobre 2002, si bien qu'en matière de prescription, le délai figurant à l'art. 184 al. 1 let. b cum al. 2 in fine LIFD trouve à s'appliquer au titre de lex mitior. Or, l'arrêt attaqué a omis de tenir compte du délai de prescription absolu, car la procédure était prescrite depuis le 31 décembre 2011, ce que reconnaît du reste la recourante 2. Il incombe ainsi au Tribunal fédéral de constater d'office ladite prescription et de modifier l'arrêt querellé sur ce point.
5.2.2. Pour le surplus, le présent arrêt a été rendu la même année que l'arrêt attaqué. La Cour de Justice a examiné dans le détail la prescription s'agissant des rappels d'impôts, des taxations, des amendes pour soustraction et tentative de soustraction fiscale, sous l'angle de l'IFD et de l'ICC. Sous réserve de ce qui précède (consid. 5.2.1 supra), il n'y a pas lieu d'y revenir, car il n'apparaît pas que d'autres prétentions que celles admises dans l'arrêt attaqué et au précédent considérant aient été prescrites, de sorte que le contribuable serait défavorisé par l'arrêt attaqué. Au demeurant, la Cour de céans n'a pas à vérifier d'office si le recourant 1 a été favorisé parce que l'arrêt attaqué aurait retenu à tort que la prescription était acquise. Cette question sera en revanche examinée en fonction des griefs soulevés par la recourante 2.
III. Recours de la recourante 2
Prescription du rappel d'impôt IFD 1997
6.
La recourante 2 reproche à la Cour de Justice d'avoir confondu l'année fiscale et la période fiscale, en violation des art. 40 al. 1 LIFD et 152 al. 3 LIFD, en considérant que le rappel d'impôt IFD 1997 était atteint par la prescription.
6.1. Selon l'art. 152 al. 3 LIFD, le droit de procéder au rappel de l'impôt s'éteint 15 ans
après la fin de la période fiscale à laquelle il se rapporte. La version allemande utilise le terme de
Steuerperiode, et le texte italien de
periodo fiscale. Selon l'art. 40 al. 2 LIFD, applicable avant le 1er janvier 2001 (Xavier Oberson, Droit fiscal suisse, 4e éd., 2012, p. 191 n. 350 et p. 194 n. 361; cf. art. 41 LIFD), la période fiscale comprend deux années civiles consécutives. Elle commence le premier jour des années impaires. L'année fiscale est définie à l'art. 40 al. 3 LIFD et correspond à l'année civile. Il découle ainsi clairement du texte des dispositions applicables que la prescription, pour les périodes fiscales bisannuelles, commence après la fin de la deuxième année concernée, qui sera une année paire. Les commentaires soulignent, sans développement particulier, que le point de départ du délai de l'art. 152 al. 3 LIFD se situe bien à la fin de la période fiscale à laquelle il se rapporte (Richner/Frei/Kaufmann/Meuter, Handkommentar zum DBG, 2e éd., 2009, art. 152 n. 5; Hugo Casanova, Commentaire romand LIFD, 2008, art. 152 n. 2). Le Tribunal fédéral ne s'est jamais expressément prononcé sur ce point. Il est vrai que, dans des arrêts non publiés aux ATF, il a adopté parfois une position lexicalement peu conséquente, mentionnant la période fiscale, mais tenant compte en réalité de l'année fiscale pour calculer le délai de prescription (cf. arrêts 2C_88/2011 du 3 octobre 2011 consid. 2.3.1, RDAF 2012 II 131; 2C_724/2010 du 27 juillet 2011 consid. 6.1, RF 66/2011 p. 871). En revanche, dans un arrêt récent publié, il a indiqué que, pour l'IFD relatif à la période 1995/96, le délai de 15 ans prévu à l'art. 152 al. 3 LIFD arrivait à expiration le 31 décembre 2011 (ATF 138 II 169 consid. 4 p. 172). Dans un arrêt plus ancien, cette conception avait aussi été suivie (arrêt 2P.92/2005 du 30 janvier 2006 consid. 4.2, RF 61/2006 p. 523). C'est ce mode de calcul, qui correspond à la lettre de la loi, qui doit être appliqué.
6.2. En l'occurrence, la période fiscale litigieuse en matière d'IFD était bisannuelle et allait de 1997 à 1998. Le délai de l'art. 152 al. 3 LIFD arrive ainsi à expiration au 31 décembre 2013, de sorte que c'est à tort que l'arrêt attaqué a considéré que le rappel d'impôt IFD 1997 était prescrit. La recourante 2 obtient donc gain de cause sur ce point et l'arrêt attaqué doit être annulé en ce qu'il constate que le rappel d'impôt IFD 1997 est prescrit et annule le jugement du TAPI sur ce point. Le rappel d'impôt IFD 1997 devra ainsi être calculé sur les mêmes bases que le rappel d'impôt IFD 1998.
Prescription de l'amende pour tentative de soustraction ICC 2001-B
7.
La recourante 2 reproche à la Cour de Justice d'avoir retenu que l'amende pour tentative de soustraction ICC 2001-B était prescrite, omettant d'appliquer la LHID. Le recourant 1 relève lui-même que ce grief n'est pas dénué de pertinence.
7.1. La Cour de Justice a considéré que l'amende pour tentative de soustraction d'impôt portant sur l'ICC 2001-B était prescrite en application de l'ancien droit cantonal (art. 341 aLCP/GE) et des règles générales du droit pénal. Ce faisant, elle a toutefois perdu de vue que la LHID, en particulier son art. 58, était en principe applicable à cette période fiscale (cf. art. 72 LHID; supra consid. 5.1). Par analogie avec le raisonnement suivi en lien avec l'art. 184 LIFD (cf. consid. 5.2.1 supra), l'art. 58 LHID demeure en effet applicable en tant que lex mitior s'agissant des délais de prescription pour des infractions fiscales commises avant l'entrée en vigueur, le 1er octobre 2002, de l'art. 333 CP. Au demeurant, ce ne sont pas les délais qui sont litigieux ici, mais le dies a quo du délai de prescription.
7.2. En vertu de l'art. 58 al. 1 et al. 3 LHID, la prescription relative à la poursuite de la tentative de soustraction est soumise à un délai de prescription absolu de six ans. Celui-ci ne commence à courir qu'à compter de la clôture définitive de la procédure au cours de laquelle la tentative de soustraction a été commise (cf. arrêt 2C_724/2010 du 27 juillet 2011 consid. 6.4, RF 66/2011 p. 871 et les références citées).
En l'occurrence, la procédure relative à l'amende pour tentative de soustraction d'impôt ICC 2001-B fait précisément l'objet du présent recours devant le Tribunal fédéral. Par conséquent, le délai de prescription précité n'a pas encore commencé à courir, de sorte qu'il ne saurait y avoir prescription in casu. Le recours de l'Administration cantonale doit donc également être admis à cet égard. L'arrêt attaqué sera ainsi annulé en tant qu'il constate la prescription de l'amende ICC 2001-B pour tentative de soustraction d'impôts et annule le jugement du TAPI sur ce point. Cette amende devra être traitée, sur le fond, de la même façon que les autres amendes pour tentative de soustraction fiscale IFD, dès lors que la solution mise en place par la LHID est calquée sur la LIFD (cf. arrêt 2C_908/2011 du 23 avril 2012 consid. 4, RDAF 2012 II 324). A ce titre, il sera également rappelé que le principe même d'une telle amende ne peut plus être contesté par le recourant 1 (cf. consid. 2.4 supra).
Rappel d'impôt en relation avec le prêt passé avec le trust A.________
a.
IFD 1997 et 1998 (cf. consid. 6)
8.
Selon l'arrêt attaqué, le rappel d'impôt en lien avec un prétendu contrat de prêt passé entre le recourant 1 et le trust A.________ n'était pas fondé, au motif que l'Administration cantonale ne disposait, au moment de la taxation, ni du contrat de prêt ni d'un autre document attestant l'existence de ce dernier ou encore d'un prétendu accord entre le recourant 1 et l'Administration cantonale justifiant ces déductions.
La recourante 2 conteste ce raisonnement. Elle soutient que les déclarations fiscales établies par le contribuable mentionnaient des intérêts de respectivement 35'894 fr. et 37'694 fr., ainsi qu'une dette de 4'200'000 fr. en relation avec ce prêt. En signant ces déclarations, les contribuables avaient certifié que celles-ci étaient sincères, complètes et conformes à la vérité, de sorte que l'administration pouvait sur cette base déduire les intérêts de la dette et la dette déclarés, sans solliciter de justificatifs sur ces postes.
8.1. D'après l'art. 151 LIFD, lorsque des moyens de preuve ou des faits jusque-là inconnus de l'autorité fiscale lui permettent d'établir qu'une taxation n'a pas été effectuée, alors qu'elle aurait dû l'être, ou qu'une taxation entrée en force est incomplète ou qu'une taxation non effectuée ou incomplète est due à un crime ou à un délit commis contre l'autorité fiscale, cette dernière procède au rappel de l'impôt qui n'a pas été perçu, y compris les intérêts. Le rappel d'impôt n'est soumis qu'à des conditions objectives: il implique qu'une taxation n'a, à tort, pas été établie ou est restée incomplète, de sorte que la collectivité publique a subi une perte fiscale; il suppose aussi l'existence d'un motif de rappel. Ce motif peut résider dans la découverte de faits ou de moyens de preuve inconnus jusque-là, soit des faits ou moyens de preuve qui ne ressortaient pas du dossier dont disposait l'autorité fiscale au moment de la taxation. Il n'est pas nécessaire que le contribuable ait commis une faute (arrêts 2C_104/2008 du 20 juin 2008 consid. 3.3; 2A.300/2006 du 27 février 2007 consid. 3.3 et les références citées, RF 62/2007 p. 369). Le contribuable doit, pour sa part, remplir la formule de déclaration d'impôt de manière conforme à la vérité et complète (cf. art. 124 al. 2 LIFD) et y joindre les annexes, notamment l'état complet des dettes (cf. art. 125 al. 1 let. c LIFD; cf. arrêt 2C_835/2012 du 1er avril 2013 consid. 7.2.3). Lorsque le contribuable se heurte à une incertitude quant à un élément de fait, il ne doit pas la dissimuler, mais bien la signaler dans sa déclaration. Dans tous les cas, il doit décrire les faits de manière complète et objective (arrêt 2C_879/2008 du 20 avril 2009 consid. 5.1 et les arrêts cités, RDAF 2009 II 386). En d'autres termes, l'autorité fiscale ne doit se livrer à des investigations complémentaires au moment de procéder à la taxation que si la déclaration contient indiscutablement des inexactitudes flagrantes. Lorsque l'autorité fiscale aurait dû se rendre compte de l'état de fait incomplet ou inexact, le rapport de causalité adéquate entre la déclaration lacunaire et la taxation insuffisante est interrompu et les conditions pour procéder ultérieurement à un rappel d'impôt font défaut (arrêt 2C_104/2008 du 20 juin 2008 consid. 3.3 et les références citées). En revanche, des inexactitudes qui ne sont que décelables, sans être flagrantes, ne permettent pas de considérer que certains faits ou moyens de preuve étaient déjà connus des autorités au moment de la taxation (arrêt 2C_632/2012 du 28 juin 2013 consid. 3.4). La Cour de céans a récemment souligné que l'autorité fiscale peut en principe considérer que la déclaration d'impôt est conforme à la vérité et complète. Elle n'a pas l'obligation, en l'absence d'indice particulier, de se mettre à la recherche de renseignements supplémentaires. En vertu de la maxime inquisitoriale, l'autorité fiscale doit en revanche procéder à des investigations supplémentaires lorsqu'il ressort de manière évidente du dossier que les éléments de faits déterminants sont incomplets ou peu clairs. Dans tous les cas, la rupture du lien de causalité doit être soumise à des exigences sévères, à savoir une négligence grave imputable à l'autorité fiscale (arrêts 2C_1225/2012 du 7 juin 2013 consid. 3.1; 2C_123/2012 du 8 août 2012 consid. 5.3.4).
8.2. En l'espèce, il n'est pas contesté que le contribuable a fourni une déclaration comprenant des indications apparemment complètes concernant le prêt litigieux et les intérêts. Certes, il n'a pas joint, comme il le devait, les annexes propres à établir en particulier l'état de ses dettes. Dans un tel cas, on ne peut considérer que l'autorité fiscale aurait dû inférer de l'absence d'annexe l'existence d'une inexactitude flagrante empêchant un rappel d'impôts ultérieur en application de l'art. 151 LIFD. Le raisonnement de la Cour de Justice ne peut donc être suivi. Il ressort par ailleurs des faits constatés que les autres conditions au rappel d'impôt sont réunies. Ainsi, c'est à l'occasion des taxations ordinaires, en particulier IFD 1999 à 2001, que l'autorité fiscale s'est aperçue de ce que le contribuable n'était pas en mesure de démontrer l'existence du prêt invoqué en lien avec le trust A.________ ni le prétendu accord convenu avec elle-même. Cette incapacité de produire des pièces était propre à démontrer que la taxation IFD 1997-1998 avait à tort pris en compte ce prêt et les intérêts déclarés par le contribuable, faisant ainsi subir à la collectivité publique une perte.
La position du recourant 1, qui conteste la reprise sur le fond, ne peut être suivie. Sur ce point, il convient de se référer aux faits retenus dans l'arrêt attaqué à propos du refus de tenir compte des intérêts et du prêt en lien avec les taxations IFD 1999 à 2001. Il a été constaté à cet égard que le dossier ne contenait aucune pièce attestant de l'existence d'un prêt passé entre le contribuable et le trust A.________ ni aucun accord avec l'autorité fiscale dont se prévalait le recourant, alors qu'il appartenait à ce dernier d'apporter la preuve de ces éléments, propres à diminuer sa dette fiscale (cf. ATF 121 II 257 consid. 4c/aa p. 266; arrêt 2C_549/2012 du 16 mai 2013 consid. 3.1). Le recourant 1 ne soutient pas que ces faits seraient manifestement inexacts ou arbitraires (cf. art. 97 al. 1 LTF), de sorte qu'il n'y a pas lieu de s'en écarter (cf. art. 105 LTF). Il se contente d'évoquer, de manière appellatoire, un entretien avec la direction de l'administration recourante du 19 avril 1996, ce qui ne saurait suffire.
Le contribuable fait également valoir une contradiction entre le refus d'admettre la déductibilité des intérêts liés au prêt avec le trust A.________ et l'imposition, à titre de revenu, de toute distribution subséquente du trust au contribuable. Ce faisant, il perd de vue que le principe même de la déduction de ces intérêts n'a pas été exclu par l'autorité fiscale, à condition que ceux-ci correspondent effectivement à un prêt. Or, comme aucun élément ne permet d'établir l'existence de ce prêt, il n'y a pas lieu d'admettre une déduction d'intérêts s'y rapportant, sans que cette conclusion s'avère contraire à l'imposition à titre de revenu des montants distribués au contribuable par le trust A.________.
Il en découle que le recours de l'Administration cantonale doit aussi être admis sur ce point, et l'arrêt attaqué annulé en tant qu'il annule les reprises relatives au prétendu prêt avec le trust A.________ contenues dans les rappels d'impôts IFD 1998. Cette reprise vaut aussi pour 1997, puisque la période fiscale 1997-1998 dans son ensemble n'est pas atteinte par la prescription (cf. consid. 6 supra). Dès lors que les conditions d'une reprise et le bien-fondé de celle-ci doivent être admis sur la base des faits de l'arrêt attaqué, il n'y a pas lieu de renvoyer la cause à la cour cantonale pour complément d'instruction comme le souhaiterait le recourant 1, mais, à l'instar du TAPI dans le jugement de première instance, renvoyer la cause à l'Administration cantonale pour qu'elle fixe le rappel d'impôt IFD 1997-1998 en tenant compte de la reprise litigieuse.
b.
ICC 1995 à 1997
8.3. Pour ce qui est des impôts cantonaux et communaux, l'Administration cantonale n'a pas qualité pour recourir s'agissant des périodes antérieures à 2001 (cf. arrêt 2C_620/2012 du 14 février 2013 consid. 1.2.1 s.). A juste titre, elle ne remet ainsi pas en cause l'arrêt attaqué qui refuse les reprises relatives au prêt avec le trust A.________ s'agissant de l'ICC 1995 à 1997. Ces années n'étant pas couvertes par le droit harmonisé, seul le droit cantonal s'appliquait. La Cour de céans ne revoyant pas ce droit d'office (art. 106 al. 2 LTF; ATF 134 II 207 consid. 2 p. 210; arrêts 2C_620/2012 précité, consid. 2; 2C_734/2008 du 29 janvier 2009 consid. 1.2), il ne lui appartient pas de vérifier si c'est à juste titre que les reprises en cause ont été refusées et les décisions antérieures annulées en lien avec l'ICC 1995 à 1997.
IV. Recours du recourant 1
Violation du droit à être entendu personnellement par le juge (amendes IFD et tentative de soustraction fiscale ICC 2001-B considérée à tort comme non prescrite [cf. consid. 7]
)
9.
9.1. Le recourant 1 reproche à la Cour de Justice d'avoir confirmé la position du TAPI selon laquelle il ne devait pas être entendu oralement, malgré la requête formulée le 30 août 2011, au motif qu'il avait pu s'exprimer par écrit à plusieurs reprises. Il y voit une violation de son droit d'être entendu en lien avec l'art. 6 par. 1 CEDH.
9.2. L'art. 6 CEDH ne trouve pas application dans les procédures fiscales qui n'ont pas un caractère pénal (ATF 132 I 140 consid. 2.1 p. 146 et les références citées; cf. Obrist/Gonin, Grundrechte und Steuerrecht: unerwartete Interaktionen?, in Jusletter 12 mars 2012, n. 33). Les procédures en rappel d'impôt n'y sont donc pas soumises (cf. arrêts 2C_76/2009 du 23 juillet 2003 consid. 2.2, RF 64/2009 p. 834; 2P.4/2007 du 23 août 2007 consid. 4.2; 2A.480/2005 du 23 février 2006 consid. 2.2, RF 61/2006 p. 372). En revanche, la procédure réprimant la soustraction fiscale est une procédure à caractère pénal à laquelle l'art. 6 CEDH est applicable (ATF 138 IV 47 consid. 2.6.1 p. 51; 121 II 257 consid. 4 p. 264; arrêt 2C_232/2011 du 25 octobre 2011 consid. 2.2; cf. arrêt de la Cour européenne des droits de l'Homme [ci-après: la Cour EDH]
A.P., M.P. et T.P. c. Suisse, du 29 août 1997, req. 19958/92, Rec. 1997-V, par. 40 ss). En ce domaine, le contribuable peut en principe se prévaloir d'un droit à être entendu oralement, ce que le Tribunal fédéral a déjà reconnu dans un arrêt datant de 1993 (ATF 119 Ib 311 consid. 7a p. 331 s.). Cette position correspond du reste à la jurisprudence de la Cour EDH, qui réserve toutefois des circonstances particulières, notamment si la somme en jeu est minime (cf. arrêt Jussila c. Finlande [GC], du 23 novembre 2006, req. 73053/01, Rec. 2006-XIV, par. 40 ss). Cette audition n'est cependant pas automatique, il faut que le contribuable en fasse la demande (arrêt 2C_232/2011 du 25 octobre 2011 consid. 2.2 et les références citées). En outre, le fait que le contribuable ait pu s'expliquer par oral devant les autorités administratives n'est pas déterminant, car le droit à être entendu oralement et en personne découlant de l'art. 6 par. 1 CEDH ne se rapporte qu'à la procédure judiciaire (arrêt 2A.617/1998 du 30 mars 2000 consid. 3a; cf. aussi Jens Meyer-Ladewig, EMRK-Handkommentar, 3e éd., 2011, p. 163 s. n. 169 ss).
9.3. En l'espèce, le recourant 1 a expressément demandé à être entendu devant le TAPI, qui n'y a pas donné suite, ce qu'a confirmé la Cour de Justice. L'amende initiale totale qui était alors en jeu en matière d'IFD dépassait 240'000 fr. (art. 105 al. 2 LTF); au cours de la procédure, ce montant s'est certes réduit dès lors que certaines reprises n'ont pas été admises et qu'une partie des infractions avait été atteinte par la prescription. Bien que le montant définitif doive encore être fixé par l'Administration cantonale, il ne saurait, compte tenu de la somme des impôts dont la soustraction est en jeu, en tous les cas être qualifié de minime, ce qui exclut une dérogation à l'art. 6 par. 1 CEDH. Enfin, la possibilité qu'a eue le contribuable de s'exprimer par oral devant les autorités fiscales ne compense pas l'absence d'audition devant une autorité judiciaire.
Il en découle qu'il y a eu violation du droit du recourant 1 à être entendu oralement au sens de l'art. 6 par. 1 CEDH s'agissant des décisions relatives aux
infractions fiscalesencore litigieuses. Une telle violation ne peut être réparée devant le Tribunal fédéral, qui ne dispose pas d'une pleine cognition (ATF 137 I 195 consid. 2.7 p. 199 ). Il convient partant d'annuler l'arrêt attaqué s'agissant de ces infractions, sans examiner les chances de succès du recourant sur le fond (cf. ATF 135 I 279 consid. 2.6.1 p. 285).
9.4. Le recourant 1 demande que sa cause soit renvoyée au TAPI au motif que la Cour de Justice, s'agissant de statuer sur les amendes, limite sa cognition au point de savoir si l'instance inférieure a abusé de son pouvoir d'appréciation (recours, p. 11). Une telle position ne peut être suivie. En effet, en procédure administrative genevoise, les autorités de recours, soit aussi bien le TAPI que la Cour de Justice (lorsque la loi prévoit deux instances judiciaires de recours) ont le même pouvoir d'examen. En vertu de l'art. 61 al. 1 de la loi cantonale sur la procédure administrative du 12 septembre 1985 [LPA/GE; RS/GE E 5 10], sur renvoi de l'art. 2 al. 2 de la loi genevoise de procédure fiscale du 4 octobre 2001; RS/GE D 3 17), elles vérifient la violation du droit y compris l'excès et l'abus du pouvoir d'appréciation, ainsi que la constatation inexacte ou incomplète des faits pertinents. Par conséquent, l'on ne voit pas qu'il se justifie de renvoyer la cause au TAPI. Il appartiendra donc à la Cour de Justice d'entendre le recourant avant de statuer à nouveau sur les amendes fiscales.
9.5. Il convient de préciser que l'audition ne doit porter que sur les aspects encore litigieux et ne saurait aboutir à une extension du litige. Partant, les conclusions du recourant 1 remettant en cause le principe même d'une amende pour tentatives de soustraction fiscale ayant été jugées irrecevables, ce qui n'est pas contesté, il ne peut prétendre à être entendu sur cet aspect.
9.6. A juste titre, le recourant 1 limite sa demande à être entendu oralement à la procédure relative aux amendes qui lui ont été infligées et ne l'étend pas aux décisions relatives aux reprises et aux taxations.
9.6.1. Sous l'angle de l'art. 29 al. 2 Cst. qui garantit le droit d'être entendu dans les procédures purement fiscales, dépourvues de connotation pénale, il n'existe pas, de façon générale, un droit d'être entendu oralement (cf. ATF 134 I 140 consid. 5.3 p. 148; 130 II 425 consid. 2.1 p. 428 s.; arrêt 2C_834/2012 du 19 avril 2013 consid. 4.1).
9.6.2. Quant à l'art. 6 par. 1 CEDH, il ne s'applique pas à ces procédures (cf. supra consid. 9.2). Il peut toutefois arriver que des droits garantis par l'art. 6 par. 1 CEDH applicables aux procédures pénales fiscales débordent le seul cadre pénal et interagissent sur les procédures purement fiscales. La Cour EDH l'admet lorsque des éléments portant sur l'imposition proprement dite (exorbitante au champ de l'art. 6 CEDH) et des éléments liés au contentieux des pénalités fiscales (attribués au volet pénal de l'art. 6 CEDH) se trouvent combinés dans une même instance, de sorte qu'il est impossible de distinguer les phases d'une procédure qui portent sur une " accusation en matière pénale " de celles ayant un autre objet, ce qui peut justifier d'examiner l'ensemble de la problématique sous l'angle de l'art. 6 CEDH (Cour EDH, arrêt
Jussila c. Finlande [GC], précité, par. 45). Tel est le cas de l'interdiction de s'incriminer soi-même. A ce sujet, la Cour EDH a, dans une affaire récente concernant la Suisse (arrêt
Chambaz c. Suisse, du 5 avril 2012, req. 11663/04, par. 40 à 43; cf. aussi arrêt
J.B. c. Suisse, du 3 mai 2001, req. 31827/96, Rec. 2001-III, par. 47 s.), estimé contraire à l'art. 6 CEDH le fait pour le fisc d'avoir - dans le contexte d'une reprise d'impôt - infligé des amendes au contribuable au motif qu'il n'avait pas fourni des documents susceptibles de l'incriminer dans une éventuelle procédure pour soustraction d'impôt subséquente.
S'agissant du droit d'être entendu oralement au sens de l'art. 6 par. 1 CEDH, la situation n'est pas similaire. Si les procédures en rappel d'impôt et celles relatives à la soustraction fiscale procèdent indéniablement d'un même complexe de faits et sont souvent menées en parallèle, elles donnent lieu à des décisions distinctes qui peuvent être dissociées sans difficulté. De surcroît, on n'est pas en présence d'un cas où le refus d'entendre le contribuable par oral dans le cadre de la détermination d'impôt léserait les garanties de ce même contribuable, tel le droit de ne pas s'auto-incriminer, dont il doit pouvoir bénéficier dans la procédure pénale en soustraction, puisqu'il va en tous les cas pouvoir exprimer sa position oralement en ce qui concerne l'infraction fiscale. C'est du reste essentiellement en lien avec les circonstances personnelles propres à influencer le montant de l'amende que l'audition peut s'avérer utile (cf. art. 175 al. 2, 2e phr., LIFD; arrêt 2C_851/2011 du 15 août 2012 consid. 3.3, RF 67/2012 p. 759). Or, ces circonstances ne sont déterminantes que sur le plan de la procédure pénale. En l'espèce, le recourant 1 souligne d'ailleurs que l'audience qu'il sollicite n'a pas pour objectif principal de discuter du bien-fondé de l'évaluation des impôts, mais d'exposer ses circonstances personnelles. Par conséquent, il n'y a pas lieu d'étendre le droit à une audition orale découlant de l'art. 6 par. 1 CEDH qui s'applique aux décisions concernant les infractions fiscales, aux procédures de taxation menées parallèlement.
Reprises en lien avec les actions de la banque D.________
10.
Le recourant conteste les reprises qui ont été effectuées en lien avec les actions de la banque D.________. Il reproche en substance à la Cour de Justice d'avoir refusé d'admettre qu'il détenait ces titres de manière fiduciaire uniquement. Il se plaint à cet égard d'une violation du droit à la preuve, d'arbitraire dans l'établissement des faits et d'une violation du droit de fond.
10.1. L'arrêt attaqué retient que le contribuable, alors qu'il soutient détenir les actions de la banque D.________ pour le compte du trust A.________ et de la société E.________, ne produit aucun contrat de fiducie écrit. En outre, bien qu'il ait contesté les reprises fiscales liées aux actions D.________ depuis sa réclamation du 18 décembre 2001, ce n'est que devant le TAPI qu'il a commencé à fournir des pièces de manière échelonnée tendant à démontrer ses allégations. Ainsi, jusqu'au 30 novembre 2010, le contribuable prétendait détenir lesdites actions pour le seul compte du trust A.________ et avait produit, à titre de preuve, une lettre rédigée par lui-même du 10 décembre 1997 et adressée au trustee du trust A.________. Dans sa réplique devant le TAPI du 30 novembre 2010, il a modifié sa version des faits et affirmé détenir une partie desdites actions pour le compte d'investisseurs étrangers très puissants souhaitant la plus grande discrétion. Il a alors produit trois documents : un contrat de prêt du 24 novembre 1997 entre la société E.________ et F.________ d'un montant de 7 millions de francs; une lettre du 17 décembre 1997 rédigée par le recourant 1 et contresignée pour accord par E.________ lui donnant le droit d'acquérir 130'000 actions de la banque D.________ en échange d'un prix non précisé à verser à F.________; une convention du 15 mai 2009 conclue par le contribuable en son nom personnel et pour le compte de F.________, avec E.________ au sujet d'un différend portant sur les conventions de novembre 1997, selon laquelle E.________ recevait 4 millions de francs d'une personne non identifiée. La Cour de Justice, confirmant la position du TAPI, retient que, ni la lettre du 10 décembre 1998, ni ces trois pièces ne permettent d'apporter la preuve évidente d'une relation fiduciaire entre le contribuable et E.________, ainsi que le Trust A.________. Les juges s'interrogent enfin sur la portée d'une sentence arbitrale du 27 novembre 2012 concernant un litige lié à la convention du 15 mai 2009, que le contribuable a produite devant la Cour de Justice. Ce document mentionne l'existence d'un autre contrat datant du 24 novembre 1997 par lequel F.________ a accordé au contribuable un prêt sans intérêt de 9 millions de francs dans le but d'acquérir 169'900 actions au porteur de la banque D.________ dont 39'900 sont détenues pour le compte d'un autre fiduciant dont l'identité n'a pas été donnée. La Cour de Justice a souligné que le contribuable n'avait jamais mentionné l'existence de ce contrat, qui n'a été révélée que de manière indirecte, par la production de la sentence arbitrale. Or, ni ce contrat ni la sentence arbitrale qui fondait l'existence du contrat fiduciaire avec E.________ sur des déclarations concordantes du contribuable et de la partie adverse ne constituaient des éléments de preuves suffisants pour établir l'existence d'une relation fiduciaire.
10.2. Le recourant 1 estime que la Cour de Justice a méconnu son
droit à la preuve, en particulier la maxime inquisitoire, en ne l'invitant pas à produire le contrat de prêt du 24 novembre 1997 mentionné dans la sentence arbitrale tout en lui reprochant de ne pas l'avoir fourni et en ne procédant pas à l'audition de deux témoins.
10.2.1. Au préalable, il convient de souligner que les pièces produites pour la première fois devant le Tribunal fédéral par le contribuable, en particulier le contrat du 24 novembre 1997, sont irrecevables (art. 99 al. 1 LTF). Il en va de même des explications complémentaires de nature appellatoire figurant dans la partie en fait qui concernent la procédure arbitrale (cf. supra consid. 3).
10.2.2. En vertu de la maxime inquisitoire, les autorités fiscales établissent d'office les faits pertinents (cf. arrêt 2C_1201/2012 du 16 mai 2013 consid. 4.5). Cette maxime ne dispense pas pour autant les parties de collaborer à l'établissement des faits (arrêt 2C_84/2012 du 15 décembre 2012 consid. 3.1, non publié in ATF 139 IV 137), notamment le contribuable (arrêt 2C_819/2009 du 28 septembre 2010 consid. 2.2, RDAF 2010 II 605). Il peut arriver que, même après l'instruction menée par l'autorité, un fait déterminant pour la taxation reste incertain. Ce sont alors les règles générales sur le fardeau de la preuve qui s'appliquent pour déterminer qui doit supporter les conséquences de l'échec de la preuve ou de l'absence de preuve d'un tel fait. En droit fiscal, le principe de l'art. 8 CC s'exprime dans le sens où il appartient à l'autorité de démontrer l'existence d'éléments créant ou augmentant la charge fiscale, alors que le contribuable supporte le fardeau de la preuve des éléments qui réduisent ou éteignent son obligation fiscale (arrêt 2C_1201/2012 du 16 mai 2013 consid. 4.6 et les arrêts cités). La jurisprudence a précisé que, lorsqu'il s'agit de questions juridiques complexes liées à des faits de nature à réduire la charge fiscale et qu'il appartient par conséquent au contribuable de prouver, les autorités fiscales ne peuvent se décharger entièrement de leur obligation d'établir les faits d'office, en laissant le soin à ce dernier, sans connaissances juridiques particulières, de produire les pièces nécessaires à cette fin. Pour autant que le contribuable soit disposé à collaborer, il incombe aux autorités fiscales de lui indiquer les documents à fournir dans ce but (arrêts 2C_819/2009 du 28 septembre 2010 consid. 2.2, RDAF 2010 II 605; 2C_566/2008 du 16 décembre 2008 consid. 3.2, StE 2009 B 22.3 n. 99).
10.2.3. Eu égard à ces principes, il appartenait au recourant de produire, déjà devant les autorités fiscales, les pièces propres à démontrer l'existence du contrat de fiducie dont il se prévaut pour ne pas être imposé sur la valeur des actions de la banque D.________, dont notamment le contrat du 24 novembre 1997, ce qu'il n'a pas fait. On ne se trouve en outre pas dans des circonstances qui, selon la jurisprudence précitée, auraient imposé aux autorités d'indiquer au recourant les documents à produire. Lorsqu'il soutient l'inverse, le recourant adopte une position confinant à la témérité. En effet, il perd de vue qu'il a toujours été assisté d'un mandataire professionnel dans les procédures de vérification des impôts litigieux (cf. arrêt 2C_402/2013 du 20 août 2013 consid. 4.4.2), qu'il s'est lui-même prévalu, dans sa réclamation du 18 décembre 2001 déjà, du fait qu'il ne détiendrait les actions de la banque D.________ qu'à titre fiduciaire et enfin, que les autorités fiscales lui ont réclamé, en octobre 2002 notamment, des renseignements sur ces actions (cf. arrêt attaqué, p. 6 ch. 18). On ne discerne donc aucune violation du droit à la preuve en lien avec le contrat du 24 novembre 1997.
Il en va de même s'agissant des deux témoins (G.________ et H.________) que le recourant reproche à la Cour de Justice de ne pas avoir entendus. En effet, ces deux témoins ont été auditionnés dans le cadre de la procédure arbitrale et le contribuable a produit, le 30 juillet 2012 devant la Cour de Justice, de larges extraits de ces témoignages. Partant, on ne voit pas en quoi les règles sur le fardeau de la preuve ou les dispositions de procédures invoquées par le recourant et qui prévoient en premier lieu la remise de documents écrits (art. 127 à 129 LIFD; art. 32 à 34 LPFisc/GE,
10.3. Toujours en lien avec le refus d'admettre un rapport de fiducie en relation avec les actions de la banque D.________, le recourant 1 se plaint d'une violation du droit et d'arbitraire dans l'établissement des faits.
10.3.1. Dans la mesure où il reprend, à titre de violations du droit, les reproches déjà examinés aux consid. 10.1 et 10.2, ses critiques sont infondées et il suffit de renvoyer aux considérants précités.
10.3.2. Savoir si un contrat a été conclu et quelle est sa qualification juridique relève du droit. En revanche, déterminer les circonstances propres à établir l'existence d'un contrat relève des faits. En droit fiscal, une transaction juridique conclue en son propre nom est, selon le cours ordinaire des choses, aussi réputée déployer des effets pour le compte de la personne qui agit (cf. arrêts 2C_1120/2012 du 1er mai 2013 consid. 3.2.2; 2C_180/2013 du 5 novembre 2013 consid. 10.2.1). Exceptionnellement, il peut être dérogé à ce principe s'il existe un rapport de fiducie, dont la preuve est à la charge du contribuable (arrêt 2C_387/2007 du 4 mars 2008 consid. 4.2, StE 2008 B 24.1 n. 5). La "Notice: rapports fiduciaires" d'octobre 1967 de l'Administration fédérale (cf. www.estv.admin.ch, Impôt anticipé/Documentation: Notices/S-02.107) précise qu'un rapport fiduciaire ne peut être admis du point de vue fiscal que lorsqu'un contrat écrit, qui décrit les biens sous mandat fiduciaire, a été conclu, prévoit que le fiduciaire n'encourt aucun risque et fixe la rémunération de celui-ci. Selon la jurisprudence, ces conditions ne doivent cependant pas impérativement être remplies, mais une preuve évidente d'un rapport de fiducie doit en tous les cas être apportée (cf. arrêt 2A.72/2006 du 9 juin 2006 consid. 2.2 et les arrêts cités, confirmé notamment in arrêts 2C_1120/2012 du 1er mai 2013 consid. 3.2.2; 2C_499/2011 du 9 juillet 2012 consid. 4.2, RDAF 2012 II 450). L'absence de contrat écrit ne saurait ainsi, pour elle-même, être déterminante, à condition toutefois que d'autres éléments prouvent que la personne a agi pour le compte d'un tiers (arrêt 2C_499/2011 précité, consid. 4.2). Cette preuve vaut tant en matière d'IFD que d'ICC (cf. arrêt 2C_1120/2012 précité, consid. 3 et 3.2.2).
10.3.3. Le recourant 1 reproche à la Cour de Justice d'avoir apprécié arbitrairement la sentence arbitrale du 27 novembre 2012 et les pièces versées à la procédure (dont les extraits des procès-verbaux d'audition des témoins G.________ et H.________), en concluant que ces éléments ne prouvaient pas l'existence d'un rapport fiduciaire, car ils reposaient sur les déclarations concordantes des intéressés.
En l'occurrence, le recourant 1 admet lui-même que ce sont les parties qui ont allégué l'existence d'un rapport fiduciaire devant le Tribunal arbitral, de sorte que l'on ne voit pas qu'en relativisant la portée de la sentence arbitrale pour ce motif, la Cour de Justice serait tombée dans l'arbitraire. Les arguments développés par le recourant 1 ne sont au surplus pas propres à démontrer le caractère insoutenable de cette appréciation. Tout d'abord, il n'appartenait pas au Tribunal cantonal, dans le cadre d'un recours fiscal, de revoir toute la procédure arbitrale et les pièces qui y ont été versées. Le recourant 1 ne peut au demeurant s'en plaindre de manière générale, mais doit démontrer précisément quel élément particulier prouverait l'existence d'un rapport fiduciaire, ce qu'il ne fait nullement. Ainsi, celui-ci se contente de soutenir que les témoins G.________ et H.________ auraient confirmé un tel accord, mais sans citer le moindre extrait de ces témoignages ni expliquer en quoi ceux-ci auraient été déterminants par rapport aux déclarations des parties elles-mêmes. Une telle argumentation ne suffit pas à démontrer l'arbitraire, de sorte qu'il n'y a pas lieu d'entrer plus avant sur la critique. Il en va de même de l'affirmation selon laquelle "
la part des dividendes de la D.________ afférente aux actions de E.________ avait été systématiquement versée directement à cette entité ". En effet, cette phrase, dépourvue de tout contexte, n'est pas un élément déterminant prouvant l'existence d'un rapport de fiducie avec E.________, dès lors qu'elle fait état des actions de E.________, mais sans indiquer qu'il s'agirait de titres détenus par le contribuable.
Le recourant 1 soutient par ailleurs que de nombreux éléments prouveraient l'existence d'un rapport fiduciaire que la Cour de Justice aurait méconnu. Il présente à cet égard une argumentation appellatoire, exposant son propre point de vue sur la pertinence des éléments invoqués, sans se prononcer sur la position de la Cour de Justice sur ces documents ni a fortiori invoquer l'arbitraire sur ce point. Pourtant, les juges cantonaux ont pris en compte les éléments de preuve produits par le recourant (cf. arrêt attaqué, p. 27 s.), mais ont estimé, après les avoir appréciés, que ni les pièces fournies ni la sentence arbitrale n'apportaient la preuve évidente d'une relation fiduciaire entre le recourant 1 et E.________ ou le Trust A.________. Il appartenait au recourant 1 de démontrer que cette analyse (cf., pour un résumé de celle-ci, consid. 10.1 supra) procédait d'une appréciation des preuves arbitraire. L'argumentation développée ne répondant pas aux exigences de l'art. 106 al. 2 LTF (cf. consid. 3 supra), il n'y a donc pas lieu d'entrer plus avant sur ces critiques.
Le Tribunal fédéral n'a ainsi pas lieu de s'écarter de l'appréciation de la Cour de Justice selon laquelle le recourant 1, n'étant pas parvenu à démontrer que la cour cantonale aurait violé son droit à la preuve ou apprécié les preuves de manière insoutenable en retenant que les pièces produites par le contribuable n'apportaient pas d'éléments de fait suffisants permettant de retenir la preuve de l'existence d'une relation fiduciaire, étant encore rappelé qu'une preuve évidente d'une telle relation est exigée en droit fiscal (cf. consid. 10.3.2 supra). Sur cette base, on ne voit pas que la Cour de Justice aurait violé le droit fédéral ou méconnu le principe de la capacité contributive en procédant à des reprises en vue d'imposer le recourant 1 sur les actions de la banque D.________ qu'il détenait en son nom propre et dont il n'a pas été établi qu'il aurait agi à titre fiduciaire.
Reprises en lien avec les actions C.________
11.
Dans un dernier grief, le recourant 1 se plaint d'une application arbitraire des règles sur le rappel d'impôts en relation avec l'évaluation des actions de la société C.________.
a.
IFD
11.1. Il résulte des faits établis par les précédents juges que, dans ses déclarations fiscales 1995 à 2000, le recourant a indiqué sa participation à la société C.________. Dans les deux premières, il a indiqué une valeur de 0 fr. et, dans les quatre déclarations suivantes, il a laissé vide la colonne relative à la valeur de cette participation. Selon la Cour de Justice, aucun élément du dossier ne permettait à l'autorité fiscale de mettre en doute la valeur des actions C.________ telle qu'indiquée par le recourant, à savoir 0 fr. En effet, même lorsqu'il a laissé vide la colonne relative à cette participation, celle-ci était prise en compte à hauteur d'une valeur nulle dans l'addition totale incluant tous les titres. Comme le contribuable n'avait pas attiré l'attention des autorités fiscales sur son incapacité à évaluer ces participations et qu'il n'existait pas d'inexactitudes flagrantes, celles-ci n'avaient pas à procéder à des investigations complémentaires. Les rappels d'impôts en lien avec la réévaluation de ces actions étaient donc fondés.
11.2. Les principes régissant le rappel d'impôts en matière d'IFD ont été exposés au consid. 8.1 ci-dessus, auquel on peut se référer. Il n'est cependant pas inutile de rappeler à ce stade que s'il incombe certes à l'autorité fiscale de contrôler la déclaration fiscale et de procéder aux investigations nécessaires, cette dernière peut en principe considérer que la déclaration d'impôt du contribuable est conforme à la vérité et complète. En l'absence d'indice particulier, elle n'a donc pas l'obligation de rechercher des renseignements supplémentaires dans le dossier fiscal du contribuable (cf. arrêt 2A.182/2002 du 25 avril 2003 consid. 3.3.2, RDAF 2003 II 622).
11.3. Compte tenu de ces principes, il convient de se demander si l'indication d'une valeur nulle en lien avec lesdites actions constituait une inexactitude flagrante qui aurait justifié une réaction immédiate de la part des autorités fiscales au stade de la taxation, telle qu'excluant un rappel d'impôt ultérieur.
Le recourant se fonde sur l'arrêt 2A.706/2006 du 1er mars 2007 et indique que, comme la société C.________ avait fait l'objet d'une évaluation par les autorités fiscales, celles-ci devaient corriger d'office sa déclaration. Une telle position ne peut être suivie. Tout d'abord, il ne ressort pas des constatations cantonales, qui lient le Tribunal fédéral (art. 105 al. 1 LTF), qu'une telle évaluation avait bien été réalisée, qui plus est aux périodes déterminantes. Ensuite, l'arrêt cité concerne un cas où le contribuable avait déclaré sa participation déterminante, assortie d'un revenu inexistant, dans une société dont la valeur fiscale avait été considérée comme nulle par l'autorité fiscale. Cette dernière ayant réévalué par la suite la valeur fiscale de la société, elle a adapté la valeur de la participation dans la fortune imposable du contribuable, mais sans entreprendre des investigations complémentaires en relation avec le revenu (cf. arrêt 2A.706/2006 précité, consid. 3, résumé in arrêt 2C_123/2012 du 8 août 2012 consid. 5.3.2). Le recourant ayant mentionné une valeur nulle des actions dans sa propre déclaration fiscale, sans même signaler à l'autorité qu'il ne savait pas comment évaluer cette valeur, on ne saurait y voir l'existence d'une inexactitude flagrante qui doit être corrigée immédiatement lors de la taxation. Il s'agissait d'une inexactitude seulement
décelable, de sorte qu'un rappel d'impôt demeurait admissible. Le grief s'avère donc infondé.
b.
ICC
11.4. Les principes exposés en matière d'IFD valent également en ce qui concerne l'ICC (cf.
12.
En résumé, il apparaît que le recours de la recourante 2 doit être admis, dans la mesure où il est recevable, s'agissant de la prescription du rappel d'impôt IFD 1997 et de l'amende ICC 2001-B, ainsi que des reprises liées au prêt avec le trust A.________. Pour sa part, le recours du recourant 1 doit être partiellement admis s'agissant du droit d'être entendu en lien avec les seules amendes fiscales. Enfin, la Cour de céans constatera d'office (cf. consid. 5.2.1 supra) que l'amende pour soustraction fiscale IFD 1996 est prescrite.
12.1. Il en découle que l'arrêt attaqué devra ainsi être partiellement annulé en ce qu'il constate que le rappel d'impôts IFD 1997 et l'amende 2001-B pour tentative de soustraction d'impôts sont prescrits. Il devra en aller de même en ce qu'il refuse les reprises relatives au prêt avec le trust A.________ s'agissant du rappel d'impôts IFD 1998 et annule le jugement de première instance, les décisions sur réclamation et les bordereaux concernant ces aspects.
12.2. En ce qui concerne les rappels d'impôts (le recourant ne prenant aucune conclusion sur les taxations) et bien que la prescription du droit de taxer en matière d'IFD 1997 soit proche, la Cour de céans n'est pas en mesure de fixer elle-même les montants dus, compte tenu des reprises admises dans le présent arrêt. En effet, ces montants n'ont encore jamais été fixés, tant le jugement de première instance que l'arrêt attaqué renvoyant la cause à l'Administration cantonale pour qu'elle procède aux calculs concrets.
Cela étant, il convient de préciser que les bordereaux qui devront ainsi être diligemment établis par l'autorité fiscale ne constitueront que de simples actes d'exécution de l'arrêt rendu par la Cour de céans, l'Administration cantonale devant uniquement concrétiser les décisions définitives des autorités judiciaires, sans plus aucune marge de manoeuvre. En ce sens, le présent arrêt met un terme à la procédure s'agissant du principe même des rappels d'impôt. Le renvoi à l'Administration cantonale ne concerne plus que le calcul concret des montants dus.
12.3. En ce qui concerne les amendes en revanche, il conviendra de renvoyer la cause à la Cour de Justice pour qu'elle statue à nouveau, y compris sur l'amende pour tentative de soustraction fiscale ICC-2001 qu'elle avait considérée à tort comme prescrite, mais pas pour l'amende pour soustraction fiscale IFD 1996, après avoir entendu le recourant 1 sur ces points précis. Il lui appartiendra également de statuer à nouveau sur les frais et dépens de la procédure antérieure (cf. a contrario art. 67 LTF).
13.
Compte tenu de l'issue du litige, les frais judiciaires seront répartis à raison de trois quarts à la charge du recourant 1 et d'un quart à la charge de la recourante 2, dont l'intérêt patrimonial est en cause (
Par ces motifs, le Tribunal fédéral prononce
1.
Les causes 2C_416/2013 et 2C_417/2013, ainsi que 2C_446/2013 et 447/2013 sont jointes.
2.
Le recours du recourant 1 est partiellement admis dans la mesure où il est recevable.
3.
Le recours de la recourante 2 est admis dans la mesure où il est recevable.
4.
L'arrêt attaqué est partiellement annulé dans la mesure où il confirme le prononcé des amendes fiscales à l'encontre du recourant 1 et constate que le rappel d'impôts IFD 1997 et l'amende 2001-B pour tentative de soustraction d'impôts sont prescrits. L'arrêt est aussi partiellement annulé en tant qu'il refuse les reprises d'impôt relatives à l'opération de prêt effectuée avec le trust A.________ concernant le rappel d'impôts IFD 1998 et annule le jugement de première instance, ainsi que les décisions sur réclamation et les bordereaux relatifs à ces aspects. Il est en outre constaté que l'amende pour soustraction fiscale IFD 1996 est prescrite. L'arrêt est confirmé pour le surplus.
5.
La cause est renvoyée à la Cour de Justice pour qu'elle se prononce à nouveau sur les amendes fiscales encore litigieuses, après avoir entendu le recourant 1 et qu'elle détermine les frais et dépens de la procédure antérieure.
6.
La cause est renvoyée pour le surplus à l'Administration cantonale pour qu'elle établisse les montants dus par le recourant 1 à titre de l'IFD et de l'ICC, compte tenu du présent arrêt et, dans la mesure où celui-ci est confirmé, compte tenu du renvoi figurant dans l'arrêt attaqué.
7.
Les frais judiciaires, arrêtés à 12'000 fr., sont mis à raison de 9'000 fr. à la charge du recourant 1 et de 3'000 fr. à la charge du canton de Genève.
8.
Le canton de Genève versera au recourant 1 une indemnité de 4'000 fr. à titre de dépens réduits.
9.
Le présent arrêt est communiqué au mandataire du recourant 1, à l'Administration fiscale cantonale du canton de Genève, à la Cour de Justice de la République et canton de Genève, Chambre administrative, 1ère section, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 5 novembre 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Chatton