Bundesgericht
Tribunal fédéral
Tribunale federale
Tribunal federal
|
|
|
|
|
2C_87/2015
2C_88/2015
{T 0/2}
|
|
|
Arrêt du 23 octobre 2015
IIe Cour de droit public
Composition
MM. et Mme les Juges fédéraux Zünd, Président,
Aubry Girardin et Stadelmann.
Greffière : Mme Vuadens.
Participants à la procédure
A.X.________,
représenté par Me Oana Halaucescu, avocate,
recourant,
contre
Administration fiscale cantonale du canton de Genève.
Objet
Impôt communal et cantonal 2003 à 2005, impôt fédéral direct 2003 à 2005,
recours contre l'arrêt de la Cour de justice de la République et canton de Genève, Chambre administrative, 1ère section, du 2 décembre 2014.
Faits :
A.
A.a. En 1996, A.X.________, domicilié à Genève, et son frère B.X.________ (art. 105 al. 2 LTF) ont obtenu de la Banque C.________ un prêt hypothécaire de 6'640'000 fr. pour leur permettre d'acquérir ensemble le capital-actions de la société immobilière D.________ SA (ci-après: la Société), propriétaire de la parcelle n° **** de la Commune de Genève. Le prêt était octroyé contre la cession à la Banque C.________, en pleine propriété, de deux cédules hypothécaires au porteur grevant la parcelle n° ****, l'une, de premier rang, de 6'000'000 fr. et l'autre, de deuxième rang, de 600'000 fr. A.X.________ est ainsi devenu propriétaire de la moitié des actions de la Société.
En décembre 2000, la Fondation de valorisation des actifs de la Banque C.________ (ci-après: la Fondation) a informé A.X.________ que la Banque C.________ lui avait cédé le prêt hypothécaire. En mars 2003, la Fondation a résilié le contrat de prêt avec effet immédiat. Elle dénonçait également au remboursement intégral les deux cédules hypothécaires pour le 21 octobre 2003.
Le 5 septembre 2003, la Fondation s'est engagée auprès des co-débiteurs à remettre les deux cédules hypothécaires grevant la parcelle n° **** dont elle était propriétaire et à signer une réquisition de radiation au porteur dès réception d'un montant de 6'793'893.25 fr. Ce montant correspondait à la dette de 6'376'857.75 fr. (état au 31 mars 2003), augmentée des intérêts au 12 septembre 2003. Une partie du remboursement du prêt a été effectuée au moyen d'un nouveau prêt hypothécaire contracté auprès de la Banque E.________ à hauteur de 2'900'000 fr, et l'autre partie a été remboursée directement par A.X.________ et B.X.________.
A.X.________ exerce la profession d'avocat indépendant et est associé dans une étude genevoise.
A.b. Dans sa déclaration fiscale pour l'année 2003, A.X.________ a déclaré un bénéfice net d'activité indépendante de 471'815 fr. Le revenu brut se composait d'une rémunération fixe des associés (96'000 fr.), d'une part au bénéfice (424'655 fr.) et d'"honoraires encaissés" (59'058.10 fr.), ce dernier poste correspondant à une activité indépendante d'avocat exercée de manière accessoire, soit hors étude. Outre des charges liées à son activité indépendante d'avocat et calculées forfaitairement (art. 105 al. 2 LTF), il a également fait valoir des charges effectives liées à son activité accessoire, constituées de 4'800 fr. de frais de véhicule, de 15'000 fr. de frais de bureau, de 18'000 fr. de frais de loyer et de 70'098 fr. de dépréciation, pour un montant total de 107'898 fr.
Sous la rubrique "Autres déductions sur le revenu", A.X.________ a par ailleurs porté en déduction un montant de 248'347 fr. au titre de "perte s/ droits et obligations". Selon un tableau annexé à la déclaration, cette déduction était liée à l'immeuble sis sur la parcelle n° **** de la commune de Genève. Il en ressortait une "perte" de 3'476'857.75 fr., résultat de la différence entre le paiement dû à la Fondation (soit, en capital, 6'376'857.75 fr.) et la part de refinancement que la banque E.________ avait accordé à lui-même et à son frère en relation avec la parcelle n° **** (2'900'000 fr.). Cette "perte" était amortie sur sept ans, à raison de 496'694 fr. par année, dont la moitié, soit 248'347 fr., était attribuée à A.X.________.
Dans sa déclaration fiscale pour l'année 2004, A.X.________ a déclaré un bénéfice net d'activité indépendante de 245'507 fr. Son revenu brut déclaré s'élevait à 349'759 fr. (constitué de 96'000 fr. de rémunération fixe des associés et de 253'759 fr. de part au bénéfice de l'étude, mais de 0 fr. d'"honoraires encaissés"). Comme pour 2003, il a fait valoir des charges liées à son activité d'avocat calculées de manière forfaitaire, ainsi que des charges effectives par 104'252 fr. liées à son activité accessoire, à savoir 4'800 fr. de frais de véhicule, 15'000 fr. de frais de bureau, 18'000 fr. de frais de loyer et 66'452 fr. de dépréciation. Il a également porté en déduction de son revenu un montant de 248'347 fr. au titre de perte sur droits et obligations. Cette déduction de 248'347 fr. figurait également dans la déclaration fiscale que le contribuable a établie pour la période fiscale 2005.
B.
B.a. Le 15 mai 2008, l'Administration fiscale du canton de Genève (ci-après: l'Administration cantonale) a procédé à l'imposition de A.X.________ pour la période fiscale 2003 tant pour l'impôt fédéral direct que pour l'impôt cantonal et communal. Hormis des points qui ne sont désormais plus litigieux, elle n'a admis les charges effectives invoquées (soit 107'898 fr.) qu'à concurrence du montant des honoraires encaissés pour l'activité accessoire, soit 59'058.10 fr. Elle a par ailleurs refusé la déduction de 248'347 fr. invoquée au titre de "perte sur droits et obligations" et procédé à la reprise de l'entier de ce montant.
Le 30 septembre 2009, l'Administration cantonale a imposé A.X.________ pour la période fiscale 2004. Hormis des points qui ne sont désormais plus litigieux, elle a procédé à la reprise de l'entier des charges invoquées en lien avec l'activité accessoire (soit 104'252 fr.), ainsi que du montant de 248'347 fr. Dans sa décision de taxation du 5 octobre 2009 relative la période fiscale 2005, elle a, une nouvelle fois, refusé d'admettre la déduction du montant de 248'347 fr.
A.X.________ a élevé réclamations contre ces décision de taxation pour contester les reprises précitées.
B.b. L'Administration cantonale a maintenu ses positions dans les décisions sur réclamation des 27 janvier 2010 (concernant la période fiscale 2005), 16 juin 2010 (concernant la période fiscale 2003) et 18 juin 2010 (concernant la période fiscale 2004).
Le 24 février 2010, A.X.________ a indiqué à l'Administration cantonale que certains postes de charges liés à son activité d'avocat "hors étude" avaient été augmentés pour l'année 2003, après des vérifications effectuées par sa fiduciaire. Il annexait à son courrier des listes de chaque poste, qui mentionnaient le montant et la date des dépenses alléguées.
B.c. Le 26 février 2010, le contribuable a recouru contre la décision sur réclamation du 27 janvier 2010 relative à la période fiscale 2005 auprès de l'actuel Tribunal administratif de première instance du canton de Genève (ci-après: Tribunal administratif), concluant à la déductibilité du montant de 248'347 fr. Au cours de la procédure, il a produit un document non daté selon lequel B.X.________ lui avait cédé "l'entier de ses droits" liés à l'immeuble détenu par la Société, pour le prix de 1'150'000 fr.
Les 19 juillet et 21 juillet 2010, l'intéressé a interjeté recours auprès du Tribunal administratif contre les décisions sur réclamation relatives aux périodes fiscales 2003, respectivement 2004. Il requérait la prise en compte de l'entier des charges qu'il avait fait valoir pour chacune des périodes considérées et demandait l'admission de la déduction du montant de 248'347 fr., sollicitant à cet égard l'audition des parties, de témoins et d'experts. Le 11 octobre 2010, le recourant a complété son recours du 21 juillet 2010pour demander au Tribunal administratif de tenir compte, pour les périodes fiscales 2003 et en 2004, de la perte commerciale de 146'762 fr. qu'il avait encourue ensuite de la vente, en 1999, d'un immeuble situé à F.________. A l'appui de cette conclusion, il expliquait qu'il avait omis de faire valoir cette perte dans la déclaration de l'époque et qu'il avait demandé en vain, par courrier du 3 juillet 2001, à l'Administration cantonale de pouvoir la rectifier.
B.d. Par jugement du 3 mars 2014 concernant les périodes fiscales 2003 et 2004, le Tribunal administratif a, après avoir joint les causes, déclaré irrecevable, parce que nouvelle, la conclusion formulée le 11 octobre 2010 au sujet de la perte de 146'762 fr. tout en précisant que, sur le fond, la déductibilité d'une telle perte en 2003 et 2004 était de toute manière exclue au regard du principe d'étanchéité des exercices et de périodicité de l'impôt. Le contribuable n'avait par ailleurs pas prouvé la réalité et le bien-fondé des charges effectives qu'il alléguait; la déduction de 59'058.10 fr. admise par l'Administration cantonale et correspondant au montant du gain d'activité accessoire pour 2003 n'était toutefois pas remise en cause (art. 105 al. 2 LTF); quant au paiement que le contribuable et son frère avaient effectué à la Fondation en 2003, il ne constituait que le remboursement non déductible d'une dette hypothécaire et non pas une perte déductible.
Dans son jugement du 13 juin 2014 relatif à la période fiscale 2005, le Tribunal administratif a refusé d'admettre la déductibilité du montant de 248'347 fr.
B.e. Par recours du 10 avril 2014, complété le 15 mai 2014, A.X.________ a déféré le jugement du 3 mars 2014 du Tribunal administratif concernant les périodes fiscale 2003 et 2004 auprès de la Cour de justice du canton de Genève, Chambre administrative (ci-après: la Cour de justice). Il estimait avoir apporté des preuves suffisantes de la déductibilité des charges qu'il avait invoquées. Concernant le montant de 248'347 fr., il exposait en substance que ce montant correspondait à un septième de la perte qu'il avait subie du fait de la diminution de valeur de la parcelle n° **** de la commune de Genève, répartie sur sept ans et divisée entre lui-même et son frère. Pour prouver ce fait, le contribuable sollicitait sa propre audition, ainsi que celles d'un architecte et de trois comptables; il produisait également une attestation de la banque E.________ du 27 mai 2014, selon laquelle celle-ci avait accordé à A.X.________ et à son frère un prêt de 2'900'000 fr., pour le refinancement de la Société, respectivement de son immeuble, sur la base d'une valeur de gage estimée selon ses méthodes d'évaluation interne. En ce qui concernait finalement la prise en compte de la perte commerciale subie en 1999 en lien avec un immeuble sis à F.________, le contribuable contestait l'irrecevabilité de la conclusion qu'il avait prise en octobre 2010 et soutenait, en invoquant le principe de légalité, que cette perte pouvait être déduite du revenu des périodes fiscales 2003 et 2004.
Le 23 juillet 2014, l'intéressé a recouru auprès de la Cour de justice contre le jugement du 13 juin 2014 du Tribunal administratif relatif à la période fiscale 2005 pour contester la reprise afférente au montant de 248'347 fr. Il a une nouvelle fois demandé son audition, ainsi que celle d'un comptable et d'un architecte, et a aussi produit un rapport d'estimation de la parcelle n° **** de la commune de Genève, ainsi qu'un projet de plan financier daté du 14 mai 2003 pour l'acquisition de dite parcelle, émanant de la société d'assurance G.________.
B.f. Par arrêt du 2 décembre 2014, la Cour de justice a joint les causes et rejeté les recours. En substance, elle a jugé que A.X.________ n'avait pas prouvé la réalité des charges qu'il invoquait et a partant refusé les déductions alléguées, par 107'898 fr. pour la période fiscale 2003 et 104'252 fr. pour la période fiscale 2004. Elle n'a toutefois pas remis en cause la déductibilité de 59'058.10 fr. admise par les autorités précédentes. Le montant de 248'347 fr. que le recourant faisait par ailleurs valoir comme perte commerciale ou comme provision ne représentait que le remboursement d'une dette, ce qui n'était pas déductible. Enfin, le Tribunal administratif avait estimé à juste titre que la déduction que le recourant avait fait valoir pour 2003 et 2004 en lien avec une perte de 146'762 fr. encourue en 1999 était irrecevable, car nouvelle; quoi qu'il en soit, les juges précédents avaient de toute manière jugé à bon droit que la prise en compte de cette perte en 2003 et en 2004 était de toute manière exclue, car contraire aux principes de périodicité et d'étanchéité.
C.
Agissant par la voie du recours en matière de droit public et du recours constitutionnel subsidiaire, A.X.________ conclut principalement, sous suite de frais et dépens, à l'annulation de l'arrêt du 2 décembre 2014 de la Cour de justice, à la déduction (i) d'une perte commerciale, subsidiairement d'une provision de 248'347 fr. pour chaque exercice 2003, 2004 et 2005, (ii) de la perte de 146'762 fr. subie sur la vente de l'immeuble sis à F.________ en 1999, pour les périodes fiscales 2003 et 2004 et (iii) des charges liées à son activité accessoire, soit un montant de 107'898 fr. pour la période fiscale 2003 et de 104'552 fr. pour la période fiscale 2004; à titre subsidiaire, il conclut à l'annulation de l'arrêt du 2 décembre 2014 de la Cour de justice et au renvoi de la cause à cette autorité, alternativement au Tribunal administratif, pour nouvelle décision dans le sens des considérants; plus subsidiairement, à ce qu'il soit acheminé à prouver par toutes voies utiles les faits allégués dans le présent recours.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration cantonale et l'Administration fédérale des contributions se sont déterminées sur le recours et ont conclu à son rejet.
Par décision du 19 février 2015, le Président de la Cour de céans a rejeté la requête d'effet suspensif contenue dans le recours.
Considérant en droit :
I. Recevabilité et points de procédure
1.
La Cour de justice a rendu un seul arrêt valant pour l'impôt cantonal et communal, d'une part, et pour l'impôt fédéral direct, d'autre part, ce qui est admissible, dès lors que les questions juridiques à trancher sont réglées de la même façon pour ces deux catégories d'impôts (ATF 135 II 260 consid. 1.3.1 p. 262 s.). Le recourant a formé un recours qui contient les mêmes griefs et les mêmes conclusions pour ces deux impôts, ce qui est conforme à la jurisprudence (cf. ATF 135 II 260 consid. 1.3.2 et 1.3.3 p. 263 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux arrêts sont rendus, la Cour de céans a ouvert deux dossiers, l'un concernant l'impôt cantonal et communal (2C_87/2015) et l'autre l'impôt fédéral direct (2C_88/2015). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (art. 71 LTF et 24 PCF [RS 273]).
2.
2.1. Le recours est dirigé contre une décision finale (art. 90 LTF) qui a été rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF), dans une cause de droit public (art. 82 let. a LTF) qui ne tombe sous le coup d'aucune des exceptions prévues à l'art. 83 LTF. La voie du recours en matière de droit public est donc ouverte (cf. également l'art. 146 de la loi fédérale sur l'impôt fédéral direct du 14 décembre 1990 [LIFD; RS 642.11] et l'art. 73 al. 1 de la loi fédérale sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14] pour ce qui concerne l'impôt cantonal et communal). Il a par ailleurs été déposé en temps utile compte tenu des féries (cf. art. 100 al. 1 et 46 al. 1 let. c LTF) et dans les formes requises (art. 42 LTF) par le destinataire de la décision entreprise, qui a un intérêt digne de protection à son annulation ou à sa modification et qui a de ce fait qualité pour recourir (cf. art. 89 al. 1 LTF). Il convient donc d'entrer en matière sur le recours, sous réserve des conclusions subsidiaires tendant à ce que le recourant soit acheminé à prouver les faits qu'il allèguent. Le recourant perd en effet de vue que le Tribunal fédéral est un juge du droit et non du fait (cf. art. 105 al. 1 LTF) et que des mesures probatoires ne sont qu'exceptionnellement ordonnées dans une procédure de recours (ATF 136 II 101 consid. 2 p. 104). Il n'y a pas de motif de faire exception ici, de sorte que cette conclusion est irrecevable. Le recours en matière de droit public étant recevable sous cette réserve, le recours constitutionnel subsidiaire formé par le recourant est en conséquence irrecevable (art. 113 LTF).
2.2. Le recourant demande la production des dossiers cantonaux. La Cour de justice ayant annexé à sa détermination le dossier complet de la cause, conformément à l'art. 102 al. 2 LTF, cette requête est sans objet.
3.
3.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement le respect du droit fédéral (cf.
3.2. L'examen du Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut être présenté devant le Tribunal de céans à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
II. Griefs formels
4.
Parmi les griefs qu'il formule à l'encontre de l'arrêt attaqué, le recourant fait valoir une violation de son droit d'être entendu. Il soutient que la Cour de justice n'aurait pas administré des preuves qu'il avait offertes et qui étaient, selon lui, essentielles au traitement de sa cause. Il convient d'examiner en premier lieu ce grief formel (cf. ATF 139 I 189 consid. 3 p. 191).
4.1. Tel qu'il est reconnu par l'art. 29 al. 2 Cst., le droit d'être entendu comprend notamment le droit pour l'intéressé de prendre connaissance du dossier et d'offrir des preuves pertinentes (ATF 140 I 285 consid. 6.3.1 p. 299; 135 II 286 consid. 5.1 p. 293). L'art. 29 al. 2 Cst. impose en particulier à l'autorité de donner suite à une offre de preuve lorsque celle-ci a été demandée en temps utile, dans les formes prescrites et qu'elle apparaît de nature à influer sur le sort de la décision à rendre. Il n'y a toutefois pas violation du droit à l'administration de preuves lorsque la mesure probatoire refusée est inapte à établir le fait à prouver, lorsque ce fait est sans pertinence ou lorsque, sur la base d'une appréciation non arbitraire des preuves dont elle dispose déjà, l'autorité parvient à la conclusion que les faits pertinents sont établis et que le résultat, même favorable au requérant, de la mesure probatoire sollicitée ne pourrait pas modifier sa conviction (ATF 140 I 285 consid. 6.3.1 p. 299; 136 I 229 consid. 5.3 p. 236 s.; 134 I 140 consid. 5.3 p. 148). En particulier, l'autorité de jugement peut renoncer à faire citer des témoins, qu'ils soient à charge ou à décharge, si, dans le cadre d'une appréciation anticipée des preuves dénuée d'arbitraire, elle peut dénier à ces témoignages une valeur probante décisive pour le jugement (ATF 125 I 127 consid. 6c/cc p. 135 et 6c/ dd p. 135 s.; 124 I 274 consid. 5b p. 285; arrêt 6B_907/2009 du 3 novembre 2010 consid. 7.1).
4.2. En ce qui concerne le litige relatif à la déductibilité du montant de 248'347 fr., le recourant reproche aux juges précédents d'avoir refusé de procéder à l'expertise de l'immeuble sis sur la parcelle n° **** de la commune de Genève et à celle de la Société, ainsi que d'avoir refusé d'entendre un architecte au sujet de la valeur de cet immeuble. L'administration de ces preuves était, selon lui, essentielle pour démontrer la situation dans laquelle lui et son frère s'étaient trouvés en 2003, en raison de la diminution de la valeur de l'immeuble, qui les avait obligés à accepter un refinancement du prêt par la banque E.________ pour un montant de 2'900'000 fr. Le recourant fait également grief à la Cour de justice d'avoir omis d'entendre H.________, comptable, qui aurait pu exposer le raisonnement "purement comptable" qui a été mis en place à compter de l'année 2003, ainsi que la nécessité de reporter sur sept ans la perte commerciale subie.
La pertinence de ces griefs doit être examinée à la lumière de l'objet du litige au fond, qui a trait au point de savoir si le recourant était légitimé à déduire de son revenu le montant de 248'347 fr. pour chacune des périodes fiscales concernées. Comme indiqué ci-dessus, cette déduction a été obtenue par la différence entre, d'une part, le capital (sans les intérêts) qui a été payé par le recourant et B.X.________ à la Fondation en 2003 (6'376'857.75 fr), en remboursement du prêt qui leur avait été accordé en 1996 pour acquérir les actions de la Société, et, d'autre part, le montant du refinancement accordé à cet effet par la banque E.________ (2'900'000 fr.), soit 3'476'857 fr. Ce montant a ensuite été déduit du revenu du recourant après avoir été "amorti" sur une période de sept ans (soit 496'693 fr. par an), dont seule la moitié (soit 248'347 fr.) était déductible de son revenu, l'autre moitié étant déductible dans le chef de son frère, co-actionnaire de la Société. Selon le recourant, le montant de 248'347 fr. est déductible à titre de perte, alternativement de provision, alors que la Cour de justice considère qu'il n'a fait que rembourser une dette, ce qui ne constitue pas une dépense déductible du revenu.
En l'espèce, comme on le verra ci-dessous (cf. consid. 6), aucune des offres de preuve apportées par le recourant n'est de nature à influer sur le sort de la décision à rendre en ce qui concerne la déductibilité du montant de 248'347 fr. En effet, quand bien même il serait établi que, comme il l'allègue, tant la parcelle n° **** de la commune de Genève que la Société ont perdu de la valeur en 2003, ces faits ne seraient pas propres à entraîner l'admission du recours. Il en va de même des explications qu'auraient fournies le comptable quant au raisonnement qui a mené à la revendication de la déduction alléguée. Le grief de violation du droit d'être entendu est partant infondé et doit être rejeté sur ce point.
4.3. Concernant en second lieu la perte encourue en 1999 sur la vente d'un terrain à F.________, le recourant reproche aux juges précédents de n'avoir pas entendu les comptables qui "étaient présents" lors de l'établissement de la déclaration fiscale 2003 et de la demande de rectification faite le 3 juillet 2001. L'audition de ces personnes était pourtant, selon lui, indispensable pour déterminer la validité de la prise en compte de la perte pour les années 2003 et 2004.
Comme on le verra également ci-dessous (cf. consid. 8 et 9), cette offre de preuve n'est pas de nature à influer sur le sort de la décision à rendre. Le grief de violation du droit d'être entendu est partant également infondé sur ce point.
III. Griefs lié à l'établissement des faits et à l'appréciation des preuves
5.
Invoquant l'art. 97 al. 1 LTF, le recourant se plaint d'arbitraire dans l'établissement des faits et l'appréciation des preuves.
5.1. En vertu de cette disposition, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (ATF 137 I 58 consid. 4.1.2 p. 62) - ou en violation du droit au sens de l'art. 95 LTF, et si la correction du vice est susceptible d'influer sur le sort de la cause (ATF 137 III 226 consid. 4.2 p. 234; 135 III 127 consid. 1.5 p. 129 s.). Lorsque le recourant s'en prend à l'appréciation des preuves et à l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a procédé à des déductions insoutenables (cf. ATF 140 III 264 consid. 2.3 p. 266; 136 III 552 consid. 4.2 p. 560; 134 V 53 consid. 4.3 p. 62).
5.2. Le premier grief que formule le recourant a trait au litige concernant la déductibilité du montant de 248'347 fr. Il reproche aux juges précédents de s'être essentiellement fondés sur le contrat de prêt hypothécaire conclu avec la Banque C.________ pour refuser cette déduction et d'avoir ignoré le rapport d'estimation de la valeur de l'immeuble propriété de la Société, ainsi que l'attestation du 27 mai 2014 fournie par la banque J.________ (anciennement banque E.________), qui démontraient, selon lui, qu'il avait bien subi un risque de perte justifiant la "provision" invoquée. Ce risque de perte était au demeurant confirmé par une proposition de financement avancée par la société d'assurance G.________ Suisse le 14 mai 2003. Le recourant soutient également que c'est à tort que les juges précédents ont jugé sans pertinence le fait que B.X.________ lui ait cédé l'entier de ses droits pour 1'150'000 fr., alors que ce montant, correspondant à la moitié de la valeur réelle de la parcelle n° ****, attestait également que ce bien avait perdu de la valeur.
La diminution alléguée de la valeur de l'immeuble n'est pas un fait de nature à entraîner l'admissibilité de la déduction invoquée (cf. consid. 6ci-dessous). On ne peut donc reprocher aux juges précédents de ne pas en avoir tenu compte. Le grief tiré de l'art. 97 al. 1 LTF est de ce fait rejeté.
5.3. Le deuxième grief concerne la déductibilité des charges professionnelles que le recourant allègue avoir encourues en 2003 et 2004. Ces charges concernent des frais de véhicule, de bureau, de loyer et d'amortissement.
Les juges précédents ont retenu que les seules pièces que le recourant avaient produites concernant ces charges correspondaient aux listes qu'il avait fournies à l'Administration cantonale le 24 février 2010. Or, ces documents ne contenaient aucune information relative à la période fiscale 2004; en ce qui concernait la période fiscale 2003, elles étaient impropres à prouver les charges alléguées, puisqu'elles ne contenaient qu'une liste de montants et de dates, sans fournir de preuves quant à la réalité des charges invoquées, leur montant et leur lien avec l'activité lucrative indépendante du recourant.
Le recourant reproche aux juges précédents de ne pas avoir analysé ces listes au regard du secret professionnel auquel il est tenu en sa qualité d'avocat. Il soutient qu'au vu de l'existence de ce secret, c'est à tort qu'ils ont retenu que ces listes n'étaient pas assez détaillées.
Le recourant n'expose toutefois pas en quoi le secret professionnel de l'avocat s'opposait à ce qu'il produise des pièces probantes relatives à des frais de véhicule, de bureau, de loyer et de dépréciation, qui n'ont par nature pas de lien avec des clients en particulier (cf., dans le même sens, la Circulaire n° 19 du 7 mars 1995 de l'Administration fédérale des contributions sur l'obligation de renseigner, d'attester et d'informer dans la LIFD, p. 4, qui relève que les frais relatifs au fonctionnement d'une étude d'avocats tels que les dépenses concernant les loyers, les salaires, les frais de matériel et de déplacement, ne sont pas couvertes par le secret professionnel).
Au surplus, les autorités fiscales admettent qu'un avocat puisse taire le nom de ses clients, de manière à pouvoir faire valoir des charges sans violer le secret professionnel (cf. Circulaire précitée p. 3, ainsi que, dans le canton de Genève, la Notice de l'Administration fiscale cantonale genevoise n° 1/2004 intitulée "Activité exercée en la forme indépendante, Nature des frais déductibles et calculs forfaitaires, Avocats indépendants", p. 6, qui prévoit notamment la possibilité, pour l'avocat, de caviarder les coordonnées des clients sur les pièces justificatives de frais. Si un avocat refuse de transmettre des pièces même caviardées au nom du secret professionnel, il est réputé avoir échoué à démontrer la réalité de la charge y afférente, qui ne sera pas admise (cf. Circulaire précitée, p. 4; ISABELLE ALTHAUS HOURIET, Commentaire romand, Impôt fédéral direct, 2008, n° 18 ad art. 126 LIFD).
Il découle de ce qui précède que si le recourant avait été en possession de pièces justifiant les charges invoquées qui mentionnaient le nom de clients, il aurait pu prendre des mesures telles que le caviardage pour les transmettre à l'Administration cantonale sans violer le secret professionnel. Dans ces circonstances, il ne saurait invoquer valablement le secret pour reprocher à la Cour de justice d'avoir fait preuve d'arbitraire en considérant qu'il n'avait prouvé ni la réalité ni le bien-fondé des charges alléguées.
5.4. Dans une troisième et dernière critique, liée au refus de la déduction, en 2003 et 2004, de la perte commerciale de 146'762 fr. encourue en 1999, le recourant reproche aux juges précédents d'avoir omis de tenir compte de la demande de rectification qu'il avait envoyée le 3 juillet 2001 à l'Administration cantonale et d'avoir en conséquence retenu, à tort, que la conclusion qu'il avait prise le 11 octobre 2010 était nouvelle et partant irrecevable. Ce grief est confus. Quoi qu'il en soit, et comme exposé ci-après (cf. consid. 8), la Cour de justice a retenu à bon droit que la déduction d'une perte commerciale encourue en 1999 ne pouvait de toute manière pas être prise en considération pour les périodes fiscales 2003 et en 2004. Le grief tiré de l'art. 97 al. 1 LTF n'étant pas de nature à modifier la décision attaquée sur ce point, il peut être rejeté sans autre examen.
IV. Impôt fédéral direct
6.
Le premier objet du litige porte sur le point de savoir si le recourant était légitimé à déduire de ses revenus un montant de 248'347 fr. pour chacune des périodes fiscales 2003, 2004 et 2005.
Le recourant fait ici valoir des déductions qui peuvent être invoquées par des personnes qui exercent une activité lucrative indépendante: dans ses conclusions, il soutient en effet que la déduction du montant de 248'347 fr. doit être admise au titre de "perte commerciale", subsidiairement de "provision", faisant ainsi valoir une violation arbitraire des
6.1. Les contribuables exerçant une activité lucrative indépendante (art. 18 al. 1 LIFD) peuvent déduire les frais qui sont justifiés par l'usage commercial ou professionnel (art. 27 al. 1 LIFD). Font notamment partie de ces frais les pertes effectives sur des éléments de la fortune commerciale (art. 27 al. 2 let. b LIFD), les amortissements d'actifs (
Conformément à l'art. 31 al. 1 LIFD, les pertes des sept exercices précédant la période fiscale (art. 40) peuvent être déduites pour autant qu'elles n'aient pas pu être prises en considération lors du calcul du revenu imposable des années concernées. Cette disposition correspond matériellement à l'ancien art. 211 LIFD, en vigueur pour les périodes fiscales litigieuses, qui a été abrogé et remplacé par l'art. 31 al. 1 LIFD au 1er janvier 2014 (cf. ch. I 1 de la loi fédérale du 22 mars 2013 sur la mise à jour formelle du calcul dans le temps de l'impôt direct dû par les personnes physiques [RO 2013 2397]).
Par ailleurs, l'art. 34 let. c LIFD dispose que les dépenses affectées au remboursement de dettes ne constituent pas des frais et dépenses déductibles. Peu importe que ces dépenses concernent la fortune privée ou commerciale du contribuable (cf. art. 18 al. 2 LIFD, PETER LOCHER, Kommentar zum DBG, 2004, I. Teil, n° 23 ad art. 34 DBG; FELIX RICHNER/WALTER FREI/STEFAN KAUFMANN/HANS ULRICH MEUTER, Handkommentar zum DBG, 2e éd. 2009, n° 65 ad art. 34 DBG).
6.2. La Cour de justice a refusé les déductions invoquées au motif qu'elles ne représentaient que le remboursement d'une dette (art. 34 let. c LIFD). A.X.________ avait obtenu en 1996, avec son frère, un prêt hypothécaire de 6'640'000 fr. pour acquérir la totalité des actions de la Société. Lorsque ce prêt avait été dénoncé en 2003 par la Fondation, les codébiteurs avaient été obligés de rembourser leur dette, à hauteur de 6'376'857.75 fr. (intérêts non compris), ce qu'ils avaient effectué en septembre 2003, ayant à cet effet obtenu un refinancement à hauteur de 2'900'000 fr. par la banque E.________. Il en découlait que tant la part couverte par le refinancement que la part non couverte (soit 3'476'857.75 fr.) représentait bien le remboursement du solde de la dette contractée en 1996. Au surplus, le contribuable n'avait pas prouvé avoir constitué une provision de 248'347 fr., une telle écriture n'apparaissant au demeurant pas dans les documents annexés aux déclarations fiscales.
6.3. Il est incontestable que le montant que le recourant et son frère B.X.________ ont payé à la Fondation en 2003 représente le remboursement d'une dette, ce qui ne constitue pas une dépense déductible (cf. art. 34 let. c LIFD), comme l'a constaté à juste titre la Cour de justice. Le recourant affirme toutefois que le contrat de prêt hypothécaire ne serait "qu'une conséquence qui ne peut être retenue dans le cadre de ce dossier". Il soutient en effet qu'au vu de la diminution "drastique" de la valeur de l'immeuble, il a encouru en 2003 une perte déductible, respectivement qu'il était légitimé à déduire une provision. Une telle position ne peut être suivie.
6.4. Il faut au préalable souligner que, lorsqu'il soutient que les déductions qu'il revendique sont justifiées par la diminution de la valeur de l'immeuble sis sur la parcelle n° **** de Genève, le recourant raisonne comme si cet immeuble faisait partie de son patrimoine, perdant de vue qu'il s'agit là d'un actif qui appartient à la Société et qu'il n'est, pour sa part, propriétaire que des titres de cette dernière. Or, les déductions qu'il revendique, qui concernent le revenu de l'activité lucrative indépendante (art. 18 al. 1 LIFD), supposent que les actions de la Société fassent partie de sa fortune commerciale (art. 18 al. 2 LIFD). La Cour de justice, qui a centré son argumentation sur l'art. 34 let. c LIFD, n'a pas discuté cette question, et l'arrêt attaqué ne contient pas d'élément factuel qui permette de retenir une telle qualification (A.X.________ y est en effet présenté comme un avocat exerçant cette activité à titre principal et indépendant, sans qu'il soit fait référence à une activité accessoire de commerçant immobilier). Ce point souffre de rester incertain, car même si l'on admet que les actions font partie de la fortune commerciale du recourant, les griefs que ce dernier forme à l'encontre de l'arrêt attaqué doivent de toute manière être rejetés, comme démontré ci-après.
6.5. Le principe de l'autorité du bilan commercial ou de déterminance exprimé à l'art. 58 LIFD implique, en tant que règle d'évaluation du revenu, que le compte de résultat conforme au droit commercial est en principe déterminant en droit fiscal des personnes morales (ATF 137 II 353 consid. 6.2 p. 359; arrêts 2C_768/2014 du 31 août 2015 consid. 9.1; 2C_16/2015 du 6 août 2015 consid. 2.2.2). Cela s'applique également aux personnes physiques qui exercent une activité lucrative indépendante ( MARKUS REICH, in Kommentar zum schweizerischen Steuerrecht, I/2a, Bundesgesetz über die direkte Bundessteuer, Art. 1-82, 2
e éd. 2008, n° 21 ad art. 18 DBG; LOCHER, op. cit., n° 174 ad art. 18 DBG). L'art. 18 al. 3 LIFD renvoie du reste à l'art. 58 LIFD, applicable par analogie aux contribuables indépendants qui tiennent une comptabilité en bonne et due forme.
Si, selon sa lettre, l'art. 18 al. 3 LIFD n'envisage que les contribuables tenant une comptabilité, cela ne signifie pas pour autant que les indépendants qui n'en tiennent pas seraient soumis à des principes différents en matière d'estimation du revenu ( REICH, in op. cit., n° 22 ad art. 18 DBG). A défaut de comptabilité tenue conformément à l'usage commercial, l'indépendant doit alors joindre à sa déclaration fiscale un état des actifs et des passifs, un relevé des recettes et des dépenses ainsi que des prélèvements et apports privés (cf. art. 125 al. 2 LIFD; LOCHER, op. cit., n° 178 ad art. 18 DBG; REICH, in op. cit., n° 22 ad art. 18 DBG).
L'exigence de comptabilisation apparaît aussi à l'art. 27 al. 2 let. b LIFD en relation avec les pertes effectives sur des éléments de fortune commerciale. A défaut de comptabilité tenue en bonne et due forme, ces pertes doivent alors figurer dans le relevé des recettes et des dépenses au sens de l'art. 125 al. 2 LIFD ( REICH, in op. cit., n° 43 ad art. 27 DBG). L'art. 28 al. 1 LIFD exige également que les amortissements soient comptabilisés ou, à défaut de comptabilité tenue selon l'usage commercial, qu'ils apparaissent dans un plan spécial d'amortissement. Quant aux provisions, elles doivent également être comptabilisées pour être admises (art. 29 al. 1 LIFD) ou, à défaut, figurer dans le relevé des recettes et des dépenses au sens de l'art. 125 al. 2 LIFD ( MARCO DUSS/MARCO GRETER/JULIA VON AH, Die Besteuerung Selbständigerwerbender, 2004, p. 82).
Les exigences auxquelles doivent répondre les pièces comptables requises par l'art. 125 al. 2 LIFD dépendent des circonstances du cas d'espèce, en particulier du type d'activité et de l'ampleur de cette dernière. Dans tous les cas, elles doivent être propres à garantir une saisie complète et fiable du revenu et de la fortune liés à l'activité lucrative indépendante et pouvoir être contrôlées dans des conditions raisonnables par les autorités fiscales (arrêt 2C_551/2012 du 16 mai 2013 consid. 3.1 et les références citées, in StE 2013 B 23.3 Nr. 8). Cette exigence est d'autant plus importante lorsque le contribuable entend alléguer des faits de nature à éteindre ou à diminuer sa dette fiscale (ATF 121 II 257 consid. 4c/aa p. 266; arrêts 2C_835/2012 du 1
er avril 2013 consid. 7.2.2, in RDAF 2013 II 399; 2C_651/2012 du 28 septembre 2012 consid. 4.1), ce qui lui incombe de prouver (ATF 133 II 153 consid. 4.3 p. 158; arrêts 2C_42/2015 10 septembre 2015; 2C_109/2015 du 1
er septembre 2015 consid. 4.1).
6.6. En l'espèce, le recourant ne tenait pas de comptabilité en bonne et due forme en relation avec une activité de (quasi-) professionnel de l'immobilier. Il n'a pas non plus produit d'état des actifs et des passifs, de relevé des recettes et des dépenses ni de prélèvements et apports privés, comme l'exigeait l'art. 125 al. 2 LIFD. Il s'est limité à déduire dans ses déclarations fiscales un montant de 248'347 fr. sous la rubrique "pertes sur droits et obligations". Une telle manière de faire est manifestement insuffisante pour admettre ces déductions du revenu d'une activité lucrative indépendante, que ce soit au titre de perte effective sur des éléments de la fortune commerciale, d'amortissement ou de provision. Il n'est partant pas nécessaire d'examiner si, matériellement, les conditions de l'une ou l'autre des dispositions y relatives étaient remplies.
6.7. Le recourant invoque également une violation de l'ancien art. 211 LIFD. Ce grief est confus. Dans la mesure où il soutient qu'il était légitimé à déduire la perte durant sept ans, à raison de 248'347 fr. par année, il semble qu'il entend faire valoir l'ancien art. 211 LIFD conjointement avec l'art. 27 al. 2 let. b LIFD (déduction des pertes effectives), voire avec l'art. 29 LIFD (provision), en répartissant la perte sur une période de sept ans. Quoi qu'il en soit, le recourant n'a manifestement pas compris la teneur de l'ancien art. 211 LIFD, perdant de vue que cette norme concerne la perte
de l'exercice (cf. Robert Danon, in Commentaire romand, Impôt fédéral direct, 2008, n° 2 ad art. 67 LIFD, de teneur identique et applicable aux personnes morales) et non pas les pertes commerciales encourues
en cours d'exercice. Le grief de violation de l'ancien art. 211 LIFD est partant rejeté.
6.8. Il découle de ce qui précède que la Cour de justice n'a pas violé le droit fédéral en refusant au recourant le droit de déduire 248'347 fr. pour chacune des périodes fiscales litigieuses.
7.
Le recourant soutient ensuite que la Cour de justice a fait preuve d'arbitraire en refusant de tenir compte, en violation de l'art. 27 LIFD, des charges d'avocat indépendant qu'il a fait valoir en 2003 et 2004. Les juges précédents auraient adopté un comportement contradictoire en refusant de prendre en compte les frais qu'il alléguait, au motif qu'il n'en aurait pas apporté la preuve, tout en procédant par ailleurs à l'imposition d'un revenu d'activité indépendante d'avocat. Il serait en effet évident qu'une activité lucrative indépendante génère des frais.
7.1. Selon un principe généralement admis en matière fiscale, il incombe à celui qui fait valoir l'existence d'un fait de nature à éteindre ou à diminuer sa dette fiscale d'en apporter la preuve et de supporter les conséquences de l'échec de cette preuve (arrêts 2C_42/2015 du 10 septembre 2015 consid. 2.3; ATF 121 II 257 consid. 4c/aa p. 266 et les arrêts cités). La personne qui exerce une activité lucrative indépendante ne peut dès lors se contenter d'alléguer avoir encouru des frais, mais doit l'établir (arrêt 2C_1062/2014 du 14 juillet 2015 consid. 3.1).
7.2. En l'espèce, la Cour de justice n'a pas procédé à une appréciation arbitraire des preuves en retenant que le recourant n'avait pas démontré la réalité des charges qu'il alléguait avoir encourues. En conséquence, on ne saurait lui reprocher d'avoir violé l'art. 27 LIFD en refusant les déductions revendiquées. On relèvera encore que le recourant passe sous silence que les frais qu'il a fait valoir de manière forfaitaire dans ses déclarations d'impôt 2003 et 2004 ont été admis par l'Administration cantonale et que les charges effectives qu'il a fait valoir en 2003 en plus de ces charges forfaitaires ont été reconnues pour un montant égal à son gain d'activité accessoire en 2003 (soit 59'058.10 fr.), étant rappelé qu'en 2004, il n'a déclaré aucun revenu d'activité accessoire. Le recourant est en conséquence pour le moins malvenu de leur reprocher d'avoir imposé un revenu d'activité indépendante sans lui accorder de déductions.
8.
Le recourant invoque ensuite l'art. 143 al. 1 LIFD et le principe l'interdiction du formalisme excessif. Il soutient que la Cour de justice a violé l'art. 143 al. 1 LIFD en retenant que la conclusion qu'il avait prise devant le Tribunal administratif le 11 octobre 2010 et tendant à la prise en compte, pour la période fiscale 2003 et 2004, de la perte qu'il avait subie en 1999 sur la vente d'un immeuble à F.________, était irrecevable car nouvelle.
L'arrêt attaqué a certes relevé que le Tribunal administratif avait constaté à juste titre l'irrecevabilité de cette conclusion, mais il en a néanmoins examiné le bien-fondé pour conclure qu'au vu des principes de périodicité et d'étanchéité des périodes fiscales (sur ce point, cf. consid. 8.1 ci-après), une perte commerciale encourue en 1999 ne pouvait être déduite du revenu imposable en 2003 et 2004. Dans ces circonstances, il n'est pas nécessaire d'entrer en matière sur les griefs du recourant, puisque les juges précédents ont procédé à l'examen de sa prétention au fond.
8.1. Sur le fond, en lien avec la déduction de cette perte, le recourant fait valoir une violation du principe de la légalité. Il soutient en substance que les "anciens principes jurisprudentiels genevois" de périodicité et d'étanchéité seraient incompatibles avec le principe de légalité. Il en déduit qu'il est habilité à faire valoir la perte commerciale subie en 1999 tant pour la période fiscale 2003 que pour la période fiscale 2004.
8.1.1. L'art. 127 al. 1 Cst. érige en droit constitutionnel indépendant le principe de légalité en droit fiscal (cf. ATF 132 1I 157 consid. 2.2 p. 159; 128 I 317 consid. 2.2.1 p. 320 s.). Le recourant mentionne certes cette disposition dans son mémoire de recours, mais seulement dans un extrait reproduit de jurisprudence, sans en tirer clairement de grief. Il indique en revanche expressément qu'il fait valoir ici une violation du principe de légalité "au sens de l'art. 36 al. 1 Cst.". Or, cette disposition concerne la restriction des droits fondamentaux, et le recourant n'en fait valoir aucun. Dans ces circonstances, la recevabilité du grief de violation du principe de légalité est pour le moins douteuse, eu égard aux exigences de motivation accrues de l'art. 106 al. 2 LTF. Ce point peut toutefois rester ouvert, puisque le grief est de toute manière manifestement infondé.
8.1.2. Pour les personnes physiques, les principes de périodicité et d'étanchéité découlent, dans les cantons qui, comme celui de Genève dès 2003, appliquent le système de taxation annuelle en matière d'impôt fédéral direct (cf. MARC BUGNON, in Commentaire romand, Impôt fédéral direct, 2008 n° 8 ad art. 41 LIFD), des anciens
Selon l'ancien art. 209 LIFD, l'impôt sur le revenu est fixée et prélevé pour chaque période fiscale (al. 1). La période fiscale correspond à l'année civile (al. 2). En vertu de l'ancien art. 210 LIFD, le revenu imposable se détermine d'après les revenus acquis pendant la période fiscale (al. 1). Le produit de l'activité lucrative indépendante se détermine d'après le résultat de l'exercice commercial clos pendant la période fiscale (al. 2). Les contribuables qui exercent une activité lucrative indépendante doivent procéder à la clôture de leurs comptes à chaque période fiscale (al. 3).
Ces règles impliquent que tous les revenus effectivement réalisés, ainsi que tous les frais engagés durant la période fiscale en cause sont déterminants pour la taxation de cette période (arrêts 2C_1278/2012 14 octobre 2013 consid. 3.1, in RF 69/2014 p. 55; 2C_240/2011 du 8 avril 2011 consid. 2, in RF 66/2011 p. 679; 2A.475/2002 du 31 mars 2003 consid. 3.1, in StE 2003 B 21.12 Nr. 17 et traduit in RDAF 2004 II 38). Le Tribunal fédéral a d'ailleurs rappelé que les déductions prévues à l'art. 27 LIFD - et donc les pertes effectives sur des éléments de la fortune commerciale, cf. art. 27 al. 2 let. b LIFD - étaient soumises au principe de périodicité, ce qui impliquait qu'elles n'étaient déductibles d'une période fiscale que lorsqu'elles trouvaient leur cause dans des événements ayant eu lieu durant cette période (arrêt 2C_835/2012 du 1er avril 2013 consid. 7.1, in RDAF 2013 II 399). Les règles matérielles comptables consacrent également le principe de la périodicité en exigeant que la totalité du bénéfice et des frais tombant dans une période donnée soient attribués à cette période (ATF 137 II 357 consid. 6.4.4 p. 6.4.4; arrêt 2C_907/2012 du 22 mai 2013 consid. 5.2.2 et les références citées, in RF 68/2013 p. 714, RDAF 2013 II 505).
8.1.3. Au vu de ce qui précède, on peut légitimement se demander si le recourant soutient sérieusement que les principes de périodicité et d'étanchéité ne constituent que d'anciens principes jurisprudentiels genevois. Quoi qu'il en soit, le Tribunal fédéral rappellera à cet égard que ces principes impliquent notamment qu'un contribuable ne saurait choisir le moment de l'imposition de son revenu (ATF 140 II 248 consid. 3.4 p. 251; arrêt 2P.14/1998 du 3 juillet 1998 consid. 3a, in RDAF 1998 II 370), pas plus qu'il ne peut déterminer librement à quelle période fiscale il entend affecter une charge (arrêt 2C_696/2013 du 29 avril 2014 consid. 3.1, in RF 69/2014 p. 650). Le recourant avait la possibilité de contester, par les moyens de droit ordinaires, la décision de taxation qui, selon lui, avait omis de tenir compte de la perte commerciale qu'il avait subie en 1999 (cf. arrêt 2C_1278/2012 précité consid. 3.1). Il ne saurait pallier les conséquences de son abstention en faisant valoir cette perte en lien avec des périodes fiscales ultérieures.
VI. Impôt cantonal et communal
9.
En droit cantonal, la loi sur l'imposition des personnes physiques du 27 septembre 2009 (LIPP; RS/GE D 3 08) prévoit que les impôts relatifs aux périodes fiscales antérieures à 2010 demeurent régis par les dispositions de l'ancien droit, soit notamment la loi cantonale du 22 septembre 2000 sur l'imposition des personnes physiques - Détermination du revenu net - Calcul de l'impôt et rabais d'impôt - Compensation des effets de la progression à froid (aLIPP-V).
Les notions cantonales de provisions (art. 3 al. 3 let. e aLIPP-V), de report des pertes des exercices (art. 3 al. 3 let. f aLIPP-V), de dépenses non déductibles telles que les sommes affectées au remboursement de dettes (art. 9 let. c aLIPP-V), d'amortissements (art. 3 al. 3 let. d aLIPP-V), ainsi que les obligations qui incombent aux personnes physiques exerçant une activité lucrative indépendante (art. 29 al. 2 LPFisc) correspondent à celles de l'impôt fédéral direct et à celles de la LHID (cf. art. 10 al. 1 let. a, b, c et al. 2 LHID et art. 42 al. 3 LHID). Il en va de même en ce qui concerne les notions de périodicité de l'impôt et d'étanchéité des périodes fiscales, celles des anciens
VII. Conséquences, ainsi que frais et dépens
10.
Ce qui précède conduit au rejet du recours en matière de droit public, dans la mesure de sa recevabilité, et à l'irrecevabilité du recours constitutionnel subsidiaire. Succombant, le recourant doit supporter les frais judiciaires (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_87/2015 et 88/2015 sont jointes.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
Le recours en matière de droit public est rejeté, dans la mesure de sa recevabilité, en tant qu'il concerne l'impôt fédéral direct des périodes fiscales 2003, 2004 et 2005.
4.
Le recours en matière de droit public est rejeté, dans la mesure de sa recevabilité, en tant qu'il concerne l'impôt cantonal et communal des périodes fiscales 2003, 2004 et 2005.
5.
Les frais judiciaires, arrêtés à 6'000 fr., sont mis à la charge du recourant.
6.
Le présent arrêt est communiqué à la mandataire du recourant, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 1ère section, et à l'Administration fédérale des contributions.
Lausanne, le 23 octobre 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
La Greffière : Vuadens