Théorie des ensembles
introduction

Cette page est obsolète (13/9/2008). Voir le nouveau sommaire : Théorie des ensembles et fondements des mathématiques.

Ancien sommaire:
1.1. Qu'est-ce que la logique mathématique
1.2. A propos de théorie des ensembles


1.3. Variables et ensembles
1.4. Applications, relations unaires et compréhension


1.5. Le paradoxe du langage et son explication temporelle
1.6. Paradoxe de Russell et explications (notion de classe)


1.7. Ensembles finis, n-uplets, familles, produit
1.8. Opérations, relations
1.9. Construction des termes et énoncés

Cette première page (sections 1.1 et 1.2), de commentaires sur le contexte général, ne sont pas nécessaires au vrai démarrage de l'exposé qui a lieu à la section 1.3.

1.1. Qu'est-ce que la logique mathématique ?

La mathématique est l'étude des systèmes éventuellement infinis mais constitués de purs objets élémentaires, dont l'existence est abstraite, indépendante de notre monde physique. Chaque constituant (élément, relation... ) de ces systèmes a pour seule nature le fait d'être exact, sans ambiguïté : deux objets sont égaux ou différents, sont reliés ou ne sont pas reliés, une opération donne un résultat exactement... Le choix de tels systèmes à étudier est lui-même également un choix mathématique, en ce sens qu'il est donné par des conditions exactement définies de complexité limitée.
La logique mathématique est la partie des mathématiques ayant pour objet de décrire, aussi mathématiquement que possible, les fondements des mathématiques, autrement dit la nature du monde des mathématiques lui-même. Par sa "nature", il faut bien sûr entendre (comme pour celle de tout système mathématique) sa structure en tant que système: éléments de base, point de départ, formes élémentaires d'assemblage, règles de développement et propriétés. Mais aussi de décrire le langage des mathématiques, qui est un système mathématique parmi les autres (un assemblage précis d'objets élémentaires en relation mathématique avec les systèmes étudiés). Cela ne semble-t-il pas être une chose claire, où on devrait, en principe, savoir de quoi on parle ? Quels sont donc les fondements des mathématiques ?
Paradoxalement, il s'agit là d'un problème très complexe. Sa complexité est (approximativement) limitée, certes, et manifestement moindre que celle des théories actuelles s'approchant des fondements ultimes de la physique (les plus pointues sont d'une complexité monstrueuse), mais elle est tout de même grande. En fait, si on travaille beaucoup à remonter le courant du développement mathématique vers ses fondements, et si à chaque fois qu'on semble rencontrer un fondement, on s'interroge sur sa nature et les structures qui le constituent, autrement dit sur le fondement du fondement et ainsi de suite, on trouve finalement en guise de fondement, non une base nette et définitive mais une vaste dynamique plus ou moins bouclée sur elle-même, comportant certaines étapes assez simples et d'autres plus compliquées. Mais ce constat n'est pas un échec, car cette boucle est bien plus pertinente qu'un cercle vicieux, étant de plusieurs parts riche de développements potentiels utiles à diverses branches des mathématiques, et globalement elle joue véritablement un rôle fondateur pour les mathématiques.
Un tel phénomène n'est pas si surprenant en soi : ne sommes-nous pas habitués aux dictionnaires qui définissent le sens de chaque mot au moyen d'autres mots. La surprise réside bien sûr dans le fait qu'il s'agit de mathématiques. Elle s'excuse en partie du fait qu'on veut donner des fondements englobant des outils finis (le langage) capables de fournir un maximum d'informations sur les systèmes infinis. Mais pour l'excuser totalement, remarquons qu'il y a bien une science restreinte aux systèmes d'objets élémentaires en nombre fini (limité), mais dont les fondements sont sujets à ce même paradoxe : l'informatique. On peut en effet utiliser les ordinateurs comme simples utilisateurs, en sachant parfaitement ce qu'on fait mais sans savoir pourquoi cela fonctionne. Ou on peut en chercher les fondements : langages de programmation et connaissance du code source des logiciels (dont le système d'exploitation), lesquels ont été rédigés en utilisant déjà des logiciels, dont un logiciel de compilation dont on peut se demander en quel langage il fut écrit. On peut aussi s'intéresser au matériel et à l'architecture du processeur, dont la conception et la fabrication industrielle ont bien sûr été assistées par ordinateur. Et c'est ainsi nettement plus facile que lors de la naissance ex nihilo de cette discipline.

Le monde mathématique est structuré en théories (en nombre infini...). Chaque théorie est l'étude des systèmes mathématiques comportant une certaine liste donnée de types de constituants, liés entre eux par une liste de relations, et satisfaisant une liste donnée de propriétés appelées les axiomes de la théorie (alors dans certains cas elles satisferont toutes les mêmes propriétés) (est-ce pour cela qu'on parle des mathématiques au pluriel...). Implicitement ou explicitement, tout travail mathématique se situe dans le cadre d'une certaine théorie.
Chaque théorie peut être abordée et interprétée, au choix, suivant deux approches : une approche réaliste (certains préféreront l'adjectif idéaliste ou encore platonicien; le terme "réaliste" est employé ici pour suggérer qu'on se réfère à un monde mathématique qui serait réel), et une approche formaliste. L'approche réaliste consiste à penser que le monde mathématique, avec son infinité d'objets, de systèmes et de vérités, préexiste à son étude laquelle n'est qu'un acte d'exploration (Platon l'appelait un ressouvenir); et l'approche formaliste consiste à tout voir sous forme d'un développement de formules à partir d'un fondement constitué d'éléments et de règles d'assemblage élémentaires définies au départ.
L'approche réaliste est celle de l'intuition, par laquelle on tente de s'orienter en flairant l'ordre global de la réalité mathématique, tandis que l'approche formaliste, rigoureuse, est celle qui va préciser sur quels fondements et suivant quels cheminements les choses se construisent. La recherche des fondements d'une théorie (explicitation d'une construction aboutissant à un système donné), se confond donc avec la démarche de formalisation de cette théorie, qui consiste à transformer l'intuition en rigueur.
Alors, que sont les fondements des mathématiques en général ou d'une théorie en particulier, et pourquoi s'en préoccuper ?
D'abord et à chaque instant, le fondement est ce qu'on connaît ou qu'on a choisi d'accepter qui définit la théorie dans laquelle on se trouve, et d'après quoi on peut avancer. Avancer, c'est développer la théorie, explorer ses développements possibles. Ces développements sont de nouvelles notions et connaissances qui résultent du fondement précédent et s'y ajoutent pour constituer le fondement suivant.
Pour développer une théorie, on est confronté au choix du développement à effectuer parmi les développements possibles; mais ce qu'on ne choisit pas de développer à un instant n'est pas perdu en développant autre chose, car le fondement qui pouvait l'engendrer subsistant dans le fondement suivant pourra toujours l'engendrer plus tard. Ainsi, pour toute théorie mathématique présentée par un fondement, on peut définir sa réalité comme étant l'ensemble de tous ses développements possibles.
Mais le travail fondamental consiste plus précisément à développer les fondements les plus utiles possibles, c'est-à-dire clairs et par lesquels on pourra plus efficacement et directement avancer, nous rapprochant d'un maximum d'horizons. Or ces meilleurs fondements ne pourront se construire que par un travail considérable (mais intéressant) à partir d'un fondement initial a priori plus intuitif et facile à introduire.

Il est bien sûr impossible de tenir une démarche totalement réaliste, à cause principalement de la finitude de l'intelligence humaine seulement capable d'effectuer des raisonnements qui soient finalement traduisibles (avec plus ou moins de difficultés) en un développement formel fini à partir d'un certain fondement. Cette possibilité de réduire le raisonnement à une structure finie est d'ailleurs une bonne manière de vérifier que l'intuition ne nous trompe pas.
De plus, on verra que la réalité mathématique résiste elle-même à la conception réaliste qu'on peut avoir d'elle. En effet, pour pouvoir invoquer l'existence d'une réalité mathématique il faudrait d'abord préciser laquelle, autrement dit en choisir une théorie; mais même cette réalité présente un certain caractère irréductiblement dynamique capable de repousser ses limites toujours plus loin que sa totalité qu'on pourrait un instant considérer. Heureusement, ce défaut se surmonte par la possibilité de formuler une conception théorique de réalités supérieures assez larges sous forme d'une théorie axiomatique adéquate relativement simple, reflétant le réalisme suivant une approximation satisfaisante en pratique...
Mais une approche totalement formaliste n'est pas tenable non plus, à cause de cette impossibilité de trouver un point de départ totalement clair et auto-suffisant, mais aussi à cause du caractère toujours plus ou moins arbitraire du choix de ce point de départ à l'intérieur de la réalité mathématique. En effet, le formalisme n'est pas non plus absolument fondamental car ses bases et son fonctionnement ne peuvent être introduits au départ qu'en s'appuyant sur certaines motivations et "évidences" intuitives, autrement dit, en quelque sorte réalistes. Sur un problème donné, une vision intuitive peut parfois apparaître plus claire qu'un raisonnement rigoureux. En pratique, on travaille généralement avec des preuves semi-formelles, dont la structure globale est essentiellement formalisée ou plutôt visiblement formalisable, mais l'expression de ses articulations exactes est laissée à l'intuition, du moment qu'on "sent" qu'une formalisation totale serait possible.
Enfin, cette dynamique des mathématiques qui se développent à partir de fondements ne concerne pas seulement l'intérieur de chaque théorie mais aussi les relations entre les théories : il y a des théories plus élémentaires ou fondamentales (par exemple pouvant partir d'un fondement plus simple) qui peuvent servir de fondements à d'autres théories, d'une manière parfois plus pertinente que si l'on cherchait des fondements à l'intérieur d'une théorie donnée : les constituants du fondement d'une théorie ne sont plus alors vus comme un bloc toujours indissociable mais une partie d'entre eux peuvent prendre un sens (celui d'une théorie plus simple) indépendamment des autres, ouvrant la voie au développement potentiel d'autres théories complexes ayant cette partie en commun.

1.2. A propos de théorie des ensembles

Le cycle fondateur des mathématiques étant assez complexe, on ne peut aisément en donner d'entrée de jeu une image globale bien claire, et ce serait d'ailleurs inutile, puisque c'est de choses simples qu'il faut partir. Alors, pour commencer son étude on ne peut éviter de choisir un point de départ, un ensemble de notions qu'on introduit d'abord sans s'appuyer (ou en faisant semblant de ne pas s'appuyer) sur d'autres notions. Aucun point de départ n'est parfaitement autonome, mais on peut trouver des phases du cycle meilleures que d'autres pour servir de départ: des parties qui sont plus simples que d'autres et par lesquelles le démarrage peut être plus naturel.
Ainsi, un point de départ est un petit lieu progressivement éclairé et agrandi perdu dans un monde obscur, encore inconnu. Mais, qu'est-ce qu'un bon point de départ ? C'est un lieu choisi et éclairé par un auteur connaissant bien les environs et s'appliquant à guider rapidement son lecteur, beaucoup plus naïf que lui-même, vers ce qu'il peut y avoir de plus authentiquement simple, clair, commun à tous les points de vue, intéressant et capable d'ouvrir l'esprit aux plus larges perspectives de développements mathématiques. Cela, en prenant garde de ne pas l'illusionner, l'enfermer dans un point de vue restrictif ni l'exposer désarmé à des paradoxes ou questions sans réponse.

Les fondements des mathématiques sont principalement constitués de deux théories: la théorie des ensembles et la théorie des modèles.
La théorie des modèles est la théorie des théories axiomatiques, de leurs significations (les systèmes appelés univers pouvant en être les objets) et des démonstrations. Elle est donc d'aspect un peu compliqué dans la mesure où elle englobe dans son étude le traitement du langage formel des théories étudiées.
Ses avantages: elle est élégante, il n'y en a essentiellement qu'une version possible (ses notions et résultats sont finalement les seuls possibles quelle que soit la manière exacte dont on la formalise), et elle est sujette au théorème de complétude: dans toute théorie T objet de la théorie des modèles, tout ce qui est universellement vrai (i.e. vrai dans tout univers-objet de T) est démontrable suivant un système établi de règles de démonstration. Autrement dit, tout ce qui n'est pas formellement démontrable à partir de T se trouve être réellement faux dans un certain univers possible objet de T. On peut dire qu'un tel univers où l'énoncé est faux constitue un contre-exemple de l'énoncé, mais suivant les cas cela peut n'être qu'une existence assez abstraite d'une infinité de cas, sans possibilité d'en présenter un cas particulier par une construction "explicite" satisfaisante en pratique. En fait, la démonstration du théorème de complétude prend la forme d'une construction d'un univers particulier par récurrence, en ajoutant successivement aux axiomes chaque formule irréfutable par les axiomes précédents: la condition d'irréfutabilité étant une condition non calculable (voir le fameux problème de l'arrêt en algorithmique), il s'agit d'une construction non algorithmique, par ailleurs assez monstrueuse.
On peut regretter que malgré son intérêt fondamental et sa relative simplicité (sauf bien sûr l'aspect théorie des démonstrations qui serait à laisser de côté), la théorie des modèles demeure ignorée de l'enseignement du premier cycle universitaire.
La théorie des ensembles a pour but d'introduire et d'étudier les objets fondamentaux du monde mathématique, en partant des objets les plus élémentaires et en construisant ensuite les autres à partir d'eux. Mais il y a plusieurs théories axiomatiques des ensembles possibles concurrentes (potentiellement une infinité), aux propriétés et résultats différents. Chacune est assujettie au théorème d'incomplétude: du moment qu'elle est non-contradictoire, il s'y trouve des vérités non démontrables, parmi lesquelles l'énoncé de sa propre non-contradiction.
Théories des ensembles et théorie des modèles se partagent suivant diverses parts de pertinences les rôles de fondements effectifs des différentes branches des mathématiques. Ce sont les deux faces des fondements des mathématiques, complémentaires l'une de l'autre et servant de fondement l'une à l'autre comme la poule et l'oeuf. Chacune est le cadre naturel permettant de formaliser l'autre rigoureusement de manière convenable. Les notions de théories et de leurs univers dont parle la théorie des modèles, se construisent formellement sous forme d'objets mathématiques comme les autres en théorie des ensembles; et toute théorie des ensembles se formalise sous forme d'une théorie axiomatique comme les autres. Mais ces formalisations sont un travail pas très naturel, des manières d'expliquer des choses simples sur la base de choses plus compliquées, c'est pourquoi il est normal de ne pas les effectuer au premier abord.
Le plus naturel est donc de démarrer les fondements des mathématiques par la présentation d'une théorie des ensembles partiellement formalisée, et la mieux possible adaptée à ce rôle d'initiation au monde des mathématiques, ce qu'on appelle une théorie naïve des ensembles.
La tradition est de concevoir une telle théorie naïve comme l'expression plus ou moins vulgarisée (implicite) d'une théorie axiomatique des ensembles particulière, et précisément celle de Zermelo-Fraenkel (ZF) avec axiome du choix, notée ZFC en abrégé. Ce choix s'explique par le fait qu'en général les auteurs de cours voulant présenter un fondement aux mathématiques mais ne s'y connaissant pas vraiment dans ce domaine (notamment à l'époque où les perspectives nécessaires n'étaient de fait pas encore disponibles), ont d'abord copié sur celui en usage chez les logiciens professionnels (puis bien sûr les uns sur les autres sans se poser davantage de questions). Ces derniers, ne se souciant guère de la question du meilleur choix adapté à l'introduction d'une théorie naïve des ensembles pour l'enseignement de base, ont marqué leur préférence pour le système ZFC, en vertu de son caractère expéditif en tant que système formel (axiomatique de forme simple mais rigoureusement très puissante), qui leur permet de démontrer leurs théorèmes métamathématiques de haut vol (résultats d'indécidabilité) plus facilement.
Mais, même si en un sens cette théorie axiomatique semblerait satisfaisante vue de loin (surtout quand on n'en connaît pas d'autre) et relativement simple, ce n'est là qu'une impression manquant de pertinence. Car sa pertinence ne peut vraiment s'apprécier que relativement à un environnement de connaissances plus larges en fondements des mathématiques. Et elle s'apprécie à sa place pour ce qu'elle est, à savoir qu'elle est une étape, une option, le choix arbitraire d'un système possible parmi d'autres. Parfois équivalentes sous tel ou tel aspect, les variantes peuvent aussi notamment refléter différentes phases du développement du monde mathématique, et mener à des résultats différents. Ce sont ainsi différents aspects ou points de vue sur les mathématiques, entre lesquels on peut choisir celui qu'on veut, d'après le but recherché.
Aussi, il serait faux de croire que les axiomes de la théorie des ensembles sont choisis pour leur caractère "intuitivement évident". Beaucoup d'aspects des fondements des mathématiques doivent déjà de toute façon être admis au départ pour pouvoir écrire un axiome, lui donner une signification et un usage: c'est le rôle de la théorie des modèles comme cadre de toute théorie axiomatique. Ce qui distingue donc les axiomes de la théorie des ensembles en tant que tels parmi les fondements qu'on se donne aux mathématiques, c'est justement le fait qu'ils ne sont pas assez évidents ou nécessairement vrais (ils ne sont pas donnés par la théorie des modèles) pour rendre inutile ou superflue leur déclaration. Et si en dernier ressort ils sont choisis pour des motifs intuitifs, cette intuition n'est pas du style d'évidence qui tombe d'elle-même aussi simplement qu'on le dit (à moins bien sûr de renoncer à les comprendre si ce n'est comme produit historique d'une sélection darwinienne), mais elle s'enracine dans certaines motivations plus élaborées.
Or, quand bien même on voudrait se plier à la démarche de principe visant à préciser en termes axiomatiques la théorie des ensembles qui servira de fondement aux mathématiques de premier cycle universitaire, différents défauts seraient à reprocher au choix particulier de ZF (ou ZFC) parmi d'autres possibilités qu'on pourrait pourtant assez facilement entreprendre de poser.
Son premier défaut est son hypothèse implicite que tout ne serait qu'ensembles d'ensembles indéfiniment (finalement construits sur l'ensemble vide en vertu de l'axiome de fondation). D'autres auteurs considèrent que parmi les objets mathématiques il y aurait aussi les classes, suivant d'autres axiomatiques qui traînent parfois, mais ce ne sera pas non plus notre option, comme nous l'expliquerons plus tard. Or, s'il est certes possible de construire formellement le monde mathématique sur ZF ou ZFC, une telle conception ne ressemble quasiment à rien de la pratique des mathématiques. En effet en pratique, beaucoup d'objets (éléments des ensembles considérés) "sont" de purs éléments en ce sens que la question de leur nature particulière éventuelle (savoir quels sont leurs éléments si ce sont des ensembles) n'a pas lieu d'être évoquée. Cela n'étant pas formellement incompatible avec l'idée que d'autre part ce sont tous des ensembles, cette utilisation des purs éléments n'a pas eu besoin d'être formalisée, mais demeure un étrange gouffre entre la "théorie" officielle et la pratique des mathématiques.
Son second défaut essentiel est le fait de proposer ZF (la théorie avec schéma d'axiomes de remplacement) plutôt que Z (théorie de Zermelo qui fut inventée avant ZF, avec seulement schéma de compréhension), qui pourtant suffisait à la fondation des mathématiques de base.
En effet, il est affligeant pour l'oeil averti, d'observer la prétention de nombreux cours de première année à faire semblant de présenter "l'axiome de remplacement" (sic), qui en réalité est autrement plus subtil que ce qui est annoncé à ce stade.
Déjà qu'il ne s'agit pas, contrairement à ce que certains se laissent écrire, d'un axiome de remplacement mais d'un schéma d'axiomes, c'est-à-dire une règle de construction d'une liste infinie d'axiomes (un axiome pour chaque énoncé possible écrit à un endroit de la formule, tout comme le schéma d'axiomes de compréhension dans l'axiomatique Z), cette règle ne se trouve que rarement énoncée rigoureusement dans les cours de base. Mais, quand bien même se trouverait un cours prenant soin d'énoncer rigoureusement ce schéma d'axiomes de remplacement, le lecteur ordinaire n'a de toute façon aucune chance d'en saisir la signification véritable. En effet, beaucoup des axiomes de ce schéma se trouvent hélas avoir la perversité de signifier au fond bien autre chose (quelque chose de beaucoup plus subtil et puissant) que ce qu'ils ont l'air de signifier à leur lecture naïve, lecture erronnée que, hélas encore, commettent et transmettent habituellement dans leur ignorance les auteurs de ces cours.
Ainsi, déjà que les quelques cas d'énoncés rigoureusement exacts de ce schéma sont toujours recouverts de cette interprétation erronnée, que dire de l'habitude de passer sous silence l'énoncé exact pour n'en garder que son interprétation erronnée, vaguement habillée d'un semblant de formule pour lui donner un air mathématique ?
Ainsi, nous ne présenterons ce schéma d'axiomes de remplacement que bien plus tard, après les autres axiomes nécessaires de la théorie des ensembles, muni d'une explication détaillée de pourquoi il serait faux de l'interpréter de la manière généralement supposée, et comment au contraire le comprendre pour le voir enfin correct.

Nous aborderons le monde mathématique en cherchant en premier lieu à rendre compte des idées profondes et notions les plus pertinentes qui émanent des fondements et usages courants des mathématiques dans leur globalité. Ainsi, au lieu de se restreindre arbitrairement à suivre le système habituel ou un autre, on expliquera la signification exacte de chaque aspect ou choix que l'on effectuera ou non, et qui ne sera pas toujours conforme à ZF, du moins dans sa présentation. Alors, le développement de notre théorie naïve des ensembles nécessitera parfois le franchissement d'une étape sous forme de l'adoption d'un certain axiome dont le rôle sera précisé. Par contre, le problème de la formulation de la théorie des ensembles comme théorie bien définie par un choix d'une liste exacte d'axiomes, sera remis à plus tard: nous le considèrerons comme une des dernières étapes du cycle fondateur des mathématiques, une clé de voûte d'un système beaucoup plus large.
Notre étude sera basée sur la reconnaissance d'objets mathématiques fondamentaux de trois espèces différentes: les éléments purs, les ensembles et les applications. On pourrait dire que les éléments purs ne constituent pas une espèce à part entière, mais une absence d'espèce, le fait de parler d'objets sans s'occuper de leur espèce (ce qu'on fait avec eux est également valable pour tous les objets). D'autre part, le choix des applications comme autre espèce d'objets sera complété et relativisé par la présentation de notions voisines pouvant aussi être vues comme fondamentales, comme la notion d'opérations. Mais nous complèterons et éclairerons également ces notions par la question de leur rapport au langage.