From 7e0ffc5f91c79a40e1ca5947711dfaea7c0ae34b Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Nicolas=20Hord=C3=A9?= Date: Thu, 17 Sep 2020 16:37:10 +0200 Subject: [PATCH] build: changement des makefiles pour utilisation de Docker pour la compilation --- README.md | 87 ++++++++++------------------------------ docker/alpine/build.sh | 2 + docker/alpine/dockerfile | 10 +++++ docker/debian/build.sh | 2 + docker/debian/dockerfile | 9 +++++ final/makefile | 8 ++-- make.sh | 23 +++++++++++ makefile | 62 ++++++++++++++++------------ programs/makefile | 5 ++- syscalls.txt | 65 ------------------------------ tools/makefile | 2 +- 11 files changed, 113 insertions(+), 162 deletions(-) create mode 100755 docker/alpine/build.sh create mode 100644 docker/alpine/dockerfile create mode 100755 docker/debian/build.sh create mode 100644 docker/debian/dockerfile create mode 100755 make.sh delete mode 100644 syscalls.txt diff --git a/README.md b/README.md index 03f78c5..65c6218 100644 --- a/README.md +++ b/README.md @@ -23,9 +23,7 @@ Sans système d'exploitation votre ordinateur est inopérant: c'est une boite vi #### Comment utiliser COS2000 ? -COS2000 n'a pas pour but d'être utilisé en production. Il s'agit d'un système en cours de -développement que vous pouvez néanmoins tester sur un ordinateur physique ou de préférence sur une machine virtuelle. -Il est nécessaire de compiler le système avant de démarrer celui-ci à partir d'un périphérique amovible (clé usb). +COS2000 n'a pas pour but d'être utilisé en production. Il s'agit d'un système en cours de développement que vous pouvez néanmoins tester sur un ordinateur physique ou de préférence sur une machine virtuelle. Il est nécessaire de compiler le système avant de démarrer celui-ci à partir d'un périphérique amovible (clé usb). #### Sur quel ordinateur fonctionne t'il ? @@ -51,45 +49,11 @@ Les détails se trouvent dans le fichier `LICENSE.md` ##### Logiciels utilisés -L'OS a été développé sous Linux afin de disposer d'un maximum d'outils. Je vous conseille donc -d'utiliser ce système afin de procéder à la compilation même si celle-ci peut fonctionner -depuis Cygwin. Des distributions "Live" existent si vous ne souhaitez pas installer sur votre -ordinateur (http://www.linuxmint.com/edition.php?id=259). +L'OS a été développé sous Linux afin de disposer d'un maximum d'outils dont GCC/GAS/Docker et l'ensemble de BINUTILS. Je vous conseille donc d'utiliser Linux afin de procéder à la compilation même si celle-ci peut fonctionner depuis Windows grace à Cygwin. Des distributions "Live" existent si vous ne souhaitez pas installer sur votre ordinateur (http://www.linuxmint.com/edition.php?id=259). -Les numéros de version des logiciels sont données à titre indicatif car il est fort probable que - cela fonctionne parfaitement avec d'autres versions antérieures. +Je conseille l'usage du debogueur GDB avec l'ajout de [GDB dashboard - Modular visual interface for GDB in Python](https://github.com/cyrus-and/gdb-dashboard) qui permet de visualiser le contenu des registres CPU en permanence. -Je conseille l'usage du debogueur GDB avec l'ajout de [GDB dashboard - Modular visual interface for -GDB in Python](https://github.com/cyrus-and/gdb-dashboard) qui permet de visualiser le contenu des registres CPU en permanence. -Compilation. - -Nom | Paquet | Version ---- | --- | --- -gcc | gcc | *>7.0* -GNU Make | make | 4.1 -Outils divers | binutils | 2.26-8 - -Images disques, débogage & émulation: - -Nom | Paquet | Version ---- | --- | --- -fuse-umfuse-ext2 | fuseext2 | 0.4 29 -fusefat | fusefat | 0.1a-1.1 -GDB | gdb | 8.1.0.20180409-git -QEMU emulator | qemu | 2.5.0 -OVMF | ovmf | 0~20160408.ffea0a2c-2 -hexdump | bsdmainutils | 9.0.6 -dd | coreutils | 8.25-2 -tar | tar | 1.28-2.1 -Bochs | bochs | 2.6 - -Suivi et développement: - -Nom | Paquet | Version ---- | --- | --- -GNU indent | indent | 2.2.11 -GIT | git | 2.7.4 -Dos2unix | dos2unix| 6.0.4 +Le système de conteneurisation Docker est exploité afin de d'assurer une reproductibilité totale de l'environnement de compilation quelque soit la distribution linux utilisée. ##### Téléchargement de COS2000 @@ -103,45 +67,37 @@ Puis cloner le source chez vous avec la commande : `git clone https://github.com/dahut87/cos2000.git` -##### Installation des paquets nécessaires - -Sous linux - Debian & Ubuntu like - -`sudo apt-get install gcc qemu fusefat fuseext2 cgdb ovmf bsdmainutils tar bsdmainutils indent binutils` - -ou sinon, depuis un terminal disposé sur le répertoire cos2000 - -`make install` - #### Compilation + +Docker est utilisé afin de permettre le fonctionnement correcte de la compilation. Au premier lancement de make.sh, si vous utilisez une distribution basée sur le système de paquet Debian, l'installation sera réalisée automatiquement. Dans le cas contraire, installez Docker et relancez le script. Une image docker est produite afin de procéder ensuite à la compilation du système. Commande de compilation de base -* `make all` compile tout le projet dans sa version disque dur et disque dur en UEFI +* `./make.sh all` compile tout le projet dans sa version disque dur et disque dur en UEFI Autres commandes de compilation de COS2000 -* `make harddisk` compile la version disque dur -* `make uefi` compile la version disque dur UEFI -* `make bochstest` lance l'émulation BOCHS en 32 bits sur disque dur -* `make test` lance l'émulation QEMU en 32 bits sur disque dur -* `make test64` lance l'émulation QEMU en 64 bits sur disque dur en UEFI -* `make clean` supprime les fichers compilés -* `make syscall` réactualise les librairies du domaine utilisateur -* `make programs` compile les programmes du domaine utilisateur -* `VESA=no make test` préfixe à utiliser (VESA=no) pour faire appel au pilote VGA et non pas VESA +* `./make.sh harddisk` compile la version disque dur +* `./make.sh uefi` compile la version disque dur UEFI +* `./make.sh bochstest` lance l'émulation BOCHS en 32 bits sur disque dur +* `./make.sh test` lance l'émulation QEMU en 32 bits sur disque dur +* `./make.sh test64` lance l'émulation QEMU en 64 bits sur disque dur en UEFI +* `./make.sh clean` supprime les fichers compilés +* `./make.sh syscall` réactualise les librairies du domaine utilisateur +* `./make.sh programs` compile les programmes du domaine utilisateur +* `VESA=no ./make.sh test` préfixe à utiliser (VESA=no) pour faire appel au pilote VGA et non pas VESA #### Utilisation ##### Sur un ordinateur émulé -Pour tester l'OS en émulation taper donc la commande `make test` qui compilera avant de lancer Qemu. +Pour tester l'OS en émulation taper donc la commande `./make.sh test` qui compilera avant de lancer Qemu. ##### Sur un ordinateur physique Lancer une compilation du système COS2000 -`make all` +`./make.sh all` Puis, il faut copier l'image sur une clé (Attention l'opération effacera le contenu de la clé) : @@ -187,15 +143,16 @@ Pour l'instant quelques commandes seulement sont disponibles: #### Organisation du dépôt * `debug` - fichiers configuration débogueur +* `docker` - fichiers pour la construction de containers * `final` - img raw utilisables avec un émulateur des 3 versions -* * `harddisk.img.final` -* * `harddiskuefi.img.final` -* * `floppy.img.final` +* * `harddisk.img.xz` +* * `harddiskuefi.img.xz` * `Graphisme` - fichiers images * * `screenshots` - screenshots de l'évolution du système * `include` - fichier d'entête C * `lib` - librairies pour le noyau * `makefile` - Makefile du projet +* `make.sh` - Script de compilation utilisant Docker * `templates` - Modèles utilisés pour générer des libraires du domaine utilisateur * `programs` - programmes pour le domaine utilisateur * * `include` - fichier d'entête C diff --git a/docker/alpine/build.sh b/docker/alpine/build.sh new file mode 100755 index 0000000..23bca2e --- /dev/null +++ b/docker/alpine/build.sh @@ -0,0 +1,2 @@ +#!/bin/bash +docker build . -t cos2000-compiler-alpine diff --git a/docker/alpine/dockerfile b/docker/alpine/dockerfile new file mode 100644 index 0000000..fc16836 --- /dev/null +++ b/docker/alpine/dockerfile @@ -0,0 +1,10 @@ +FROM alpine:3.12.0 +RUN echo "http://alpine.42.fr/v3.12/main" > /etc/apk/repositories +RUN echo "http://alpine.42.fr/v3.12/community" >> /etc/apk/repositories +RUN apk --no-cache update +RUN apk --no-cache upgrade +RUN apk --no-cache add font-noto git gcc make qemu qemu-system-i386 qemu-system-x86_64 sed gdb ovmf tar wget gzip indent binutils hexdump dos2unix xxd xz tmux git musl-dev gnome-terminal spice-gtk spice-gtk-tools python2 cramfs +RUN mkdir -p /usr/share/qemu/ +RUN ln -s /usr/share/OVMF/OVMF.fd /usr/share/qemu/OVMF.fd +RUN mkdir /data +WORKDIR /data diff --git a/docker/debian/build.sh b/docker/debian/build.sh new file mode 100755 index 0000000..1b46d05 --- /dev/null +++ b/docker/debian/build.sh @@ -0,0 +1,2 @@ +#!/bin/bash +docker build . -t cos2000-compiler diff --git a/docker/debian/dockerfile b/docker/debian/dockerfile new file mode 100644 index 0000000..50431ba --- /dev/null +++ b/docker/debian/dockerfile @@ -0,0 +1,9 @@ +FROM debian:10 + +RUN apt-get update -yq \ +&& apt-get install --no-install-recommends gcc make qemu fusefat fuseext2 gdb ovmf xz-utils psmisc tmux git libc6-dev bsdmainutils tar wget bsdmainutils indent binutils xxd bochs bochs-x bochsbios dos2unix gnome-terminal spice-client-gtk python2.7 qemu-system-x86 -yq \ +&& apt-get clean -y +RUN wget http://ftp.fr.debian.org/debian/pool/main/c/cramfs/cramfsprogs_1.1-6_amd64.deb -O /tmp/cramfsprogs_1.1-6_amd64.deb +RUN dpkg -i /tmp/cramfsprogs_1.1-6_amd64.deb +RUN mkdir /data +WORKDIR /data diff --git a/final/makefile b/final/makefile index a4a2012..409359a 100755 --- a/final/makefile +++ b/final/makefile @@ -17,10 +17,10 @@ harddiskuefi.img.before: $(CREATEDIR) ./mnt -p harddiskuefi.img.final: harddiskuefi.img.before - mount.fuse-ext2 -o rw+ harddiskuefi.img.part1 ./mnt + mount -t ext2 -o rw harddiskuefi.img.part1 ./mnt $(COPY) ../system/system.sys ./mnt/boot/ $(SYNC) - fusermount ./mnt -u + umount ./mnt cat harddiskuefi.img.before > harddiskuefi.img.final cat harddiskuefi.img.part1 >> harddiskuefi.img.final $(SYNC) @@ -33,10 +33,10 @@ harddisk.img.before: $(CREATEDIR) ./mnt -p harddisk.img.final: harddisk.img.before - mount.fuse-ext2 -o rw+ harddisk.img.part1 ./mnt + mount -t ext2 -o rw harddisk.img.part1 ./mnt $(COPY) ../system/system.sys ./mnt/boot/ $(SYNC) - fusermount ./mnt -u + umount ./mnt cat harddisk.img.before > harddisk.img.final cat harddisk.img.part1 >> harddisk.img.final $(SYNC) diff --git a/make.sh b/make.sh new file mode 100755 index 0000000..b9290e0 --- /dev/null +++ b/make.sh @@ -0,0 +1,23 @@ +#!/bin/bash +echo "Autorisation de docker à se connecter à l'écran :0" +xhost +local:docker +DOCKER=$(docker -v| grep build) +ALPINE=$(docker image ls| grep cos2000-compiler-alpine) +COMPILER=$(docker image ls| grep cos2000-compiler) +PWD=$(pwd) +if [ "${DOCKER}" == "" ]; then + echo "Docker n'est pas installé..." + echo "*** installation si sous gestionnaire de paquet debian (.deb)" + sudo apt-get install docker + exit +elif [ "${ALPINE}" != "" ]; then + echo "*** lancement de la version Alpine Linux" + docker run --rm -e DISPLAY=$DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix --privileged -v ${PWD}:/data cos2000-compiler-alpine make $1 +elif [ "${COMPILER}" != "" ]; then + echo "*** lancement de la version Debian" + docker run --rm -e DISPLAY=$DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix --privileged -v ${PWD}:/data cos2000-compiler make $1 +else + echo "Docker est installé mais aucune image docker n'est fonctionnelle..." + echo "*** compilation de l'image docker" + docker build ${PWD}/docker/alpine -t cos2000-compiler-alpine +fi diff --git a/makefile b/makefile index 0a94e06..f6d8fe9 100755 --- a/makefile +++ b/makefile @@ -9,7 +9,7 @@ MAKECALL=python makesyscall.py MAKE=make -C SYNC=sync KILL=killall -TAR=tar cf - Source\ C | gzip -f - > backup.tar.gz +TAR=tar cf - . | gzip -f - > ./backup.tar.gz HEXDUMP=hexdump -C ./final/harddisk.img.final|head -c10000 TMUXKILL=tmux kill-session -t TRUE=|| true @@ -60,8 +60,29 @@ harddisk: final/harddisk.img.final harddiskuefi: final/harddiskuefi.img.final -install: - $(INSTALL) gcc qemu fusefat fuseext2 gdb ovmf bsdmainutils tar bsdmainutils indent binutils bochs bochs-x bochsbios dos2unix gnome-terminal spice-client-gtk python2 +system/system.sys: + $(MAKE) system + +final/harddisk.img.final: + $(MAKE) final harddisk.img.final + +final/harddiskuefi.img.final: + $(MAKE) final harddiskuefi.img.final + +lib/libs.o: + $(MAKE) libsystem/system.sys: + $(MAKE) system + +final/harddisk.img.final: + $(MAKE) final harddisk.img.final + +final/harddiskuefi.img.final: + $(MAKE) final harddiskuefi.img.final + +lib/libs.o: + $(MAKE) lib + +##### Divers togit: $(MAKE) system togit @@ -73,6 +94,7 @@ togit: $(SYNC) clean: + $(REMOVE) ./syscalls.txt $(REMOVE) .gdb_history $(MAKE) system clean $(MAKE) lib clean @@ -95,10 +117,21 @@ indent: $(MAKE) tools indent $(SYNC) +killer: + $(KILL) bochs-debug $(TRUE) + $(KILL) qemu-system-x86_64 $(TRUE) + $(KILL) qemu-system-i386 $(TRUE) + $(KILL) gnome-terminal-server $(TRUE) + $(TMUXKILL) debug $(TRUE) + backup: clean - cd .. $(TAR) +view: + $(HEXDUMP) + +##### Alias + test: test32 retest: retest32 @@ -113,9 +146,6 @@ retest64: littleclean test64 testbochs: tools programs system32 harddisk bochs-debug -view: - $(HEXDUMP) - ##### Debuguage debug: debug-system32 @@ -143,13 +173,6 @@ debug-system64: tools programs system32 harddiskuefi qemu-debug64 bochs-debug: killer $(OLDEMUX86) ./debug/config.bochs -killer: - $(KILL) bochs-debug $(TRUE) - $(KILL) qemu-system-x86_64 $(TRUE) - $(KILL) qemu-system-i386 $(TRUE) - $(KILL) gnome-terminal-server $(TRUE) - $(TMUXKILL) debug $(TRUE) - ##### Emulation qemu-debug32: killer @@ -169,15 +192,4 @@ qemu64: killer $(EMUX64) $(UEFI) & $(WAIT2S) $(SPICE) - -system/system.sys: - $(MAKE) system -final/harddisk.img.final: - $(MAKE) final harddisk.img.final - -final/harddiskuefi.img.final: - $(MAKE) final harddiskuefi.img.final - -lib/libs.o: - $(MAKE) lib diff --git a/programs/makefile b/programs/makefile index 8e0afbe..59aca03 100755 --- a/programs/makefile +++ b/programs/makefile @@ -7,6 +7,7 @@ INDENT=indent -nhnl -l75 -ppi3 -ts8 -bls -nbc -di8 -nbad -nbap -nsob -i8 -bl -bl REMOVE=rm -f CHANGELF=elfedit --output-osabi FenixOS CHANGEPERM=chmod 644 +CHANGEEXE=chmod 755 MAKE=make -C SYNC=sync @@ -21,14 +22,14 @@ lib/libs.a: %: %.c $(CC) $@.o $< $(LINK) $@ $@.o lib/libs.a - $(CHANGEPERM) $@ + $(CHANGEEXE) $@ $(CHANGELF) $@ clean: $(MAKE) lib clean $(REMOVE) *.o $(REMOVE) *.c~ - find . -maxdepth 1 -type f ! -perm /u=x -regex '.+/\.?[^\.]+' -exec $(REMOVE) {} \; + find . -maxdepth 1 -type f ! -name makefile -perm /u=x -exec $(REMOVE) {} \; $(SYNC) indent: diff --git a/syscalls.txt b/syscalls.txt deleted file mode 100644 index b3acd00..0000000 --- a/syscalls.txt +++ /dev/null @@ -1,65 +0,0 @@ -[ -{ -"ID":5, -"LIBRARY":"libsys", -"NAME":"exit", -"INTERNALNAME":"processexit", -"DESCRIPTION":"End a task for user or kernel domain", -"ARGS": [ -{"TYPE":"u32","NAME":"resultcode","DESCRIPTION":"Code result of the execution"} -], -"RETURN":"u32" -} - -, -{ -"ID":4, -"NAME":"getticks", -"LIBRARY":"libsys", -"INTERNALNAME":"gettimer", -"DESCRIPTION":"Return the internal value of the timer", -"ARGS": [], -"RETURN":"u32" -} - -, -{ -"ID":2, -"LIBRARY":"libvideo", -"NAME":"print", -"INTERNALNAME":"print", -"DESCRIPTION":"Show a string on the screen", -"ARGS": [ -{"TYPE":"u8*","NAME":"string","DESCRIPTION":"string to show in ascii format"} -], -"RETURN":"u32" -} - -, -{ -"ID":1, -"LIBRARY":"libsys", -"NAME":"waitkey", -"INTERNALNAME":"waitascii", -"DESCRIPTION":"Wait for user to press a key and return the ascii code pressed", -"ARGS": [], -"RETURN":"u8" -} - -, -{ -"ID":0, -"LIBRARY":"libsys", -"NAME":"testapi", -"INTERNALNAME":"testapi", -"DESCRIPTION":"Simple function to test if SYSCALL API is correctly running", -"ARGS": [ -{"TYPE":"u32","NAME":"arg1","DESCRIPTION":"first argument of your choice"}, -{"TYPE":"u32","NAME":"arg2","DESCRIPTION":"second argument of your choice"}, -{"TYPE":"u32","NAME":"arg3","DESCRIPTION":"third argument of your choice"} -], -"RETURN":"u32", -"DUMP":"yes" -} - -] \ No newline at end of file diff --git a/tools/makefile b/tools/makefile index 0ae3b80..80fdaf7 100755 --- a/tools/makefile +++ b/tools/makefile @@ -17,7 +17,7 @@ togit: clean indent clean: $(REMOVE) *.o $(REMOVE) *.c~ - find . -maxdepth 1 -type f ! -name makefile -perm /u=x -regex '.+/\.?[^\.]+' -exec $(REMOVE) {} \; + find . -maxdepth 1 -type f ! -name makefile -perm /u=x -exec $(REMOVE) {} \; sync indent: