« Programmation Python/Programmer en deux minutes/l'interface de Wikipédia pour programmer » : différence entre les versions

Navigation interactive dans l’historique

← Modification précédente Modification suivante →

Contenu supprimé Contenu ajouté

VisuelWikicode

Intégrés

Version du 21 octobre 2015 à 19:46

Programmer en deux minutes/une messagerie instantanée

Programmer en deux minutes/un serveur Web

Programmation Python

Partie 1 - Introduction

Partie 2 - Le langage

Partie 3 - Les bibliothèques

Version imprimable

[ Modifier le sommaire ]

Programmer en deux minutes/une messagerie instantanée

Programmer en deux minutes/un serveur Web

0. Pour utiliser en deux minutes l'interface de Wikipédia pour programmer, nous allons écrire un script en Python et l'exécuter dans une console. Le script va utiliser deux ensembles de commandes définis dans la bibliothèque fournie à l'installation du langage.
L'interface avec Wikipédia se fait via requêtes HTTP ou HTTPS à wikipedia.org/w/api.php? - exemple.

Réviseur de la page

1. Ouvrir un éditeur de texte, coller le script suivant (sans caractère spéciaux comme "é" si le fichier est en ASCII au lieu de Unicode)...

reviseur_de_la_page.py

#!/usr/bin/python
# -*- coding: latin-1 -*-
# Pour Python 3, remplacez la ligne ci-dessous par import urllib.request, re
import urllib, re       # import des modules a partir de la bibliotheque d'instructions de base, 
nom_de_page = "Accueil" #             'urllib' pour URL library et 're' pour regular expression.

url = "http://fr.wikipedia.org/w/api.php?action=query&prop=info|revisions&titles=%s&format=xml" % nom_de_page
# affichage
# Python 3 : page = urllib.request.urlopen(url) 
page = urllib.urlopen(url) 
# Python 3 : infos = str(page.read(), 'utf_8')
infos = page.read()        # lit le resultat de la requete a l'url ci-dessus
page.close()
print "Les informations demandees concernant", nom_de_page, "sont les suivantes, en XML :\n\n", infos  # Rajoutez des parenthèses pour Python 3 !

# extraction
print "\n...recherche l'expression rationnelle..."  # Rajoutez des parenthèses pour Python 3 !
reviseur= re.findall(' user="(.*?)" ',infos) # recherche l'expression rationnelle
print "\nDernier reviseur : ",reviseur   # Rajoutez des parenthèses pour Python 3 !

...enregistrez ce script (par exemple reviseur_de_la_page.py) et exécutez-le. Le script utilise cette requête pour afficher le dernier réviseur de la page d'accueil.

Boucle réviseur bistro

2. Obtenir la liste des derniers réviseurs des Bistros du mois dernier. Ouvrir l'éditeur de texte, écrire ce script utilisant plusieurs fois cette requête... Si vous souhaitez utiliser le code suivant avec Python 3, faites les mêmes modifications que dans le script précédent. C'est-à-dire : rajoutez des parenthèses aux print ; chargez la classe urllib.request (au lieu d'urllib tout court) ; utilisez la fonction urllib.request.urlopen (au lieu de urllib.urlopen) ; transformez le résultat de read en chaîne de caractères (infos = str(url.read(), 'utf_8')).

boucle_reviseur_bistro.py

#!/usr/bin/python
# -*- coding: latin-1 -*-
import urllib, re  # import des modules de la bibliotheque d'instructions fournie a l'installation. 

a=0
space = ' '
nospace = ''

while (a<31):
    a = a+1          # a est un nombre entier (integer)
    b = str(int(a))  # et b une chaine de caractere (string)
    nom = "Wikipedia:Le_Bistro/"+b+"_avril_2009"
    nom = nom.replace(space, nospace)  # supprime les espace
    url = urllib.urlopen("http://fr.wikipedia.org/w/api.php?action=query" +
          "&prop=info|revisions&titles=%s&format=xml" % nom )
    infos = url.read() 
    url.close()
    reviseur= re.findall(' user="(.*?)" ',infos)  # recherche l'expression rationnelle
    for chacun in reviseur:
        print "\nDernier reviseur du bistro du",b,"avril 2009 : ",chacun

...enregistrez ce script (par exemple boucle_reviseur_bistro.py) et exécutez-le.

Liste des réviseurs

3. La liste des réviseurs de la page d'accueil entre deux dates, et les commentaires de révisions : ouvrir l'éditeur de texte, écrire ce script, faire les mêmes modifications pour Python 3 le cas échéant... Ce script utilise cette requête.

liste_des_reviseurs.py

#!/usr/bin/python
# -*- coding: latin-1 -*-
import urllib, re  # import des modules de la bibliotheque d'instructions fournie a l'installation. 
 
debut = str(int(20090311000000)) # date pour commencer a lister, ici 11 mars 2009.
fin = str(int(20090511000000))
 
nom = "Accueil"
 
url = urllib.urlopen("http://fr.wikipedia.org/w/api.php?action=query" +
      "&prop=revisions&rvstart=%s&revend=%s&titles=%s&format=xml" % (debut, fin, nom))
infos = url.read()
url.close()

# recherche et affiche les reviseurs
#
reviseur= re.findall(' user="(.*?)" ',infos) 
for chacun in reviseur:
    print "Reviseur : ",chacun

# recherche et affiche les commentaires
#
commentaire= re.findall(' comment="(.*?)" ',infos) 
for comment in commentaire:
    print "\nCommentaire de revision : ",comment

Félicitations, vous utilisez Wikipédia via son API !

Vous pouvez poursuivre cet exercice en programmant du python sur une base vierge, ou alors utiliser la librairie d'instructions Pywikipedia et les scripts Pywikipedia hébergés par Wikimédia. Par exemple, vous devriez être capable de lire un script tel que :

statistics_in_wikitable.py

#!/usr/bin/python
# -*- coding: utf-8  -*-
"""

\03{lightyellow}This bot renders statistics provided by [[Special:Statistics]] in a table on a wiki page.\03{default}
Thus it creates and updates a Statistics wikitable.

The following parameters are supported:

\03{lightred}-screen\03{default}     If True, doesn't do any changes, but only shows the statistics.

\03{lightgreen}-page\03{default}    On what page statistics are rendered.
        If not existing yet, it is created.
        If existing, it is updated.
"""
__version__ = '$Id$'
import wikipedia, pagegenerators, query
import time

# This is the title of the wikipage where to render stats.
your_page = "Logstats"

summary_update = {
    'en':u'Updating some statistics.',
    }
summary_creation = {
    'en':u'Creating statistics log page.',
    }

class StatisticsBot:
    def __init__ (self, screen, your_page):
        """
        Constructor. Parameter:
            * screen    - If True, doesn't do any real changes,
                          but only shows some stats.
        """
        self.screen = screen
        self.your_page = your_page
        self.dict = self.getdata() # Try to get data.
        self.site = wikipedia.getSite()

    def run(self):
        if self.screen:
            wikipedia.output("Bot is running to output stats.")
            self.idle(1) # Run a function to idle
            self.outputall()
        if not self.screen:
            self.outputall() # Output all datas on screen.
            wikipedia.output("\nBot is running. " +
                "Going to treat \03{lightpurple}%s\03{default}..." %
                self.your_page )
            self.idle(2)
            self.treat()

    # getdata() returns a dictionnary of the query to
    #   api.php?action=query&meta=siteinfo&siprop=statistics
    def getdata(self):
        # This method return data in a dictionnary format.
        # View data with: api.php?action=query&meta=siteinfo&siprop=statistics&format=jsonfm
        params = {
        'action'    :'query',
        'meta'      :'siteinfo',
        'siprop'    :'statistics',
        }
        wikipedia.output("\nQuerying api for json-formatted data...")
        try:
            data = query.GetData(params,self.site, encodeTitle = False)
        except:
            url = self.site.protocol() + '://' + self.site.hostname() + self.site.api_address()
            wikipedia.output("The query has failed. Have you check the API? Cookies are working?")
            wikipedia.output(u"\n>> \03{lightpurple}%s\03{default} <<" % url)
        if data != None:
            wikipedia.output("Extracting statistics...")
            data = data['query']      # "query" entry of data.
            dict = data['statistics'] # "statistics" entry of "query" dict.
            return dict

    def treat(self):
        page = wikipedia.Page(self.site, self.your_page)
        if page.exists():
            wikipedia.output(u'\nWikitable on ' +
                u'\03{lightpurple}%s\03{default} will be completed with:\n' % self.your_page )
            text = page.get()
            newtext = self.newraw()
            wikipedia.output(newtext)
            choice = wikipedia.inputChoice(
                u'Do you want to add these on wikitable?', ['Yes', 'No'], ['y', 'N'], 'N')
            text = text[:-3] + newtext
            summ = wikipedia.translate(self.site, summary_update)
            if choice == 'y':
                try:
                    page.put(u''.join(text), summ)
                except:
                    wikipedia.output(u'Impossible to edit. It may be an edit conflict... Skipping...')
        else:
            wikipedia.output(
                u'\nWikitable on \03{lightpurple}%s\03{default} will be created with:\n' % self.your_page )
            newtext = self.newtable()+self.newraw()
            wikipedia.output(newtext)
            summ = wikipedia.translate(self.site, summary_creation)
            choice = wikipedia.inputChoice(
                u'Do you want to accept this page creation?', ['Yes', 'No'], ['y', 'N'], 'N')
            if choice == 'y':
                try:
                    page.put(newtext, summ)
                except wikipedia.LockedPage:
                    wikipedia.output(u"Page %s is locked; skipping." % title)
                except wikipedia.EditConflict:
                    wikipedia.output(u'Skipping %s because of edit conflict' % title)
                except wikipedia.SpamfilterError, error:
                    wikipedia.output(
                        u'Cannot change %s because of spam blacklist entry %s' % (title, error.url))

    def newraw(self):
        newtext = ('\n|----\n!\'\''+ self.date() +'\'\'')    # new raw for date and stats
        for name in self.dict:
            newtext += '\n|'+str(abs(self.dict[name]))
        newtext += '\n|----\n|}'
        return newtext

    def newtable(self):
        newtext = ('\n{| class=wikitable style=text-align:center\n!'+ "date")    # create table
        for name in self.dict:
            newtext += '\n|'+name
        return newtext

    def date(self):
        return time.strftime('%Y/%m/%d', time.localtime(time.time()))
    
    def outputall(self):
        list = self.dict.keys()
        list.sort()
        for name in self.dict:
            wikipedia.output("There are "+str(self.dict[name])+" "+name)
    
    def idle(self, retry_idle_time):
        time.sleep(retry_idle_time)
        wikipedia.output(u"Starting in %i second..." % retry_idle_time)
        time.sleep(retry_idle_time)

def main(your_page):
    screen = False # If True it would not edit the wiki, only output statistics
    _page = None

    wikipedia.output("\nBuilding the bot...")
    for arg in wikipedia.handleArgs():    # Parse command line arguments
        if arg.startswith('-page'):
            if len(arg) == 5:
                _page = wikipedia.input(u'On what page do you want to add statistics?')
            else:
                _page = arg[6:]
        if arg.startswith("-screen"):
            screen = True
    if not _page:
        _page = your_page
        if not screen:
            wikipedia.output("The bot will add statistics on %s.\n" % _page )
    bot = StatisticsBot(screen, _page) # Launch the instance of a StatisticsBot
    bot.run() # Execute the 'run' method

if __name__ == "__main__":
    try:
        main(your_page)
    finally:
        wikipedia.stopme()

Le script statistics_in_wikitable.py importe quelques librairies d'instructions dont Pywikipedia, définit trois variables, définit l'objet StatisticsBot, puis définit une fonction principale qui est exécutée à la fin du script (par l'instruction try: main(your_page)).

Voir aussi

Catégorie:Bot publié en Python sur Wikipédia

@@ Ligne 5 : / Ligne 5 : @@
 [//fr.wikipedia.org/w/api.php?action=query&prop=info|revisions&titles=Accueil exemple].</small>
 == Réviseur de la page ==
-'''1.''' Ouvrir un éditeur de texte, coller le script suivant (sans caractère spéciaux comme "é")...
+'''1.''' Ouvrir un éditeur de texte, coller le script suivant (sans caractère spéciaux comme "é" si le fichier est en ASCII au lieu de Unicode)...
 {|width=70% align=center
 |{{boîte déroulante début|titre=reviseur_de_la_page.py}}
@@ Ligne 15 : / Ligne 15 : @@
 nom_de_page = "Accueil" #             'urllib' pour URL library et 're' pour regular expression.
-url = "http://fr.wikipedia.org/w/api.php?action=query" +
+url = "http://fr.wikipedia.org/w/api.php?action=query&prop=info|revisions&titles=%s&format=xml" % nom_de_page
-      "&prop=info|revisions&titles=%s&format=xml" % nom_de_page
 # affichage
 # Python 3 : page = urllib.request.urlopen(url)
@@ Ligne 23 : / Ligne 22 : @@
 infos = page.read()        # lit le resultat de la requete a l'url ci-dessus
 page.close()
-print "Les informations demandees concernant",
+print "Les informations demandees concernant", nom_de_page, "sont les suivantes, en XML :\n\n", infos  # Rajoutez des parenthèses pour Python 3 !
-    nom_de_page, "sont les suivantes, en XML :\n\n", infos  # Rajoutez des parenthèses pour Python 3 !
 # extraction