Les fonctions du tokenizer fournissent une interface avec
l'analyseur interne de PHP, intégré dans le moteur Zend.
En utilisant ces fonctions, vous pouvez écrire votre propre
système d'analyse des sources PHP, ou bien des outils de
modification du code, sans avoir à refaire toute l'analyse
lexicale.
Voir aussi l'annexe sur les tokens.
Ces fonctions sont disponibles dans le module PHP
standard, qui est toujours accessible.
A partir de PHP 4.3.0, ces fonctions sont activées par défaut.
Pour les anciennes versions, vous devez compiler PHP avec
l'option --enable-tokenizer. Vous
pouvez désactiver le support de l'extension tokenizer avec
l'option --disable-tokenizer.
La version Windows de PHP
dispose du support automatique de cette extension. Vous n'avez pas à ajouter
de bibliothèque supplémentaire pour disposer de ces fonctions.
Note :
Le support automatique du tokenizer est disponible depuis PHP 4.3.0.
Ces constantes sont définies par cette
extension, et ne sont disponibles que si cette extension a été compilée avec
PHP, ou bien chargée au moment de l'exécution.
Voici un exemple simple de script PHP qui utilise le tokenizer
pour lire un fichier, supprimer tous les commentaires de la source,
et afficher uniquement du code.
Exemple 1. Suppression de commentaires avec le tokenizer
<?php
/* T_ML_COMMENT n'existe pas en PHP 5.
* Les trois lignes suivantes définissent l'ordre
* pour préserver une compatibilité ascendante.
*
* Les deux lignes suivantes la constante T_DOC_COMMENT uniquement présente en PHP 5,
* que nous appelerons T_ML_COMMENT pour PHP 4.
*/
if (!defined('T_ML_COMMENT')) {
define('T_ML_COMMENT', T_COMMENT);
} else {
define('T_DOC_COMMENT', T_ML_COMMENT);
}
$source = file_get_contents("somefile.php");
$tokens = token_get_all($source);
foreach ($tokens as $token) {
if (is_string($token)) {
// simple 1-character token
echo $token;
} else {
// token array
list($id, $text) = $token;
switch ($id) {
case T_COMMENT:
case T_ML_COMMENT: // nous avons définie cette constante
case T_DOC_COMMENT: // et celle-là
// aucune action sur les commentaires
break;
default:
// rien d'autre -> affiche "as is"
echo $text;
break;
}
}
}
?>
|
|
