EVALUATION DE SYSTEMES EVALUATION OF MULTILINGUAL
D'ALIGNEMENT DE TEXTES TEXT ALIGNMENT SYSTEMS
MULTILINGUES
ARCADE est un projet ARCADE is a project
financé par l'AUPELF-UREF financed by AUPELF-UREF in
dans le cadre des Actions the framework of the
de Recherches Concertées "Language Engineering"
"Ingénierie de la Langue", concerted research
qui a pour but l'évaluation actions, whose goal is the
de systèmes d'alignement de evaluation of multilingual
textes parallèles parallel text alignment
multilingues. systems.
La première campagne (1996- The first campaign(1996-
1997) portait sur 1997) was focused on
l'alignement phrase à sentence-level alignment.
phrase. Cette campagne It just ended and a final
vient de s'achever et un report summarises the
rapport de synthèse résume methodological discussions
les discussions within the scientific
méthodologiques qui ont eu committee, and describes
lieu au sein du comité de the results of the
réflexion, et décrit les evaluation of six French-
résultats de l'évaluation English sentence aligners:
de six systèmes
d'alignement de phrases
français-anglais:
http://www.lpl.univ-aix.fr/projects/arcade
Le présent appel vous The present call invites
invite à participer à la you to participate to the
deuxième campagne (1998- second campaign (1998-
1999). La participation se 1999). Participation will
fera dans deux catégories be possible under two
categories:
- alignement de phrases - sentence alignment
- alignement de mots et - word and term
termes alignment
(un même système pourra (systems can of course
bien sûr concourir dans les compete in both
deux catégories). categories).
Cette deuxième campagne se This second campaign will
déroulera en plusieurs take place in several
étapes, dont la première phases. The first one will
sera menée conjointement be organised in parallel
avec l'action SENSEVAL de with the SENSEVAL word
désambiguïsation du sens sense disambiguation
des mots, parrainée par exercise sponsored by ACL-
l'ACL-SIGLEX et EURALEX, et SIGLEX and EURALEX, and
plus particulièrement le more particularly the
sous-groupe orienté vers subgroup of SENSEVAL for
les langues romanes, romance languages,
ROMANSEVAL: ROMANSEVAL:
http://www.itri.bton.ac.uk/events/senseval/
http://www.lpl.univ-aix.fr/projects/romanseval
Les résultats de cette The results of this first
première étape seront phase will be presented at
présentés dans une a special session during
session spéciale lors du the SENSEVAL workshop to
colloque SENSEVAL qui aura be held from 2-4 September
lieu du 2 au 4 septembre 1998 in Hestmonceux
1998 à Herstmonceux Castle, Castle, Susses (United
Sussex (Royaume Uni). Kingdom).
1. Compétition dans la 1. Sentence category
catégorie phrases competition
Un corpus bilingue A bilingual corpus
(français-anglais) de près (English-French) of ca.
de trois millions de mots three million words will
sera fourni aux be distributed to the
participants par participants though ELRA
l'intermédiaire de l'ELRA at a price of 45 ECU.
au prix de 45 ECU. Les Participants will run
participants devront their system on this
appliquer leur système sur corpus and send their
ce corpus et renvoyer leurs results to the co-
résultats au coordinateur ordinator in the form of
sous forme de liens entre links between matched
numéros de phrases sentences.
appariées.
2. Compétition dans la 2. Word category
catégorie mots competition
Un sous-ensemble du corpus A subset of the above
ci-dessus (2 millions de corpus (2 million words)
mots) sera fourni aux will be distributed to the
participants ainsi qu'une participants along with a
liste de 60 mots français list of 60 French words
(20 noms, 20 adjectifs, 20 (20 nouns, 20 adjectives,
verbes), apparaissant dans 20 verbs), appearing in
environ 3000 contextes. Les around 3000 contexts. The
participants devront, à participants will run
l'aide de leur système, their system to detect the
détecter les 3000 3000 corresponding
traductions dans le texte translations in the target
cible, et renvoyer la liste text, and they will send
de ces traductions ainsi the list of translations
que leur position au along with their positions
coordinateur. Les mots- to the co-ordinator. The
tests seront les mêmes que test words will be the
ceux utilisés dans le same as those used in the
groupe ROMANSEVAL, ce qui ROMANSEVAL group, which
permettra une comparaison will enable a comparison
entre les deux tâches, between the two tasks,
étiquetage des sens dans un sense tagging in a
texte monolingue et monolingual text and
repérage/alignement de tranlation
traductions. spotting/alignment.
MODALITES DE PARTICIPATION PARTICIPATION MODALITIES
Les participants ne peuvent Participants cannot
se retirer en cours de withdraw during the
compétition et s'engagent à competition and accept the
accepter la publication des publication of the
résultats. results.
CALENDRIER SCHEDULE
Mi-mars : expression Mid-march: expression of
d'intérêt interest from
des participants participants
Fin mars : distribution du End March: distribution of
corpus brut raw corpus
Fin avril: test à blanc End April: dry run
Fin mai : distribution de End May : distribution of
la liste des test words
mots-test (word category
(compétition competition
catégorie only)
Fin juin : retour des End June : alignments to
alignements be sent back
Fin juil : diffusion des Enf July : results made
résultats available
2-4 sept : colloque 2-4 Sept.: workshop
AUTRES INFORMATIONS OTHER INFORMATION
Les autres informations All other information
concernant ARCADE related to ARCADE
(protocoles, métriques, (protocol, metrics, etc.)
etc.) seront placées sur will be accessible on the
le Web: Web at:
http://www.lpl.univ-aix.fr/projects/arcade/
IMPORTANT: ENVOYEZ UN IMPORTANT: PLEASE SEND A
MESSAGE EXPRIMANT VOTRE MESSAGE STATING YOUR
INTENTION DE PARTICIPER INTENTION TO PARTICIPATE
AVANT LE 15 MARS 1998 AU BEFORE MARCH 15, 1998 TO
COORDINATEUR: THE CO-ORDINATOR:
Jean.Veronis@lpl.univ-aix.fr
Cet appel peut être étendu This call can be extended
à d'autres langues. Si vous to other languages. If you
êtes volontaire pour are interested in co-
coordonner un autre ordinating activity for
langage, veuillez nous another language, please
contacter. contact us.
COMITE DE PROGRAMME PROGRAM COMMITTEE
Susan Armstrong Geneva
Fathi Debili Tunis
Pascale Fung Hong Kong
Pierre Isabelle Montréal
Philippe Langlais Stockholm
Tony McEnery Lancaster
Laurent Romary Nancy
Jean Véronis Aix-en-Provence