Los plugins añaden funciones nuevas a wordpress que no trae por defecto.
Para instalarlos generalmente es muy sencillo y basta con bajarse el plugins (descomprimirlo) y subirlos a la carpeta wp-content/plugins. Luego ir al panel de control y en la pestaña de plugins activarlo.
Algunos plugins famosos son por ejemplo:
Akismet: para descartar automaticamente los mensajes de spam en los comentarios de tu blog.
WordPress.com Stats: te da unas sencillas estadisticas de visitas de tu blog
Contact Form: para añadir un formulario de contacto
Puedes encontrar cientos de plugins, para realizar casi cualquier cosa que se te ocurra, en el directorio oficial de plugins
http://wordpress.org/extend/plugins/
Recuerda que actualmente puedes tener problemas con algunos plugins y la versión 2.5. Poco a poco iran actualizando muchos para que funcionen correctamente con esta versión.
Tambien es bastante tentador llenar tu wordpress de funciones extras, aunque no existe un limite de plugins, es recomendable no instalar plugins a lo loco.