Se puede hacer, basta con usar tres variables, una que almacene la palabra anterior, una que almacene el número de repeticiones de palabras, y otra que compruebe las nuevas palabras.
Código Python:
Ver originalf = open('words.txt', 'r')
isRepeated = False
isRepeatedCount = 0
distinctWords = 0;
lastWord = ""
ln = f.readlines()
for dt in ln:
dt = dt.replace("\n","")
if dt == lastWord:
isRepeatedCount += 1
else:
distinctWords += 1
lastWord = dt
print "El numero de palabras distintas es " + str(distinctWords) + \
"\nEl numero de palabras repetidas es " + str(isRepeatedCount)
Sólo funcionaría si estuvieran en orden. Tendrías que adaptarlo, para que contara las palabras más repetidas, etc.