К сожалению, пользователи, которые же в первые дни появились у этого сервиса, обнаружили в нем два существенных недостатка:

• Мы отображаем только погоду только по Москве, хотя сервис у нас глобальный
• Существуют проблемы на разных версиях прошивок для телефонов, которые ожидают данные на русском языке в кодировке cp-1251.

Первый недочет решено было исправить, добавив опциональный параметр city к URL сервиса, равный коду города на сайте ГисМетео, на котором мы берем данные погоды. Таким образом строка для телефонов Питера выглядит как http://xmlphones.appspot.com/?city=26063. Второй аналогично будет называться encode и содержать при необходимости задание кодировки windows-1251.

Перекодировка в Python делается элегантно. Допустим, у нас через URLFetch получены данные в UTF-8, а вывод требуется в windows-1251:

resp = unicode(result.content, 'utf-8')
resp = resp.encode("cp1251")

Ну и наоборот:

resp = unicode(result.content, 'cp1251')

В первом случае мы из байтового массива конструируем объект unicode, который затем кодируем с указанием кодека cp1251. Во втором случае одним действием из байтового массива конструируем также объект unicode с заданием кодека cp1251, но далее просто отдаем его в таком виде платформе App Engine (подразумевается что весь вывод по умолчанию в кодировке UTF-8).

Все кажется замечательным, но тут опять обнаруживается криворукость писателей прошивок некоторых моделей IP телефонов, заключающаяся в том, что телефоны сами добавляют к параметрам запросов дополнительные переменные вида ?locale=English_United_States&name=SEP001B541415EE, что приводит к проблемам обработке меню сами же телефонами.

Проведенный небольшой эксперимент показал, что если, например, параметры задавать с помощью многоуровневых URL, то все работает отлично. Допустим, кодировку windows-1251 мы будем задавать как http://xmlphones.appspot.com/windows-1251/ (подразумевая, по умолчанию корневой адрес аналогичный http://xmlphones.appspot.com/utf-8/), а город как http://xmlphones.appspot.com/utf-8/city/26063 (и опять это Питер).

Выкидываем из кода несколько обработчиков, привязанных к URL, и заменяем их одним Dispatcher, который будет решать куда направить тот или иной запрос. Так как нашим сервисом уже пользуются люди, старые параметры ?encode и ?city также оставляем для совместимости, но делаем их второстепенными по сравнению со схемой параметров, заданных через URL.

Вот что получилось в итоге:

# coding=UTF-8
# -*- coding: utf-8 -*-

import wsgiref.handlers
from google.appengine.ext import webapp
from google.appengine.api import urlfetch
import os
from google.appengine.ext.webapp import template
from xml.dom import minidom
import re
import time

WEATHER_URL = 'http://informer.gismeteo.ru/rss/%s.xml'

def get_city(self):
    city = self.request.get("city")
    if city == '':
        # Москва
        city = '27612'
    ccode = re.search('/.+/meteo/(.+)', self.request.path)
    if ccode != None:
        return ccode.group(1)
    else:
        return city

def get_encode_templ(self):
    encode = self.request.get("encode")
    if encode == 'windows-1251':
        return encode
    else:
        return 'utf-8'

def render_template(self, templ, template_values={}, encode='utf-8'):
    path = os.path.join(os.path.dirname(__file__), 'templates/'+templ)
    resp = template.render(path, template_values)
    if encode == 'windows-1251':
        # Перекодируем из UTF-8 в CP1251
        resp = unicode(resp, 'utf-8')
        resp = resp.encode("cp1251")
    self.response.out.write(resp)

def is_ipphone(self):
    if re.match('Allegro', self.request.headers.get('User-Agent', '')) == None:
        return False
    else:
        return True     

def parse_rss_data(content):
    result = ''
    dom = minidom.parseString(content)
    for item in dom.getElementsByTagName('item'):
        result = result + item.getElementsByTagName('title')[0].firstChild.nodeValue + '\n' + item.getElementsByTagName('description')[0].firstChild.nodeValue + '\n\n'
    return result

def rss_to_text(self, url):
    result = urlfetch.fetch(url)
    if result.status_code == 200:
        resp = parse_rss_data(result.content)
        charset = get_uri_encode(self)
        if charset == 'windows-1251':
            # Перекодируем из UTF-8 в CP1251
            resp = resp.encode("cp1251")
        self.response.headers['Content-type']='text/plain; charset='+charset
        self.response.out.write(resp)
    else:
        self.redirect('/error.xml')

def cbrf(self):
    charset = get_uri_encode(self)
    self.response.headers['Content-type']='text/plain; charset='+charset
    result = urlfetch.fetch('http://www.cbr.ru/currency_base/D_print.asp?date_req='+time.strftime('%d.%m.%Y', time.localtime()))
    if result.status_code == 200:
        content = unicode(result.content, 'windows-1251')
        data=re.split('<td align="right" >036</td>', content)[1]
        for block in re.split('<tr bgcolor="#ffffff">', data):
            block = re.sub('\r\n', '', block)
            cells = re.search('<td align="left" >&nbsp;&nbsp;(.*?)</td><td align="right" >(.*?)</td><td>&nbsp;&nbsp;(.*?)</td><td align="right">(.*?)</td>', block)
            if cells != None:
                resp = cells.group(2)+' '+cells.group(3)+' = '+cells.group(4)+'\n'
                if charset == 'windows-1251':
                    # Перекодируем из UTF-8 в CP1251
                    resp = resp.encode("cp1251")
                self.response.out.write(resp)
    else:
        self.redirect('/error.xml')

def error(self):
    self.response.headers['Content-type]']='text/plain'
    self.response.out.write('Произошла ошибка при работе сервиса')

def gismeteo(self):
    city = get_city(self)
    rss_to_text(self, WEATHER_URL % city)

def yandex_news(self):
    rss_to_text(self, 'http://news.yandex.ru/Russia/index.rss')

def get_uri_encode(self, default = 'utf-8'):
    urcode = re.search('/windows-1251/.*', self.request.url)
    if (urcode != None):
        return 'windows-1251'
    else:
        return default

def main_page(self):
    if is_ipphone(self):
        citytmpl = get_city(self)
        encode = get_encode_templ(self)
        urlcity = re.search('/(.+)/city/(.+)', self.request.path)
        if (urlcity != None):
            citytmpl = urlcity.group(2)
        encode = get_uri_encode(self, encode)
        self.response.headers['Content-type']='text/xml; charset='+encode
        render_template(self, 'main.xml', { 'city': citytmpl, 'encode': encode }, encode=encode)
    else:
        self.response.headers['Content-type']='text/html; charset=utf-8'
        render_template(self, 'main.html')   

class Dispatcher(webapp.RequestHandler):
    def get(self):
        # Анализируем только URI до знака ?
        url = self.request.url.split('?')[0]
        if re.search('/$', url):
            main_page(self)
            return
        if re.search('/.+/city/.+', url):
            main_page(self)
            return
        if re.search('/utf-8/$', url):
            main_page(self)
            return
        if re.search('/windows-1251/$', url):
            main_page(self)
            return
        if re.search('/(.+)/yandex_news.xml', url):
            yandex_news(self)
            return
        if re.search('/(.+)/meteo.+', url):
            gismeteo(self)
            return
        if re.search('/(.+)/cbrf.xml', url):
            cbrf(self)
            return
        error(self)

def main():
    application = webapp.WSGIApplication(
                                         [('/.*', Dispatcher)
                                         ],
                                         debug=True)
    wsgiref.handlers.CGIHandler().run(application)

if __name__ == '__main__':
    main()

Какие еще будут предложения по добавлению новых сервисов? Напишите комментарий к этой статье.

Мне стало интересно попробовать в работе платформу Google App Engine, чтобы создать небольшой информационный сервис для IP телефонов. Я взял для начала три источника данных: прогноз погоды от сайта GisMeteo, ленту новостей от Яндекса (оба в формате RSS) и официальный сайт Центрального банка РФ, который имеет HTML страницу с курсами валют на заданную дату. Соответственно алгоритм очень прост:

• с помощью интерфейса URL Fetch загружаем необходимую страницу с данными
• парсим ее и извлекаем нужные
• отображаем в текстовом виде (XML я использован только для меню)

Код получился простой и уместился в один файл:

# coding=UTF-8

import wsgiref.handlers
from google.appengine.ext import webapp
from google.appengine.api import urlfetch
import os
from google.appengine.ext.webapp import template
from xml.dom import minidom
import re

WEATHER_URL = 'http://informer.gismeteo.ru/rss/%s.xml'

def render_template(self, templ, template_values={}):
    path = os.path.join(os.path.dirname(__file__), 'templates/'+templ)
    self.response.out.write(template.render(path, template_values))

def is_ipphone(self):
    if re.match('Allegro', self.request.headers.get('User-Agent', '')) == None:
        return False
    else:
        return True

class MainPage(webapp.RequestHandler):
    def get(self):
        if is_ipphone(self):
            self.response.headers['Content-type']='text/xml; charset=utf-8'
            render_template(self, 'main.xml')
        else:
            self.response.headers['Content-type']='text/html; charset=utf-8'
            render_template(self, 'main.html')

def parse_rss_data(content):
    result = ''
    dom = minidom.parseString(content)
    for item in dom.getElementsByTagName('item'):
        result = result + item.getElementsByTagName('title')[0].firstChild.nodeValue + '\n'
           + item.getElementsByTagName('description')[0].firstChild.nodeValue + '\n\n'
    return result

def rss_to_text(self, url):
    self.response.headers['Content-type']='text/plain; charset=utf-8'
    result = urlfetch.fetch(url)
    if result.status_code == 200:
        self.response.out.write(parse_rss_data(result.content))
    else:
        self.redirect('/error.xml')

class GisMeteo(webapp.RequestHandler):
    def get(self):
        rss_to_text(self, WEATHER_URL % '27612')

class YandexNews(webapp.RequestHandler):
    def get(self):
        rss_to_text(self, 'http://news.yandex.ru/Russia/index.rss')

class CbRF(webapp.RequestHandler):
    def get(self):
        self.response.headers['Content-type']='text/plain; charset=windows-1251'
        result = urlfetch.fetch('http://www.cbr.ru/currency_base/D_print.asp?date_req')
        if result.status_code == 200:
            data=re.split('<td align="right" >036</td>', result.content)[1]
            for block in re.split('<tr bgcolor="#ffffff">', data):
                cells = re.search('<td align="left" >&nbsp;&nbsp;(.*?)</td><td align="right" >(.*?)</td><td>&nbsp;&nbsp;(.*?)</td><td align="right">(.*?)</td>', block)
                if cells != None:
                    self.response.out.write(cells.group(2)+' '+cells.group(3)+' = '+cells.group(4)+'\n')
        else:
            self.redirect('/error.xml')

class Error(webapp.RequestHandler):
    def get(self):
        self.response.headers['Content-type]']='text/plain'
        self.response.out.write('Произошла ошибка при работе сервиса')

def main():
    application = webapp.WSGIApplication(
                                         [('/', MainPage),
                                         ('/error.xml', Error),
                                         ('/yandex_news.xml', YandexNews),
                                         ('/meteo.xml', GisMeteo),
                                         ('/cbrf.xml', CbRF)
                                         ],
                                         debug=True)
    wsgiref.handlers.CGIHandler().run(application)

if __name__ == '__main__':
    main()

Самый интересный момент в коде: проверка при входе на главную страницу, является ли User-Agent IP телефоном или обычным компьютером и соответственно отображение или меню для телефона, или текста с описанием сервиса для человека. Как это выглядит вживую можно посмотреть на сайте сервиса – http://xmlphones.appspot.com. Там же находится описание того, что необходимо прописать в Cisco CallManager для отображения данных на телефонах.

Благодаря Google теперь нет необходимости поднимать такой сервис внутри корпоративной сети, его можно эксплуатировать как общедоступный. Посмотреть другие возможности XML сервисов для IP телефонов Cisco можно здесь.

Перейти к второй части этой темы.