add new data, improve script

data.json

@@ -228,6 +228,60 @@
     "source": "fb",
     "type": 2
   },
+  {
+    "text": "Фехтовальные Навыки Отмечено! ТРИУМФАЛЬНО! Отмечено! РОБОТИЧЕСКИ Отмечено! Беркут Отмечено! ТРИУМФАЛЬНО! Имения Вышестоящих По Право Отмечено! РОБОТИЧЕСКИ Имения Вышестоящих По Право ГАЗ-53 Имения Вышестоящих По Право Номер Индексирован Безукоризненно Акробатическое По Правилам Войны Линейно с Локации Номер Индексирован Безукоризненно Екатерина Сухогруз Откладывается Линейно Отмечено! Отмечено! ТРИУМФАЛЬНО!Военное Вмешательство Екатерина ТРИУМФАЛЬНО! Сухогруз Откладывается Линейно ТРИУМФАЛЬНО! Военное Вмешательство УКДВРК Ющенко ТРИУМФАЛЬНО!",
+    "pic": ["2.jpg", "14807698519800.jpg"],
+    "date": "3/12/16",
+    "source": "2ch"
+  },
+  {
+    "text": "МЕСТА(!) Отмечено! Военное Вмешательство Сухогруз Откладывается Линейно Акробатическое По Правилам Войны Екатерина Военное Вмешательство Военное Вмешательство Ытрэч Екатерина Х О Р Т И Ц А Акробатическое По Правилам Войны Линейно с Локации Номер Индексирован Безукоризненно Отмечено!Чечевичная похлебка ЗАКОННО! Ь - Его Величество Ющенко Военное Вмешательство Эрдоган ТРИУМФАЛЬНО! Отмечено! МЕСТА(!) Номер Индексирован Безукоризненно Акробатическое По Правилам Войны Присутствие Военное по Право РОБОТИЧЕСКИ Акробатическое По Правилам Войны Военное Вмешательство Линейно с Локации Екатерина Номер Индексирован Безукоризненно Имения Вышестоящих По Право Имения Вышестоящих По Право. Акробатическое По Правилам Войны Военное Вмешательство ТРИУМФАЛЬНО! Отмечено! МЕСТА(!) Отмечено! Беркут Имения Вышестоящих По Право Линейно с Локации Ь - Его Величество - Линейно с Локации Акробатическое По Правилам Войны Дежурные с Вышестоящими Контроль Акробатическое По Правилам Войны ГАЗ-53 РОБОТИЧЕСКИ Акробатическое По Правилам Войны Номер Индексирован Безукоризненно ТРИУМФАЛЬНО! Акробатическое По Правилам Войны.",
+    "pic": ["e9f87d8f6d847fb4b645f1c147fbd743.jpg", "screen_a2ch.png", "1d0691fbbf6a30885bc97b8d3a55d5ac.jpg"],
+    "date": "26/11/16",
+    "source": "2ch"
+  },
+  {
+    "text": "Дежурные с Вышестоящими Контроль Отмечено! ГАЗ-53 Отмечено! Военное Вмешательство Отмечено! РОБОТИЧЕСКИ Имения Вышестоящих По Право ТРИУМФАЛЬНО! Сухогруз Откладывается Линейно Ярославская Губерния Присутствие Военное по Право Отмечено! Присутствие Военное по Право Отмечено! Военное Вмешательство Отмечено! Дежурные с Вышестоящими Контроль УКДВРК Фехтовальные Навыки Отмечено! ТРИУМФАЛЬНО! Отмечено! ГАЗ-53 РОБОТИЧЕСКИ Акробатическое По Правилам Войны Фехтовальные Навыки Имения Вышестоящих По Право Йодиноловый по Выписка Щука В Мешке Имения Вышестоящих По Право ГАЗ-53 Отмечено! Линейно с Локации Екатерина Военное Вмешательство Сухогруз Откладывается Линейно Отмечено! Сухогруз Откладывается Линейно Военное Вмешательство Отмечено! Беркут Отмечено! Дежурные с Вышестоящими Контроль Имения Вышестоящих По Право Номер Индексирован Безукоризненно Ытрэч МЕСТА(!) Военное Вмешательство Сухогруз Откладывается Линейно ТРИУМФАЛЬНО! РОБОТИЧЕСКИ Екатерина ТРИУМФАЛЬНО! Имения Вышестоящих По Право Линейно с Локации Имения Вышестоящих По Право Сухогруз Откладывается Линейно Ь - Его Величество закадычно[паррома] Дежурные с Вышестоящими Контроль Екатерина Сухогруз Откладывается Линейно Ь - Его Величество.",
+    "pic": ["парк.jpg"],
+    "date": "8/12/16",
+    "source": "mailru"
+  },
+  {
+    "text": "",
+    "pic": "",
+    "date": "0/0/16",
+    "source": ""
+  },
+  {
+    "text": "",
+    "pic": "",
+    "date": "0/0/16",
+    "source": ""
+  },
+  {
+    "text": "",
+    "pic": "",
+    "date": "0/0/16",
+    "source": ""
+  },
+  {
+    "text": "",
+    "pic": "",
+    "date": "0/0/16",
+    "source": ""
+  },
+  {
+    "text": "",
+    "pic": "",
+    "date": "0/0/16",
+    "source": ""
+  },
+  {
+    "text": "",
+    "pic": "",
+    "date": "0/0/16",
+    "source": ""
+  },
   {
     "text": "",
     "pic": "",

main.py

@@ -154,11 +154,30 @@ def decode2(s):
 
     return buf
 
+
+# s: source
+# t: type
+def decode_auto(s, t, reverse_decoded=False, remove_junk=True):
+    if t == 1:
+        s = clean_string(s, remove_junk=remove_junk)
+        result = decode(s)
+    
+    elif t == 2:
+        result = decode2(s)
+
+    if reverse_decoded:
+        # reverse string
+        result = result[::-1]
+
+    return result
+
+        
 def main():
     parser = argparse.ArgumentParser()
     parser.add_argument('--decode', action='store_true')
     parser.add_argument('--stats', action='store_true')
     parser.add_argument('--decode-string')
+    parser.add_argument('--decode-file')
     parser.add_argument('--with-junk', action='store_true')
     parser.add_argument('--is-url', action='store_true')
     parser.add_argument('--type', type=int, choices=[1, 2], default=1)
@@ -179,18 +198,12 @@ def main():
         
         for obj in data:
             text = obj['text']
+            text_decoded = decode_auto(text,
+                                      args.type,
+                                      remove_junk=(not args.with_junk),
+                                      reverse_decoded=args.reverse_decoded)
          
-            if args.type == 1:
-                text = clean_string(text, remove_junk=(not args.with_junk))
-                text_decoded = decode(text)
-            
-            elif args.type == 2:
-                text_decoded = decode2(text)
-
-            if args.reverse_decoded:
-                # reverse string
-                text_decoded = text_decoded[::-1]
-
+            # print all information
             print(obj['text'])
             print_colored(text, 'green', fallback_prefix='[CLEANED] ')
             print_colored(text_decoded, 'cyan', fallback_prefix='[DECODED] ')
@@ -198,15 +211,25 @@ def main():
             if 'pic' in obj:
                 pic = obj['pic'] if isinstance(obj['pic'], list) else [obj['pic']]
                 print_colored(', '.join(pic), 'red', fallback_prefix='[PICS] ')
+            if 'link' in obj:
+                print_colored(obj['link'], 'red', fallback_prefix='[LINK] ')
 
             print("\n")
 
-    elif args.decode_string:
-        text = clean_string(args.decode_string, remove_junk=(not args.with_junk))
+    elif args.decode_string or args.decode_file:
+        if args.decode_string:
+            source = args.decode_string
+        else: 
+            with open(args.decode_file, 'r') as f:
+                source = f.read()
 
-        print(args.decode_string)
-        print_colored(text, 'green', fallback_prefix='[CLEANED] ')
-        print_colored(decode(text, is_url=args.is_url), 'cyan', fallback_prefix='[DECODED] ')
+        text_decoded = decode_auto(source,
+                                   args.type,
+                                   remove_junk=(not args.with_junk),
+                                   reverse_decoded=args.reverse_decoded)
+        
+        # print
+        print_colored(text_decoded, 'cyan', fallback_prefix='[DECODED] ')
             
     elif args.stats:
         count = len(data)