added parsing abilities to sniff as well as improvements to the simpleGUI
[goodfet] / client / GoodFETMCPCANCommunication.py
1 #!/usr/bin/env python
2 # GoodFET SPI Flash Client
3 #
4 # (C) 2012 Travis Goodspeed <travis at radiantmachines.com>
5 #
6 #
7 # Ted's working copy
8 #   1) getting hot reads on frequency
9 #   2) allow sniffing in "normal" mode to get ack bits
10 #       --check if that's whats causing error flags in board-to-board transmission
11 #
12 #
13
14 import sys;
15 import binascii;
16 import array;
17 import csv, time, argparse;
18 import datetime
19 import os
20 from random import randrange
21 from GoodFETMCPCAN import GoodFETMCPCAN;
22 from intelhex import IntelHex;
23
24 class GoodFETMCPCANCommunication:
25     
26     def __init__(self):
27        self.client=GoodFETMCPCAN();
28        self.client.serInit()
29        self.client.MCPsetup();
30        self.DATALOCATION = "../../contrib/ThayerData/"
31        
32
33     
34     def printInfo(self):
35         
36         self.client.MCPreqstatConfiguration();
37         
38         print "MCP2515 Info:\n\n";
39         
40         print "Mode: %s" % self.client.MCPcanstatstr();
41         print "Read Status: %02x" % self.client.MCPreadstatus();
42         print "Rx Status:   %02x" % self.client.MCPrxstatus();
43         print "Error Flags:  %02x" % self.client.peek8(0x2D);
44         print "Tx Errors:  %3d" % self.client.peek8(0x1c);
45         print "Rx Errors:  %3d\n" % self.client.peek8(0x1d);
46         
47         print "Timing Info:";
48         print "CNF1: %02x" %self.client.peek8(0x2a);
49         print "CNF2: %02x" %self.client.peek8(0x29);
50         print "CNF3: %02x\n" %self.client.peek8(0x28);
51         print "RXB0 CTRL: %02x" %self.client.peek8(0x60);
52         print "RXB1 CTRL: %02x" %self.client.peek8(0x70);
53         
54         print "RX Info:";
55         print "RXB0: %02x" %self.client.peek8(0x60);
56         print "RXB1: %02x" %self.client.peek8(0x70);
57         print "RXB0 masks: %02x, %02x, %02x, %02x" %(self.client.peek8(0x20), self.client.peek8(0x21), self.client.peek8(0x22), self.client.peek8(0x23));
58         print "RXB1 masks: %02x, %02x, %02x, %02x" %(self.client.peek8(0x24), self.client.peek8(0x25), self.client.peek8(0x26), self.client.peek8(0x27));
59
60         
61         print "RX Buffers:"
62         packet0=self.client.readrxbuffer(0);
63         packet1=self.client.readrxbuffer(1);
64         for foo in [packet0, packet1]:
65            print self.client.packet2str(foo);
66            
67     def reset(self):
68         self.client.MCPsetup();
69     
70     
71     ##########################
72     #   SNIFF
73     ##########################
74          
75     def sniff(self,freq,duration,description, verbose=True, comment=None, filename=None, standardid=None, debug=False, faster=False, parsed=True):
76         
77         #reset eveything on the chip
78         self.client.serInit() 
79         self.reset()
80           
81         #### ON-CHIP FILTERING
82         if(standardid != None):
83             if( comment == None):
84                 comment = ""
85             self.client.MCPreqstatConfiguration();  
86             self.client.poke8(0x60,0x26); # set RXB0 CTRL register to ONLY accept STANDARD messages with filter match (RXM1=0, RMX0=1, BUKT=1)
87             self.client.poke8(0x20,0xFF); #set buffer 0 mask 1 (SID 10:3) to FF
88             self.client.poke8(0x21,0xE0); #set buffer 0 mask 2 bits 7:5 (SID 2:0) to 1s
89             if(len(standardid)>2):
90                self.client.poke8(0x70,0x20); # set RXB1 CTRL register to ONLY accept STANDARD messages with filter match (RXM1=0, RMX0=1)
91                self.client.poke8(0x24,0xFF); #set buffer 1 mask 1 (SID 10:3) to FF
92                self.client.poke8(0x25,0xE0); #set buffer 1 mask 2 bits 7:5 (SID 2:0) to 1s 
93             
94             for filter,ID in enumerate(standardid):
95         
96                if (filter==0):
97                 RXFSIDH = 0x00;
98                 RXFSIDL = 0x01;
99                elif (filter==1):
100                 RXFSIDH = 0x04;
101                 RXFSIDL = 0x05;
102                elif (filter==2):
103                 RXFSIDH = 0x08;
104                 RXFSIDL = 0x09;
105                elif (filter==3):
106                 RXFSIDH = 0x10;
107                 RXFSIDL = 0x11;
108                elif (filter==4):
109                 RXFSIDH = 0x14;
110                 RXFSIDL = 0x15;
111                else:
112                 RXFSIDH = 0x18;
113                 RXFSIDL = 0x19;
114         
115                #### split SID into different regs
116                SIDlow = (ID & 0x03) << 5;  # get SID bits 2:0, rotate them to bits 7:5
117                SIDhigh = (ID >> 3) & 0xFF; # get SID bits 10:3, rotate them to bits 7:0
118                
119                #write SID to regs 
120                self.client.poke8(RXFSIDH,SIDhigh);
121                self.client.poke8(RXFSIDL, SIDlow);
122         
123                if (verbose == True):
124                    print "Filtering for SID %d (0x%02xh) with filter #%d"%(ID, ID, filter);
125                comment = comment + ("f%d" %(ID))
126         
127         
128         self.client.MCPsetrate(freq);
129         
130         # This will handle the files so that we do not loose them. each day we will create a new csv file
131         if( filename==None):
132             #get folder information (based on today's date)
133             now = datetime.datetime.now()
134             datestr = now.strftime("%Y%m%d")
135             path = self.DATALOCATION+datestr+".csv"
136             filename = path
137             
138         
139         outfile = open(filename,'a');
140         dataWriter = csv.writer(outfile,delimiter=',');
141         dataWriter.writerow(['# Time     Error        Bytes 1-13']);
142         dataWriter.writerow(['#' + description])
143         
144         self.client.MCPreqstatNormal();
145         print "Listening...";
146         packetcount = 0;
147         starttime = time.time();
148         
149         while((time.time()-starttime < duration)):
150             
151             if(faster):
152                 packet=self.client.fastrxpacket();
153             else:
154                 packet=self.client.rxpacket();
155             
156             if(debug == True):
157                 #check packet status
158                 MCPstatusReg = self.client.MCPrxstatus();
159                 messagestat=MCPstatusReg&0xC0;
160                 messagetype=MCPstatusReg&0x18;
161                 if(messagestat == 0xC0):
162                     print "Message in both buffers; message type is %02x (0x00 is standard data, 0x08 is standard remote)." %messagetype
163                 elif(messagestat == 0x80):
164                     print "Message in RXB1; message type is %02x (0x00 is standard data, 0x08 is standard remote)." %messagetype
165                 elif(messagestat == 0x40):
166                     print "Message in RXB0; message type is %02x (0x00 is standard data, 0x08 is standard remote)." %messagetype
167                 elif(messagestat == 0x00):
168                     print "No messages in buffers."
169             
170             if packet!=None:
171                 
172                 packetcount+=1;
173                 row = [];
174                 row.append("%f"%time.time());
175                 
176                 if( verbose==True):
177                     #if we want to print a parsed message
178                     if( parsed == True):
179                         sId = packet['sID']
180                         msg = "sID: %d" %sID
181                         if( packet.get('eID')):
182                             msg += " eID: %d" %packet.get('eID')
183                         msg += " rtr: %d"%packet['rtr']
184                         length = packet['length']
185                         msg += " length: %d"%length
186                         msg += "data:"
187                         for i in range(0,length):
188                             dbidx = 'db%d'%i
189                             msg +=" %d"% packet[dbidx]
190                         print msg
191                     # if we want to print just the message as it is read off the chip
192                     else:
193                         print self.client.packet2str(packet)
194                 
195                 if(debug == True):
196                     
197                     #check overflow
198                     MCPeflgReg=self.client.peek8(0x2D);
199                     print"EFLG register equals: %x" %MCPeflgReg;
200                     if((MCPeflgReg & 0xC0)==0xC0):
201                         print "WARNING: BOTH overflow flags set. Missed a packet. Clearing and proceeding."
202                     elif(MCPeflgReg & 0x80):
203                         print "WARNING: RXB1 overflow flag set. A packet has been missed. Clearing and proceeding."
204                     elif(MCPeflgReg & 0x40):
205                         print "WARNING: RXB0 overflow flag set. A packet has been missed. Clearing and proceeding."
206                     self.client.MCPbitmodify(0x2D,0xC0,0x00);
207                     print"EFLG register set to: %x" % self.client.peek(0x2D);
208                 
209                     #check for errors
210                     if (self.client.peek8(0x2C) & 0x80):
211                         self.client.MCPbitmodify(0x2C,0x80,0x00);
212                         print "ERROR: Malformed packet recieved: " + self.client.packet2str(packet);
213                         row.append(1);
214                     else:
215                         row.append(0);
216                 else:
217                     row.append(0);  #since we don't check for errors if we're not in debug mode...
218                             
219                 row.append(comment)
220                 #how long the sniff was for
221                 row.append(duration)
222                 #boolean that tells us if there was filtering. 0 == no filters, 1 == filters
223                 if(standardid != None):
224                     row.append(1)
225                 else:
226                     row.append(0)
227                 #write packet to file
228                 for byte in packet:
229                     row.append("%02x"%ord(byte));
230                 dataWriter.writerow(row);
231         
232         outfile.close()
233         print "Listened for %d seconds, captured %d packets." %(duration,packetcount);
234         return packetcount
235         
236         
237     def filterStdSweep(self, freq, time = 5):
238         msgIDs = []
239         for i in range(0, 2047, 6):
240             print "sniffing id: %d, %d, %d, %d, %d, %d" % (i,i+1,i+2,i+3,i+4,i+5)
241             comment = "sweepFilter_%d_%d_%d_%d_%d_%d" % (i,i+1,i+2,i+3,i+4,i+5)
242             description = "Running a sweep filer for all the possible standard IDs. This run filters for: %d, %d, %d, %d, %d, %d" % (i,i+1,i+2,i+3,i+4,i+5)
243             count = self.sniff(freq=freq, duration = time, description = description,comment = comment, standardid = [i, i+1, i+2, i+3, i+4, i+5])
244             if( count != 0):
245                 for j in range(i,i+5):
246                     comment = "sweepFilter: %d" % (j)
247                     description = "Running a sweep filer for all the possible standard IDs. This run filters for: %d " % j
248                     count = self.sniff(freq=freq, duration = time, description = description,comment = comment, standardid = [j])
249                     if( count != 0):
250                         msgIDs.append(j)
251         return msgIDs
252     
253     def sweepRandom(self, freq, number = 5, time = 5,):
254         msgIDs = []
255         ids = []
256         for i in range(0,number,6):
257             idsTemp = []
258             comment = "sweepFilter"
259             for j in range(0,6,1):
260                 id = randrange(2047)
261                 comment += "_%d" % id
262                 idsTemp.append(id)
263                 ids.append(id)
264             print comment
265             description = "Running a sweep filer for all the possible standard IDs. This runs the following : " + comment
266             count = self.sniff(freq=freq, duration=time, description=description, comment = comment, standardid = idsTemp)
267             if( count != 0):
268                 for element in idsTemp:
269                     comment = "sweepFilter: %d" % (element)
270                     description = "Running a sweep filer for all the possible standard IDs. This run filters for: %d " % element
271                     count = self.sniff(freq=freq, duration = time, description = description,comment = comment, standardid = [element, element, element])
272                     if( count != 0):
273                         msgIDs.append(j)
274         return msgIDs, ids
275     
276     def sniffTest(self, freq):
277         
278         rate = freq;
279         
280         print "Calling MCPsetrate for %i." %rate;
281         self.client.MCPsetrate(rate);
282         self.client.MCPreqstatNormal();
283         
284         print "Mode: %s" % self.client.MCPcanstatstr();
285         print "CNF1: %02x" %self.client.peek8(0x2a);
286         print "CNF2: %02x" %self.client.peek8(0x29);
287         print "CNF3: %02x\n" %self.client.peek8(0x28);
288         
289         while(1):
290             packet=self.client.rxpacket();
291             
292             if packet!=None:                
293                 if (self.client.peek8(0x2C) & 0x80):
294                     self.client.MCPbitmodify(0x2C,0x80,0x00);
295                     print "malformed packet recieved: "+ self.client.packet2str(packet);
296                 else:
297                     print "properly formatted packet recieved" + self.client.packet2str(packet);
298    
299     
300     def freqtest(self,freq):
301         
302         self.client.MCPsetup();
303
304         self.client.MCPsetrate(freq);
305         self.client.MCPreqstatListenOnly();
306     
307         print "CAN Freq Test: %3d kHz" %freq;
308     
309         x = 0;
310         errors = 0;
311     
312         starttime = time.time();
313         while((time.time()-starttime < args.time)):
314             packet=self.client.rxpacket();
315             if packet!=None:
316                 x+=1;
317                 
318                 if (self.client.peek8(0x2C) & 0x80):
319                     print "malformed packet recieved"
320                     errors+=1;
321                     self.client.MCPbitmodify(0x2C,0x80,0x00);
322                 else:         
323                     print self.client.packet2str(packet);
324     
325         print "Results for %3.1d kHz: recieved %3d packets, registered %3d RX errors." %(freq, x, errors);
326     
327
328     def isniff(self,freq):
329         """ An intelligent sniffer, decodes message format """
330         """ More features to be added soon """
331         
332         self.client.MCPsetrate(freq);
333         self.client.MCPreqstatListenOnly();
334         while 1:
335             packet=self.client.rxpacket();
336             if packet!=None:
337                 plist=[];
338                 for byte in packet:
339                     plist.append(byte);
340                 arbid=plist[0:2];
341                 eid=plist[2:4];
342                 dlc=plist[4:5];
343                 data=plist[5:13];         
344                 print "\nArbID: " + self.client.packet2str(arbid);
345                 print "EID: " + self.client.packet2str(eid);
346                 print "DLC: " + self.client.packet2str(dlc);
347                 print "Data: " + self.client.packet2str(data);
348
349     def test(self):
350         
351         comm.reset();
352         print "Just reset..."
353         print "EFLG register:  %02x" % self.client.peek8(0x2d);
354         print "Tx Errors:  %3d" % self.client.peek8(0x1c);
355         print "Rx Errors:  %3d" % self.client.peek8(0x1d);
356         print "CANINTF: %02x"  %self.client.peek8(0x2C);
357         self.client.MCPreqstatConfiguration();
358         self.client.poke8(0x60,0x66);
359         self.client.MCPsetrate(500);
360         self.client.MCPreqstatNormal();
361         print "In normal mode now"
362         print "EFLG register:  %02x" % self.client.peek8(0x2d);
363         print "Tx Errors:  %3d" % self.client.peek8(0x1c);
364         print "Rx Errors:  %3d" % self.client.peek8(0x1d);
365         print "CANINTF: %02x"  %self.client.peek8(0x2C);
366         print "Waiting on packets.";
367         checkcount = 0;
368         packet=None;
369         while(1):
370             packet=self.client.rxpacket();
371             if packet!=None:
372                 print "Message recieved: %s" % self.client.packet2str(packet);
373             else:
374                 checkcount=checkcount+1;
375                 if (checkcount%30==0):
376                     print "EFLG register:  %02x" % self.client.peek8(0x2d);
377                     print "Tx Errors:  %3d" % self.client.peek8(0x1c);
378                     print "Rx Errors:  %3d" % self.client.peek8(0x1d);
379                     print "CANINTF: %02x"  %self.client.peek8(0x2C);
380
381     
382         
383     def spit(self,freq, standardid,debug):
384         
385         comm.reset();
386         self.client.MCPsetrate(freq);
387         self.client.MCPreqstatNormal();
388         
389         print "initial state:"
390         print "Tx Errors:  %3d" % self.client.peek8(0x1c);
391         print "Rx Errors:  %3d" % self.client.peek8(0x1d);
392         print "Error Flags:  %02x\n" % self.client.peek8(0x2d);
393         print "TXB0CTRL: %02x" %self.client.peek8(0x30);
394         print "CANINTF: %02x\n"  %self.client.peek8(0x2C);
395         print "\n\nATTEMPTING TRANSMISSION!!!"
396
397     
398         #### split SID into different regs
399         SIDlow = (standardid[0] & 0x03) << 5;  # get SID bits 2:0, rotate them to bits 7:5
400         SIDhigh = (standardid[0] >> 3) & 0xFF; # get SID bits 10:3, rotate them to bits 7:0
401         
402         packet = [SIDhigh, SIDlow, 0x00,0x00, # pad out EID regs
403                   0x08, # bit 6 must be set to 0 for data frame (1 for RTR) 
404                   # lower nibble is DLC                   
405                   0x01,0x02, 0x03, 0x04, 0x05, 0x06, 0x07, 0xFF]    
406         
407         packetE = [SIDhigh, SIDlow | 0x80, 0x00,0x00, # pad out EID regs
408                   0x08, # bit 6 must be set to 0 for data frame (1 for RTR) 
409                   # lower nibble is DLC                   
410                 0x01,0x02, 0x03, 0x04, 0x05, 0x06, 0x07, 0xFF] 
411    
412         
413         self.client.txpacket(packetE);
414         
415         checkcount = 0;
416         TXB0CTRL = self.client.peek8(0x30);
417         
418         while(TXB0CTRL | 0x00 != 0x00):
419             checkcount+=1;
420             TXB0CTRL = self.client.peek8(0x30);
421             if (checkcount %30 ==0):
422                 print "Tx Errors:  %3d" % self.client.peek8(0x1c);
423                 print "Rx Errors:  %3d" % self.client.peek8(0x1d);
424                 print "EFLG register:  %02x" % self.client.peek8(0x2d);
425                 print "TXB0CTRL: %02x" %TXB0CTRL;
426                 print "CANINTF: %02x\n"  %self.client.peek8(0x2C);
427
428
429         
430
431
432
433 if __name__ == "__main__":  
434
435     parser = argparse.ArgumentParser(formatter_class=argparse.RawDescriptionHelpFormatter,description='''\
436     
437         Run commands on the MCP2515. Valid commands are:
438         
439             info 
440             test
441             peek 0x(start) [0x(stop)]
442             reset
443             
444             sniff 
445             freqtest
446             snifftest
447             spit
448         ''')
449         
450     
451     parser.add_argument('verb', choices=['info', 'test','peek', 'reset', 'sniff', 'freqtest','snifftest', 'spit']);
452     parser.add_argument('-f', '--freq', type=int, default=500, help='The desired frequency (kHz)', choices=[100, 125, 250, 500, 1000]);
453     parser.add_argument('-t','--time', type=int, default=15, help='The duration to run the command (s)');
454     parser.add_argument('-o', '--output', default=None,help='Output file');
455     parser.add_argument("-d", "--description", help='Description of experiment (included in the output file)', default="");
456     parser.add_argument('-v',"--verbose",action='store_false',help='-v will stop packet output to terminal', default=True);
457     parser.add_argument('-c','--comment', help='Comment attached to ech packet uploaded',default=None);
458     parser.add_argument('-b', '--debug', action='store_true', help='-b will turn on debug mode, printing packet status', default=False);
459     parser.add_argument('-a', '--standardid', type=int, action='append', help='Standard ID to accept with filter 0 [1, 2, 3, 4, 5]', default=None);
460     parser.add_argument('-x', '--faster', action='store_true', help='-x will use "fast packet recieve," which may duplicate packets and/or cause other weird behavior', default=False);
461
462     
463     args = parser.parse_args();
464     freq = args.freq
465     duration = args.time
466     filename = args.output
467     description = args.description
468     verbose = args.verbose
469     comments = args.comment
470     debug = args.debug
471     standardid = args.standardid
472     faster=args.faster
473
474     comm = GoodFETMCPCANCommunication();
475     
476     ##########################
477     #   INFO
478     ##########################
479     #
480     # Prints MCP state info
481     #
482     if(args.verb=="info"):
483         comm.printInfo()
484         
485            
486     ##########################
487     #   RESET
488     ##########################
489     #
490     #
491             
492     if(args.verb=="reset"):
493         comm.reset()
494         
495     ##########################
496     #   SNIFF
497     ##########################
498     #
499     #   runs in ListenOnly mode
500     #   utility function to pull info off the car's CAN bus
501     #
502     
503     if(args.verb=="sniff"):
504         comm.sniff(freq=freq,duration=duration,description=description,verbose=verbose,comment=comments,filename=filename, standardid=standardid, debug=debug, faster=faster)    
505                     
506     ##########################
507     #   SNIFF TEST
508     ##########################
509     #
510     #   runs in NORMAL mode
511     #   intended for NETWORKED MCP chips to verify proper operation
512     #
513        
514     if(args.verb=="snifftest"):
515         comm.sniffTest(freq=freq)
516         
517         
518     ##########################
519     #   FREQ TEST
520     ##########################
521     #
522     #   runs in LISTEN ONLY mode
523     #   tests bus for desired frequency --> sniffs bus for specified length of time and reports
524     #   if packets were properly formatted
525     #
526     #
527     
528     if(args.verb=="freqtest"):
529         comm.freqtest(freq=freq)
530
531
532
533     ##########################
534     #   iSniff
535     ##########################
536     #
537     #    """ An intelligent sniffer, decodes message format """
538     #    """ More features to be added soon """
539     if(args.verb=="isniff"):
540         comm.isniff(freq=freq)
541                 
542                 
543     ##########################
544     #   MCP TEST
545     ##########################
546     #
547     #   Runs in LOOPBACK mode
548     #   self-check diagnostic
549     #   wasn't working before due to improperly formatted packet
550     #
551     #   ...add automatic packet check rather than making user verify successful packet
552     if(args.verb=="test"):
553         comm.test()
554         
555     if(args.verb=="peek"):
556         start=0x0000;
557         if(len(sys.argv)>2):
558             start=int(sys.argv[2],16);
559         stop=start;
560         if(len(sys.argv)>3):
561             stop=int(sys.argv[3],16);
562         print "Peeking from %04x to %04x." % (start,stop);
563         while start<=stop:
564             print "%04x: %02x" % (start,client.peek8(start));
565             start=start+1;
566             
567     ##########################
568     #   SPIT
569     ##########################
570     #
571     #   Basic packet transmission
572     #   runs in NORMAL MODE!
573     # 
574     #   checking TX error flags--> currently throwing error flags on every
575     #   transmission (travis thinks this is because we're sniffing in listen-only
576     #   and thus not generating an ack bit on the recieving board)
577     if(args.verb=="spit"):
578         comm.spit(freq=freq, standardid=standardid, debug=debug)
579
580
581     
582     
583     
584     
585         
586         
587     
588     
589     
590